别急着上AIOps先把你家CMDB擦干净
2026-11-17 03:16:44
作者:
fawen
凌晨两点十七分,手机在床头柜上跳。不是一下,是连着跳了十几分钟。值班群里八百多条告警,红的黄的刷成一片瀑布。
我爬起来开机,第一反应不是看哪台机器炸了,而是——把列表按时间排序,找那条最早的。
五分钟定位到了。一个网关的连接池被打满,下游三个服务开始超时,然后监控系统自己也开始抽风,Prometheus 抓取超时又触发了新一轮告警。一场雪崩,源头只有一个。
这就是 AIOps 想解决的问题。也是绝大多数团队第一次做 AIOps 时栽跟头的地方。
运维值班室深夜告警大屏红色告警瀑布
告警越多 说明你越不了解自己的系统
告警越多 说明你越不了解自己的系统
先说个反常识的。告警数量从来不是系统健康的指标,它是监控体系混乱程度的指标。
很多团队的做法是:能加的地方都加上。磁盘过 80% 报一个,CPU 过 75% 报一个,接口响应超 500ms 报一个。加的时候爽,跑起来就变成了噪音机。值班的人慢慢学会一件事——忽略。手指一划,全选,已读。
这个习惯很致命。真出事的时候,那条要命的告警淹在八百条里,和一堆“磁盘还剩 20% 空间”躺在一块儿。
AIOps 的第一层能力,说白了就是干这个:把八百条压成三条。
技术上不玄乎。时间窗口聚合、拓扑关联、同源抑制。同一个网络分区里十几个节点同时报错,多半是一个交换机的问题,聚成一条。上游服务挂了导致下游报错,那就把下游的告警挂到上游事件下面,别让它单独响。
但这事有个前提,也是最多人忽略的——你得有一份说得过去的拓扑和依赖关系。谁调谁,谁在哪个机房,哪个服务跑在哪台机器上。这份数据不准,聚合规则就是瞎猜。上下游全认错,压出来的结果比不压还危险。
所以别急着买平台。先去数数你的 CMDB 里有多少台已经下线的机器,有多少服务还挂着离职同事的名字。
模型不怕笨 就怕饿
第二层是异常检测和根因定位。这里最容易掉进去的坑,是把它当成一个“装上就自动生效”的开关。
时序异常检测,就是让算法去看指标曲线,判断这个波动是正常业务高峰还是真出问题了。听着很美。实际上,你的指标采集本身要是有断点、有毛刺、有重复上报,模型学到的东西就是错的。
举个例子。有一家做电商的团队,大促期间想用异常检测自动识别慢查询。结果模型第一天就疯狂报警——他们的数据库连接数指标每隔五分钟会有一个瞬时归零的采样错误,算法以为服务重启了。
这不是算法的问题。这是数据管道的问题。
指标口径、标签规范、采集稳定性,这三样东西的优先级远远高于模型选型。用 LSTM 还是孤立森林,在数据干净的前提下差别没那么大;数据脏的时候,用什么都白搭。
服务器监控指标时序曲线异常检测告警面板
日志那边同理。半结构化的文本,你指望大模型直接读懂,成本高且不稳定。更现实的做法是先做模板提取——把“Nginx 返回 502 于 /api/order/12345”抽象成“网关返回 502 于订单接口”,把变量抽出来当参数。这样日志就变成了可统计、可聚类、可比对的结构化事件。
这一步做扎实了,后面会顺很多。相似事件检索、故障知识库、自动生成复盘草稿,都能接上。
能落地的三步 以及它的边界
能落地的三步 以及它的边界
我在几个团队看到过跑得比较顺的路径,基本是这么个顺序。
先做告警收敛和降噪。目标很朴素:让值班的人不再被淹。这一步不依赖任何机器学习,纯规则也能做出来,投入产出比最高。通常两三周就能看到效果。
再把变更和告警对上。线上故障里,相当大一部分是变更引起的。发布、扩缩容、配置改动、证书更新。如果能把变更事件流和告警事件流放在同一条时间轴上,根因定位的速度会有质的变化。很多所谓“智能根因”,本质就是在做这件事。技术含量不高,难的是打通发布系统和监控系统的数据。
最后做相似故障推荐。历史上这个告警出现过几次,上次怎么处理的,处理用了多久。这东西不需要多聪明,只要能准确地把过去的工单、聊天记录、复盘文档里的信息捞出来,给值班的人一个参考,而不是替他做决定。
至于边界,我得说清楚。
AIOps 不适合用来做无人值守的自动修复,至少现在不行。原因很简单——误判的代价太高。自动重启一个服务没事,自动摘掉核心节点的流量,可能就是一次事故。让模型给建议、给人确认,这个模式在可预见的几年内还是主流。
还有一个容易被吹过头的东西:大模型。它在运维场景里确实有用,尤其是读日志、总结报警、生成工单描述这些“语言活”。但它很容易一本正经地编。你跟它说“分析一下这个故障”,它可能给你编出一个听起来很合理、实际完全对不上的根因。凡是涉及判断的环节,都要留人工兜底,别把它的输出直接接到执行链路上。
回到开头那个凌晨。
那天的处理是:找到连接池配置,改参数,重启。二十分钟结束。事后复盘我说了一句话——如果那天告警被收敛成三条,我们可能十分钟就搞定了。
这就是 AIOps 最现实的起点。不是什么高大上的智能运维,就是让你值班的兄弟能睡个整觉。从这儿开始往上走,才有意义。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:
别急着上AIOps先把你家CMDB擦干净
文章链接:https://m.itcdj.com/news/878.html