智汇 IT
城启新篇

AIOps告警降噪与根因定位里那些被忽略的取舍

告警降噪这事,最容易被做成静默。真的。很多团队上一套规则,把重复告警一关,大屏立刻干净。领导点头。然后半夜数据库主库挂了,静默窗口还开着。第二天复盘,脸都绿了。

AIOps告警降噪与根因定位,名字听着像两件事。现场里它们经常互相拆台。降噪狠了,根因线索被扔掉。定位做重了,告警又压不住。麻烦在于,没人能只选一边。

告警风暴不是噪声多 是压缩逻辑太粗

先看告警为什么多。一个交换机抖动,可能触发几十台宿主机、上百个Pod、几百条链路超时。每一条单独看都对。合在一起就是灾难。规则去重能干掉完全一样的。聚合能按服务、机房、标签合。抑制能利用拓扑父子关系。但这些手段都有代价。

我见过最粗暴的聚合是按服务名。看起来合理。结果一个服务下面挂了五个实例,只有一个实例的磁盘满了,告警被合并成一条“服务异常”。值班的人点开,不知道哪个实例。等找到,磁盘已经写满。

降噪的目标不是让告警数量归零,而是让每条留下来的告警都带着足够上下文。上下文是什么?不是一句“CPU高”。是主机、集群、变更单、最近部署、依赖服务、同机架邻居。缺了这些,降噪就是给故障蒙眼。

运维监控大屏告警风暴截图
运维监控大屏告警风暴截图

还有动态基线。很多团队一上来就上算法,觉得阈值告警太土。可动态基线也会骗人。大促前流量自然爬升,基线跟着爬。结果一个真正异常的慢查询被当成正常波动。算法不是错,是喂给它的特征太干净。干净到没有业务日历,没有发布事件,没有容量变化。

根因定位先别急着画拓扑

根因定位最迷人的画面是拓扑图。一个红点,顺着调用链往下找,最后定位到某个数据库。现实里拓扑图经常是脏的。CMDB 里少了三台机器。调用链采样率只有百分之几。日志格式变过两次。Kubernetes 里 Pod 重建后 IP 换了,标签没同步。

这时候硬推图算法,等于拿一张缺页地图导航。越导越偏。

更靠谱的切入口是时间线。告警、变更、发布、配置修改、扩缩容、证书过期,全部按秒级排在一起。谁先动,谁后叫,一眼能看出嫌疑。很多根因不是“谁挂了”,而是“谁改了”。

根因定位里最值钱的数据往往不是指标,是变更事件。指标告诉你哪里疼。变更告诉你谁捅的。两者对不上,就继续查。对上了,也别急着定案。可能是相关,不是因果。

微服务调用链根因定位拓扑图
微服务调用链根因定位拓扑图

我采访过一个值班主管,他说最烦半夜被叫起来看拓扑图。图太大,加载三十秒。他更想要一条时间线,上面标出:02:13 配置中心推送,02:14 订单服务错误率抬头,02:15 数据库连接池等待飙升,02:16 告警爆发。就这么五条,抵得上一整面墙的曲线。

降噪和定位之间的账 得算延迟和漏报

降噪和定位之间的账 得算延迟和漏报
降噪和定位之间的账 得算延迟和漏报

降噪的收益好算。告警量从每天八千降到八百,值班群安静了。成本不好算。漏报一条,可能赔进去一次故障。延迟定位一分钟,可能烧掉半小时业务。这个账不能只看告警条数。

有的团队定了个规矩:所有静默必须带过期时间和负责人。过期时间到了自动解除。负责人不写,规则不许上线。听着很土。救过命。

还有抑制规则。父告警抑制子告警很常见。机房断电,底下所有机器告警都被抑制。这没错。但如果父告警本身没识别出来,子告警又被抑制,那就全瞎。所以抑制规则要反向验证:如果父告警没来,子告警能不能活?不能活,就得加兜底。

别把大模型当万能钥匙

最近半年,很多方案都想用大模型读日志、写根因。能读。也能编。日志里没有的依赖关系,它敢给你补一个。看着很顺,一查全是幻觉。这行最怕顺滑的错。

比较稳的用法是让模型做三件事:归纳告警摘要,抽取变更单里的可疑字段,把自然语言查询转成 PromQL 或日志检索语句。根因判断还是得靠数据对齐。模型可以当副驾驶,不能当司机。

再说一句不好听的。AIOps告警降噪与根因定位的瓶颈,经常不在算法,在数据治理。标签不规范,拓扑不更新,变更不录。算法再强,也只能在垃圾堆里找钻石。找得到是运气,找不到是常态。

运维人员深夜处理告警值班室场景图
运维人员深夜处理告警值班室场景图

落地顺序也有讲究。先把告警标准化:统一标签、统一级别、统一服务名。再上聚合和抑制。然后补变更事件和调用链。再往后才谈根因推荐。顺序反了,模型会背锅。顺序对了,哪怕只用规则,也能把定位时间砍掉一半。

这事没那么玄。告警降噪是把噪声压下去,把信号留下来。根因定位是把信号串起来,把时间线对齐。两件事都做扎实,值班的人才能睡个整觉。做不扎实,大屏再漂亮,也只是把火警铃换成了静音灯。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:AIOps告警降噪与根因定位里那些被忽略的取舍
文章链接:https://m.itcdj.com/news/1011.html