智汇 IT
城启新篇

故障复盘别让根因分析变成抓内鬼

故障复盘这四个字,在不少团队里已经变味了。开完会,大家松了一口气,然后该干嘛干嘛。下次故障,还是同样的配方。问题出在哪?不是技术不行。是复盘的方法错了。

我见过太多复盘会,开场第一句就是“这次是谁的责任”。运维说是开发的锅,开发说是测试没覆盖,测试说是产品需求变来变去。最后变成甩锅大会。说实话,这太常见了。但真正的复盘,应该像法医解剖。法医不会问“谁杀的”,他先问“怎么死的”。时间线、变量、系统状态。把事实摆出来,再谈责任。

复盘的第一步是重建时间线

时间线不是随便写写。要精确到分钟,甚至秒。但别苛求。关键是找到那个“转折点”。比如监控报警延迟了十分钟。如果你只看报警时间,会以为是十分钟前出的问题。实际上,故障在报警前半小时就发生了。这就是时间线重建的价值。

线上故障复盘会议白板时间线推演
线上故障复盘会议白板时间线推演

重建时间线的时候,不要只盯着技术指标。还要看人的操作。谁在什么时候做了什么变更?谁在什么时候收到了告警?谁在什么时候做了决策?这些都要写进去。复盘的第一步是重建时间线,而不是找人背锅。 时间线越清晰,后面的根因分析就越有依据。

麻烦在于,很多人觉得时间线是浪费时间。他们想直接跳到“根因是什么”。但根因往往藏在时间线的缝隙里。比如一个配置变更,看起来跟故障无关。但时间线上,它刚好在故障前五分钟。这就是线索。

根因不是单一的点

很多复盘报告写“根因:某某代码bug”。但bug为什么能上线?为什么没被测试发现?为什么监控没覆盖?为什么回滚花了那么久?这些都不是一个bug能解释的。系统思考,不是让你画一堆鱼骨图。而是说,每一层防护都有洞。洞对齐了,事故就发生了。复盘要找到所有洞,而不是只骂最后一层。

运维团队故障复盘根因分析鱼骨图
运维团队故障复盘根因分析鱼骨图

根因分析要追问至少五个为什么,但不要变成机械的五个为什么。 有一次,数据库连接池耗尽。表面原因是慢查询。但慢查询为什么没被优化?因为上线流程没有SQL审核。为什么没有?因为团队觉得太麻烦。这就是文化问题。但文化问题不是一天能解决的。复盘要分清哪些是技术问题,哪些是流程问题,哪些是人的问题。

人的问题最麻烦。比如值班工程师在半夜被叫醒,迷迷糊糊执行了错误命令。你说是他的错?当然是。但为什么会发生?因为值班制度不合理,因为操作手册不清晰,因为告警信息不够明确。这些都不是他一个人的问题。复盘要追究系统责任,而不是个人责任。 但也不是说个人就完全免责。如果他是明知故犯,那另说。

行动项要能落地

行动项要能落地
行动项要能落地

复盘会的产出不是一份报告,而是一组行动项。但很多行动项是“加强监控”、“提高意识”。这种行动项等于没写。好的行动项:谁,在什么时间,完成什么,验收标准是什么。比如“张三在下周五之前给订单服务加上连接池使用率监控,阈值80%告警”。这才叫行动项。而且要有跟踪。下次复盘,先看上次的行动项完成了没有。没完成,为什么?没有跟踪的行动项就是许愿。

还有,复盘会的主持人很重要。不能是领导。领导一说话,大家就不敢说真话了。最好是中立角色,比如SRE或者质量团队。但也要看组织文化。有些团队领导很开明,那没问题。但大多数情况下,领导在场,复盘会就变成了表演。复盘会不是追责会,但也不是免责会。 责任要分清楚:是决策失误,还是执行疏忽,还是流程缺陷。但不要变成个人攻击。

复盘的代价与取舍

复盘的代价与取舍
复盘的代价与取舍

复盘要花时间。一个故障,可能花几小时甚至几天。值不值?看你怎么算账。如果不复盘,同样的故障再来一次,损失可能更大。但复盘也不能过度。有些小故障,简单记录即可,不必大动干戈。要分级。P0级故障必须正式复盘。P3级可以轻量。但很多团队一刀切,要么全不复盘,要么全大张旗鼓。

麻烦在于,人的精力有限。有一次,一个边缘服务挂了十分钟,没影响核心业务。团队花了一下午复盘,结果核心服务的隐患没人管。这就本末倒置了。所以要有优先级。复盘资源要跟着业务影响走,不是跟着故障数量走。

说到底,故障复盘不是为了让谁难堪。是为了让系统更扛揍。下次故障来的时候,你能说:这个坑我们填过了。而不是:怎么又是这里。就这样。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:故障复盘别让根因分析变成抓内鬼
文章链接:https://m.itcdj.com/news/987.html