智汇 IT
城启新篇

故障复盘别急着写检讨书

别把故障复盘开成批斗会

凌晨两点十七分,手机响了。不是闹钟,是告警群。值班同学发了一句:网关 5xx 飙升。又过了三分钟,老板进群了。这种时刻,没人关心 PPT。

故障复盘最怕什么?怕一群人围在会议室,像开批斗会。谁写的代码,谁点的发布,谁没看监控。问题当然要定位,人当然要问。可如果整场会议的目标是找出一个“罪人”,那复盘就废了。

说白了,故障复盘不是审判,是把系统里的暗礁标出来。人一定会犯错。代码一定会腐烂。配置一定会漂移。你要做的是让下一次犯错时,系统能扛住,而不是祈祷每个人都变成圣人。

互联网公司深夜告警群聊天记录截图
互联网公司深夜告警群聊天记录截图

时间线不是流水账

很多复盘文档一上来就是时间线。几点几分谁发现了什么,几点几分谁拉群,几点几分谁重启。写得像流水账。信息很多,洞见很少。

时间线有用。但它的作用不是凑字数,而是找出决策点。哪个时刻,有人其实可以刹车?哪个时刻,信息已经足够,但没人敢拍板?哪个时刻,大家以为在恢复,其实在扩大故障?

麻烦在于,事后看什么都清楚。当时不是。当时监控在跳,群在响,客户在投诉。人脑会缩窄。会盯着一个指标。会相信上一次的经验。复盘要把这种“当时为什么这么想”挖出来。不然时间线就只是给上级看的交代材料。

SRE工程师查看监控告警大屏现场
SRE工程师查看监控告警大屏现场

根因往往不止一个

根因往往不止一个
根因往往不止一个

“根因:发布了一个bug。”这话等于没说。bug 为什么能发出去?测试为什么没覆盖?灰度为什么没拦住?监控为什么没提前报警?回滚为什么花了四十分钟?

一个故障,通常有一串原因。触发原因,放大原因,发现延迟,恢复缓慢。它们像多米诺骨牌。你抽掉任何一张,结果可能都不一样。只写一个根因,行动项就会很虚。要改的是链条,不是某个倒霉蛋。

案例说一个,很短。某次线上接口超时,最初以为是数据库慢查询。查到最后,是连接池参数在某次扩容时被改小,流量一上来就排队,排队又拖垮了上游。发布没毛病,数据库也没崩。问题藏在一次“顺手优化”里。复盘时如果只追到“连接池配置错误”,下次还会有人顺手改别的。

行动项别写成许愿池

复盘的结尾经常很热闹。“加强监控”“完善流程”“提高意识”。听着都对。然后呢?谁做?什么时候做完?怎么验证?

行动项要小,要具体,要能验收。比如“给核心接口加 P99 延迟告警,阈值 800ms,通知到值班群”。这比“加强监控”强一百倍。再比如“回滚脚本每周在预发环境跑一次,记录耗时”。这比“提升应急能力”实在。

不过话说回来,行动项也不能太多。一场复盘列三十条,最后能落十条就不错。要挑能降低下一次故障概率和缩短恢复时间的事。其他先放着。这不是懒。是承认团队精力有限。

复盘文化比模板重要

很多团队有复盘模板。时间线、影响面、根因、改进项。填得整整齐齐。可下一次故障,还是手忙脚乱。为什么?因为大家不敢说真话。

如果说出“我误删了配置”会被扣绩效,那下次就会变成“系统异常”。如果说出“我们为了赶进度跳过了灰度”会被骂,那下次就没人提。故障复盘要有点安全感。不是说不追责。是区分粗心大意和系统性缺陷。故意破坏,另说。正常操作导致的意外,得让人敢讲。

这事没那么玄。领导在会上的第一句话,基本决定复盘质量。要是上来就问“谁的责任”,那就完了。要是先问“我们当时看到了什么,还能怎么救”,气氛就不一样。

生产环境故障复盘会议白板时间线手写笔记
生产环境故障复盘会议白板时间线手写笔记

把复盘结果喂回系统

把复盘结果喂回系统
把复盘结果喂回系统

复盘文档写完,不等于结束。它得变成代码、配置、告警、演练、文档。否则就是一篇散文。

比如发现“回滚慢”,那就把回滚做成按钮,或者至少做成一条命令。发现“依赖服务没有降级”,那就加熔断和兜底。发现“新人不知道这个坑”,那就写进 runbook,并且在演练里跑一遍。知识不落到工具和流程里,就会蒸发。

还有一点,故障复盘最好别只给管理层看。一线工程师才是下次凌晨三点爬起来的人。文档要让他们看得懂,找得到,用得上。少写官话。多写日志、命令、截图、判断依据。

说到底,故障复盘是一种组织记忆。系统会老,人会走,流量会变。今天踩过的坑,明天换个马甲还会来。复盘做得糙,事故就白出了。复盘做得细,团队才可能在下一次告警响起时,少慌一点,快一点,稳一点。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:故障复盘别急着写检讨书
文章链接:https://m.itcdj.com/news/907.html