上周跟一位城商行的运维负责人在科技园楼下的咖啡店碰了面，他刚结束当季的灾备演练，衬衫领口还沾着点咖啡渍，说刚才在会议室被行长骂了半小时，因为这次演练的恢复时间比上次多了12分钟。
谁在把演练过成走流程
我当时笑他，说这有什么好骂的，上次你跟我吐槽你们之前的演练，提前一周发通知，所有运维岗全守在控制台，提前半小时就把30%的测试流量切到备用集群，点一下切换按钮，等个十几秒屏幕全绿，拍个照写个报告，晚上全部门去吃烤串，那时候的数字当然好看。
他翻了个白眼，说那都是以前的老黄历了。
麻烦在于，真出故障的时候没人给你提前发一周的通知。去年隔壁园区那家做生鲜电商的，就是因为骨干网割接的时候主链路被挖断，备用集群因为半年没接过真实的高并发流量，一切过去直接触发熔断，前后亏了小两千万。事后复盘才发现，他们之前的每一次灾备演练，全是用的压测环境的模拟流量，从来没碰过真实的用户请求。说白了，那不是演练，是排了剧本的舞台剧，台下坐的全是自己人，演完鼓掌就行，真遇到真刀真枪的观众，直接穿帮。
真演练要扒掉多少遮羞布
我见过最狠的一次灾备演练，是三年前跟某股份制银行的IT团队一起蹲的。那天早上九点十分，运维总监直接在工作群里发了一句“现在开始演练，主中心断电”，然后直接拔了主数据中心的总闸——一线运维团队没有任何人提前收到通知。
现场直接乱了。有人找切换操作手册翻了五分钟，有人查备份的时候才发现，上周的增量备份因为磁带机故障根本没写进去，还有人忘了开备用机房的CDN节点，用户端打开App全是加载失败的转圈。前后折腾了两个小时四十分钟，才把所有业务恢复到正常水平。
那天结束的时候，整个团队的人都瘫在会议室的椅子上，连点外卖的力气都没有。但那次之后，他们前后改了二十三个运维流程：包括每周自动做一次备份文件的可读性校验，每个月随机抽一个工作日做小范围的无预告切换，甚至给每个运维人员的手机里都存了一份离线版的操作手册，怕真出故障的时候内网登不上。
那次的演练报告我后来看过，没有什么“圆满成功”的套话，列了满满三页的问题清单，从跨部门沟通的响应时间，到备用机房的空调温度设置，全是平时坐在办公室里根本发现不了的窟窿。灾备演练的核心从来不是证明你的系统有多稳，是把那些藏在角落的问题全揪出来，不然等真出故障的时候，你才发现备用系统是坏的，那时候哭都来不及。
别为了指标自欺欺人
现在很多企业的灾备演练，已经变成了给管理层交差的任务。比如为了凑RTO15分钟、RPO5分钟的漂亮指标，专门挑凌晨两三点的业务低峰期搞演练，甚至提前把非核心的业务全停了，就切核心交易系统，那当然快。可真出故障的时候，用户可不管你是不是低峰期，大促的时候、工作日早高峰的时候，该来的流量一点不会少。
我见过最离谱的一份演练报告，是某国企的，上面写着“核心系统切换耗时2分47秒”，后来跟他们的运维私下聊，才知道当时为了快，直接把所有用户请求的入口全掐了，根本没走真实的用户流量链路，只是后台把数据库从主节点切到了备节点。这数字再好看有什么用？真出故障的时候，你总不能跟用户说“我们为了切换快，先把你们的请求掐半小时”吧？
其实灾备演练根本没那么玄。不需要你每年花几百万搞那种声势浩大的全量切换，反而不如每个月搞一次小的、随机的动作：今天拔一台边缘节点的网线，明天关一个可用区的公网入口，后天随机抽一盘备份磁带读一下，看看能不能正常打开。这些小事，平时不花多少时间，真出事的时候全是能救命的东西。
没人喜欢搞演练。每次搞完都要脱层皮。但你总不能真等火灾来了，才发现灭火器是坏的吧？