智汇 IT
城启新篇

灾备演练最怕所有人都说没问题

通知发出来那一刻 业务方先沉默了

周三凌晨一点。南京的雨下得不小。运维老周把电话会议拉起来,开口是:今晚只做灾备演练,不切生产。群里没人回。隔了十几秒,业务负责人冒出一句:那你们演练给谁看。

这话刺耳。但挺真实。灾备演练最容易变成两种东西:一种给审计看,一种给领导看。真正麻烦的部分,比如切换后订单号会不会重、对账任务会不会跑两遍、消息队列里的积压怎么消费,常常没人愿意碰。

我后来问老周,那晚到底练了什么。他说,练了怎么在四十分钟内找到数据库密码。不是笑话。密码在离职同事的加密笔记里,交接文档没更新。真切的场景,比脚本上的“切换成功”有用得多。

数据中心灾备切换演练指挥大屏现场
数据中心灾备切换演练指挥大屏现场

备份成功不等于灾备能活

很多团队把备份完成率当灾备能力。不是一回事。备份解决的是数据还在。灾备演练解决的是,主机房挂了,业务多久能爬起来,数据丢多少,谁拍板,谁验证,谁回切。

RTO和RPO写在方案里很漂亮。落在地上全是细节。DNS的TTL设了多久。连接池里有没有指向旧库的长连接。证书是不是只有主站有。定时任务在新集群会不会重复跑。这些玩意儿平时躲着,一切换全冒头。

还有一个老问题:依赖。应用起来了,数据库也起来了,但第三方支付回调地址没改。或者专线没切,许可证绑了旧机器。监控上看着一片绿,业务实际卡在第一步。

最危险的是只切一半

有些演练只切应用,不切数据库。或者只切数据库,不切中间件。理由很充分:影响大,窗口短,业务方不批。于是演练变成半身麻醉。应用在新机房起来了,数据库还在老机房,网络绕了一圈,延迟高得吓人。报告上写“切换成功”。这种成功,真出事时一点用没有。

我见过一个南京的制造企业做演练。计划书写了四十页,实际执行时卡在数据同步。研发说双向复制没问题,DBA说冲突标记没清。凌晨四点,两边数据开始打架。最后手动停掉同步,回滚。第二天复盘,大家承认:演练目标定错了。应该验证的是能否回退,不是能否切过去。

回退比切换难。切换是往新环境跑,回退是带着新环境产生的数据回老环境。这中间有增量,有冲突,有业务已经发生的动作。忽略这些,等于把炸弹埋在下一次演练里。

企业双活数据中心灾备演练网络拓扑图
企业双活数据中心灾备演练网络拓扑图

业务方不参与的演练都是自嗨

业务方不参与的演练都是自嗨
业务方不参与的演练都是自嗨

技术团队能验证服务起没起,进程在不在,端口通不通。但业务能不能用,得业务方说了算。支付能不能付,发票能不能开,审批流会不会断。这些不是运维拍脑袋能替的。

比较靠谱的做法,是把业务方拉进演练指挥群。不是让他们围观,是让他们出题。比如:切过去之后,给我跑一笔真实的退款。或者,查一个三个月前的订单。题目越具体,漏洞越藏不住。

当然,业务方会嫌麻烦。生产不能动,客户不能扰。那就用影子流量,或者拿一小部分非核心租户试。说白了,演练范围可以小,但不能假。假流量、假数据、假验证,最后只能得到一份假报告。

观察员别找自己人

观察员别找自己人
观察员别找自己人

很多演练的观察员就是参演人员。自己记自己的问题,下不去手。更好的方式,是从隔壁团队借人。他不关心你今晚能不能早点收工,他只关心时间线对不对,指令有没有闭环,异常有没有人认领。

记录也要具体。几点几分谁下了什么命令,谁确认,谁复核,系统返回什么。不要写“数据库切换顺利”。顺利是个感受,不是证据。证据是时间戳、日志、监控截图、业务验证结果。

还有一点,演练失败不丢人。最怕的是明明失败了,复盘时硬说成功。那下一次故障会替你补上这一课,代价可能大得多。

别把演练做成一次性运动

有些公司一年搞一次大演练,像过年。平时不练,脚本不更新,联系人名单还是两年前的。真出事,找不到人,找到人也不敢按按钮。

灾备演练应该拆小。核心链路每季度动一次,非核心半年。每次只验证一两个假设。比如这次只验证数据库切换,下次只验证DNS切换,再下次验证回切。小步走,问题暴露得快,修复成本也低。

脚本要进版本库。配置要能一键比对。演练产生的垃圾数据要有清理方案。监控告警要提前静默,不然凌晨三点所有人手机一起响,真正的故障反而被淹没。

桌面推演也有用。它不是替代真实切换,而是用来对齐决策链。谁宣布灾难,谁通知业务,谁对外沟通。这些角色如果在会议室里都捋不顺,到了机房更乱。

最后看的是决策链

最后看的是决策链
最后看的是决策链

技术问题大多能修。真正难的是决策。谁有权宣布灾难,谁有权决定切流,谁有权决定回退,多久必须做出决定。这些如果没在演练里跑过,真出事就是会议室里互相看。

我采访过一位做了十几年容灾的架构师。他说,灾备演练到最后,练的不是技术,是组织肌肉。哪个人在凌晨三点能拍板,哪个人知道找谁要权限,哪个人敢说“不行,必须回退”。这些比脚本值钱。

所以别再把灾备演练当成合规任务。它更像一次体检,还带点突击检查的意思。疼的地方,就是下次要改的地方。至于那些所有人都说没问题的演练,往往问题最大。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:灾备演练最怕所有人都说没问题
文章链接:https://m.itcdj.com/news/969.html