智汇 IT
城启新篇

灾备演练中的切换验证 别只盯着RTO数字

凌晨三点,值班手机响。不是真故障。是演练。切换脚本跑完,监控大屏一片绿。有人已经在群里发“顺利”。二十分钟后,业务那边来电话:订单查不了。你看,这就是灾备演练中的切换验证最扎心的地方。切过去,不等于活过来。

很多团队把切换验证做成了开关测试。按一下,VIP漂了,DNS改了,数据库主备角色变了。然后呢?然后看几个ping,看几个端口,收工。说实话,这只能证明网络设备没坏。业务能不能跑,天知道。

灾备中心数据库主备切换验证监控大屏
灾备中心数据库主备切换验证监控大屏

切过去那一下 应用才不管你的PPT

切换动作本身,往往是最简单的部分。难的是切换之后,应用有没有真正接管。连接池有没有指向新主库。缓存里的旧数据会不会把新数据盖回去。消息队列的消费位点停在哪儿。定时任务会不会两边同时跑。这些事,脚本不会替你判断。

我见过一种验证清单,列了五十多项。看起来很全。细看,一半是“检查服务是否启动”。问题在于,服务启动了,不代表依赖就绪。数据库起来了,不代表复制关系是对的。中间件连上了,不代表事务能提交。于是切换验证变成一场表演。台上的人按流程走,台下的人心知肚明,真正的坑没碰。

更麻烦的是权限。切换验证必须回答一个问题:谁在什么条件下可以按下那个按钮,谁又能喊停。如果演练时是一个人切,一个人看,另一个人写报告,那到了真故障,决策链很可能断。别笑。夜里的电话会教育人。

验证清单越像表格 越容易漏掉脏东西

清单要短,要能执行。但短不等于漏。关键路径得覆盖。比如数据库切换,除了主备角色,还要看序列号、自增主键、触发器和存储过程。有些对象不会跟着复制走。平时没事,切换后一写就炸。

还有时钟。服务器时间差几秒,证书校验就可能失败。日志顺序也会乱。排查时你会怀疑人生。有人说,NTP不是基础服务吗。对。基础服务最容易在演练计划里被忽略。因为大家都觉得它不会出问题。

存储层更微妙。双活也好,异步复制也好,切换那一刻的断点在哪。如果只是强制提升备库,没确认复制延迟,丢的那部分数据就是RPO的真实代价。RPO不是报告里的一个数字,是切换后业务对账时少掉的那几笔。这话不好听,但准确。

应用层验证,别只点首页。首页是静态的,缓存一扛就过。要跑核心交易。要查写操作。要验证跨服务调用。最好带一点真实流量的影子请求。没有条件,就手工构造几笔完整业务。做完还要反向查数据。不是看界面成功,是看数据落地。接口返回200,数据库里可能没写入。这种事少吗?不少。

灾备演练回切验证网络拓扑与数据校验流程图
灾备演练回切验证网络拓扑与数据校验流程图

回切才是照妖镜

回切才是照妖镜
回切才是照妖镜

很多演练到切换成功就结束了。大家松口气,写报告,吃宵夜。回切呢?下次再说。这就是问题。灾备演练中的切换验证,如果只验去程,不验回程,等于开车只练加速不练刹车。

回切会暴露更多东西。反向复制有没有配。旧主库的数据怎么处理。新主库写入的数据能不能同步回去。如果有双向复制,冲突怎么解。脑裂怎么防。这些不是理论问题。切换后跑了几个小时,新主库已经产生新数据。回切时如果直接切回旧主库,那几小时的数据就丢了。业务不会答应。

所以回切验证要当成一次独立演练。别顺手做。顺手做就会顺手漏。回切前的检查,至少包括:复制链路状态、延迟、冲突检测、应用连接串、缓存刷新、定时任务归属。每一步都要有人签字。签字不是形式,是让责任人知道自己签了什么。

有个团队跟我聊过。他们切换演练很顺利。回切时发现,旧主库被只读保护锁着。解锁脚本在另一个同事手里。那位同事在飞机上。结果回切拖了四个小时。业务没停,因为还在新主库跑。但演练报告没法看。这事不复杂,就是权限和文档没对齐。切换验证里,人也是依赖项。

演练报告别写成表扬稿

报告里全是“顺利完成”“符合预期”。这种报告,下次故障时没人会翻。有价值的报告,应该写清楚:哪些验证项没做,为什么没做。哪些做了但结果模糊。哪些依赖人工确认,自动化没覆盖。切换耗时多少,其中等待决策花了多少。回切是否成功。数据是否一致。发现的问题有没有责任人。截止时间是什么。

说白了,灾备演练中的切换验证不是给领导看的。是给半年后的自己看的。半年后你可能已经忘了那个隐藏的配置项。忘了那个没同步的序列。报告是唯一的记忆。

还有一点,验证结果要能自动采集。别靠人填表。人填表会美化。脚本抓出来的监控数据不会。切换前后各抓一次基线。连接数、线程数、慢查询、消息堆积、错误日志。对比看。差异大的地方,就是下次要重点盯的地方。

最后提醒一句。别追求一次演练覆盖所有场景。做不到。但可以追求每次演练都戳一个真问题。今天验数据库切换。下次验消息队列。再下次专门验回切。慢慢来。比一年搞一次大而全、切完就散,强得多。

切换验证这事,没啥玄学。就是承认系统会骗人。监控会骗人。绿灯会骗人。所以得用业务结果去对。对上了,才算切过去。对不上,继续查。别急着发“顺利”。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:灾备演练中的切换验证 别只盯着RTO数字
文章链接:https://m.itcdj.com/news/1015.html