智汇 IT
城启新篇

灾备演练中的切换验证别只看大屏变绿

切换验证这事,最怕演成戏。

脚本跑完,大屏绿了,会议室里开始鼓掌。然后呢?订单没进来,定时任务还在老机房跑,证书过期没人发现。这种事我听得太多了。说白了,灾备演练中的切换验证,不是按按钮,是拆炸弹。

按下去之前 验证已经开始了

很多人把注意力放在切换那一刻。其实更该看的,是切换前的确认清单。DNS 的 TTL 改没改?负载均衡的健康检查是指向旧 IP 还是新 IP?应用连接串里有没有硬编码的主库地址?这些看着琐碎,一漏就白干。

我见过一个挺典型的场景。演练前,运维把数据库切过去了,应用也重启了。业务同学一登录,报错。查了半天,是一个证书只签了内网域名,新机房的入口域名不在 SAN 列表里。你说这算技术问题还是流程问题?都算。切换验证如果只验服务活着,就很容易漏掉这种边角。

还有依赖顺序。先切数据库,还是先切缓存?消息队列要不要停写?分布式锁的租约会怎样?这些没有标准答案。得看系统怎么长出来的。有些老系统,主从切换后自增 ID 会跳变,业务代码假定 ID 连续,那就麻烦。验证时要跑一段真实写入,不是只跑 select 1。

灾备演练切换验证网络拓扑图手绘标注
灾备演练切换验证网络拓扑图手绘标注

切过去那十分钟 数据库不撒谎

数据库层面,我最怕听到一句话:主从延迟是零。真零假零?得看复制方式。异步复制下,主库提交了,从库可能还没收到。你切过去,最后几条事务就丢了。RPO 不是写在纸上的数字,是切换后对账对出来的差额。

所以验证点要具体。GTID 集合是否连续?relay log 有没有应用完?半同步是否真的半同步?如果用了多源复制,通道状态更要一条条看。别嫌烦。切换验证里的数据库部分,像体检。只看心率没用,还得抽血。

切完以后,别只连主库。应用连的是读写分离中间件,中间件有没有把写流量导到新主?连接池里的旧连接会不会继续发 SQL?这些都要抓。抓不到,就会出现一种怪现象:一会儿能写,一会儿不能写。开发说代码没改,运维说数据库正常。两边都没说谎。只是验证没覆盖到中间层。

消息队列也一样。切换前积压多少?切换后消费者有没有重复消费?幂等逻辑经不经得起考验?如果订单系统没有幂等,重放几条消息就能造出重复订单。演练时可能只造了十条,线上可能积压十万条。量级一上来,问题才露头。

数据库主从切换验证延迟监控面板特写
数据库主从切换验证延迟监控面板特写

大屏绿了不算数 业务能走完才算

大屏绿了不算数 业务能走完才算
大屏绿了不算数 业务能走完才算

技术指标全绿,业务不一定能走。登录接口 200,不代表用户能下单。下单成功,不代表支付回调能回来。支付回调回来,不代表库存扣对了。灾备演练中的切换验证,最后一定要落到业务动作上。

怎么落?准备一批演练账号,跑关键路径。登录、查商品、加购、下单、支付、退款、查报表。最好用自动化脚本跑,减少人为误差。同时留一两个人肉抽检。机器看字段,人看感觉。有些页面错位、按钮置灰、验证码不显示,脚本不一定当失败。

RTO 也别自己骗自己。从故障注入到业务恢复,中间每一步都要打时间戳。DNS 生效多久?应用启动多久?数据库提升多久?最耗时的往往不是技术动作,是等某人确认。这种等待在演练里是安全,在真实故障里是刀。

回切更麻烦。很多团队切过去就收工,回切草草了事。结果新主库写了一堆数据,老主库也有一堆数据,两边对不上。回切前要做增量同步,要停写,要核对。双写场景更危险,冲突解决策略有没有?谁赢谁输?业务能接受吗?这些问题不提前问,回切就是第二场事故。

说实话,切换验证没有满分。只有取舍。全量切,风险大,但验证真。部分切,影响小,但可能漏掉跨系统依赖。影子流量是个办法,可改造量大。到底选哪个,得看系统能停多久,数据能丢多少,老板能承受多大动静。

别把演练做成汇报材料。大屏会绿,PPT 会好看,业务不一定能活。切换验证的终点,不是运维说切完了,是业务说能用了。就这么简单。也挺难。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:灾备演练中的切换验证别只看大屏变绿
文章链接:https://m.itcdj.com/news/935.html