智汇 IT
城启新篇

高可用架构的故障域设计从机房那根网线说起

凌晨两点四十,运维群里弹出一张截图。监控大屏上一片红。不是一台机器挂了,是半个集群同时失联。值班的小伙子第一反应是网络抖动,重启交换机就完事。结果折腾到五点才发现——两台核心交换机的电源,接的是同一个PDU。同一个PDU,同一个UPS,同一路市电。

这就是故障域没划清楚。你花了三倍预算买冗余设备,最后被一根电线串成一串糖葫芦。

冗余不等于隔离 这是最贵的误会

很多团队的高可用是这样的:双机热备,双电源,双网卡。听起来很稳。但这些“双”到底是不是真的互相独立,没人认真验证过。

我见过一个挺典型的线上系统,数据库主从跨机房部署,主库在A机房,从库在B机房,DBA拍着胸脯说这是异地容灾。后来A机房空调故障,温度飙到四十度,主库降频。切到从库——从库的存储挂在同一个分布式存储集群上,而那个集群的元数据节点,全在A机房。

切了个寂寞。

故障域这东西,本质上是问一个问题:一次故障,最多能同时带走多少东西? 答案如果是“全部”,那你做的所有冗余,都只是心理安慰。

数据中心机柜双路供电PDU接线实拍图
数据中心机柜双路供电PDU接线实拍图

它的层级其实挺清晰。进程、主机、机架、机房、城市、云厂商Region。每一层都是一个潜在的故障域。你真正要做的事,是让任意一层整个炸掉的时候,业务还能撑住。注意,是“整个炸掉”,不是“某个节点挂了”。

这里有个反常识的点。故障域不是越小越好。切得太碎,跨域调用、数据同步、一致性维护的成本会指数级上升。你为了躲开一个机架故障,把三副本撒到三个机架,结果网络延迟上去了,分布式事务天天超时。这买卖不划算。

说实话,大部分业务撑不住三个机架同时挂。但它大概率也撑不住一次全站慢查询。

画一张图 比开十次会管用

我特别推荐动手做一件事:把你线上系统的真实调用链路画出来,不是逻辑架构图,是物理部署图。哪个进程跑在哪台机器,机器在哪个机柜,机柜在哪个机房,机房走哪路电、哪路网。

画完之后你会看到很多之前没注意的东西。比如某个网关服务,看似部署了八个实例,其实全在一台物理机上,只是八个容器。比如你们的Redis哨兵,三个节点在两个机架,刚好符合“多数派”的错觉,但机架1的电力是机架2分出来的。

这种图,画一次能顶半年。团队里谁负责哪块、边界在哪、谁能在半夜拍板切流,全在这张图上。说到底,故障域设计不只是技术问题,它是组织问题。

同城双活数据中心网络拓扑与故障域划分示意图
同城双活数据中心网络拓扑与故障域划分示意图

一个真实案例。有家做在线教育的公司,晚八点是流量高峰。他们的订单服务做了多活,但配置中心是单集群,只读副本挂了。结果配置中心一抖,所有实例拉不到最新路由,集体走默认兜底逻辑,流量全砸到同一个分片上。数据库瞬间打满。

配置中心没挂,它只是慢了两秒。两秒。灾难就这么来了。

你看,故障域不只是“挂”这个动作。降级、延迟、部分可用、返回脏数据,这些都是故障的表现形式。很多团队只做了“挂了怎么办”,没做“慢了怎么办”。

落地的时候 别追求完美 追求可控

落地的时候 别追求完美 追求可控
落地的时候 别追求完美 追求可控

给几条我觉得能直接上手的:

一、给每个依赖标注故障域编号。 比如机房A记1、机房B记2。任何一个服务,它依赖的所有东西不能全是1。写死在配置里,上CI卡口。这比写文档有用一百倍。

二、做一次“随机杀”演练,不是混沌工程的表演。 别一上来就杀整个机房,先杀一个机架的电源。观察多久恢复,谁先报警,谁误报,切流是不是手动。演练的价值不在于系统扛没扛住,在于你们团队的反应链条有多长。

三、把降级开关做成显式的东西。 不要藏在代码的if里。要有一个开关面板,能在三十秒内关掉非核心功能。用户能下单,不能看推荐,这不是事故,这是设计。

四、跨域调用的超时必须短于上游超时。 这条老生常谈,但每年都在踩。A调B调C,每一层都设了30秒,等于没有超时保护,一整条链路全堵死。

……还有一点可能更重要。别指望架构能解决人为问题。

我见过的真实故障里,大概有三分之一是变更引起的。发布脚本写错了机架标签,配置推错了环境,运维手滑重启了主库。这些故障域设计防不住。能防住的是流程:灰度、双人复核、变更窗口、回滚预案。技术是下限,流程才是上限。

回到开头那两台交换机。后来他们做的事很简单:重新排线,把两路电源分到不同的PDU,接到不同的UPS。花了不到两万块。但之前那次故障,赔了客户小半年的信任。

故障域设计这词听着挺唬人,拆开看就是一句话:别把鸡蛋放在你以为是两个篮子、其实是同一个篮子的地方。 大多数团队的问题不是不知道这个道理,是从来没人认真数过自己有几个篮子。

今天就数一数吧。趁还没出事。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:高可用架构的故障域设计从机房那根网线说起
文章链接:https://m.itcdj.com/news/934.html