智汇 IT
城启新篇

高可用架构的故障域设计别把赌注押在同一根网线上

那天晚上十一点 一个机柜带走了半壁江山

那天晚上十一点 一个机柜带走了半壁江山
那天晚上十一点 一个机柜带走了半壁江山

讲个真事。某电商大促前夜,运维群里冒出一条告警,某核心服务响应时间从20ms飙到3秒。值班同学第一反应是查应用日志——没报错。第二反应是查数据库,慢查询也不多。

后来发现是机房一台接入交换机风扇卡死,过热自动重启。就这么个破事儿,影响面大到吓人。因为那个机柜里,好巧不巧塞了同一个服务的六台实例。

嗯。冗余做了,六个副本。可它们全在同一个机柜、同一个交换机下。

这不是高可用。这是把六颗鸡蛋装进一个塑料袋。

故障域说白了就是一起死的范围

故障域(Fault Domain)这词听着抽象。翻译成人话:哪些东西会一起挂掉,它们就属于同一个故障域。

同一台物理机上的所有容器。同一个机架上的所有服务器。同一个交换机下的所有机架。同一个供电系统覆盖的所有机柜。同一个云可用区里的所有资源。同一个地域的所有可用区。

一层套一层,像俄罗斯套娃。你在哪一层做冗余,就决定了你的爆炸半径停在哪一层。

问题的关键是,很多人设计高可用时,眼睛只盯着“副本数”。三副本、五副本,听着挺稳。可你没问一句:它们的部署位置,真的分散了吗?

我见过一个团队,用 K8s 的 podAntiAffinity 做了反亲和。乍看没问题。但他们的节点池全部落在云厂商的同一个可用区。反亲和在一堆同楼的机器里做——等于没做。

数据中心机柜供电与网络冗余拓扑示意图
数据中心机柜供电与网络冗余拓扑示意图

为什么我们总在同一个坑里摔倒

为什么我们总在同一个坑里摔倒
为什么我们总在同一个坑里摔倒

成本这事儿绕不开。跨可用区部署要付流量费,跨地域延迟高还得做数据同步。预算一紧,大家就默认往一个地方堆。

还有就是方便。同一机架内网延迟低,调试顺手,运维老哥闭着眼都能找到机器。跨机房?那得走 VPN、加固定 IP,麻烦。

然后是最能骗人的一点——指标看起来很好。监控面板上每个实例都健康,集群 CPU 才用了三成。你很难从一个绿色的仪表盘里看出来,所有的鸡蛋其实都躺在同一个篮子里。

这就是故障域的隐蔽性。平时它不显形,只在出事那一刻,露出真面目。

别追求不挂 追求挂了也只挂一小块

我想纠正一个执念:不少人认为高可用的目标是“系统永远不挂”。

不现实。级联故障、电网波动、云厂商机房施工挖断光缆——这些事你控制不了。

真正该做的,是控制爆炸半径(blast radius)。一旦某个故障发生,它最多能波及多少用户、多少订单、多少流量。这个数字比“几个九”更能说明你的系统有多稳。

几个能落地的动作——

从资源到应用,逐层画一遍故障域。别只在架构图上画,要画在真实的物理拓扑上。机柜、PDU、TOR 交换机、机房、可用区。把这些维度和你的服务实例对齐,你可能会发现一些让人后背发凉的重合。

用混沌工程做点“坏事”。挑个低峰期,把一台交换机 down 掉,看看你的服务怎么反应。或者更进一步,直接关掉一整个可用区的节点。不测不知道,一测吓一跳。

设计降级路径。核心链路要有兜底。缓存挂了能不能回源?主库崩了从库切过去要多久?把依赖梳理清楚,别让一个非核心服务的故障,拖垮整条链路。

单元化不是大厂专属。你没那么多机房,没关系。逻辑上的单元化也能做——按用户 ID 切分流量,让不同的用户群体在物理层面尽可能隔离。

跨可用区微服务单元化部署架构图
跨可用区微服务单元化部署架构图

回到开头那台交换机。后来那个团队做了什么改动?他们把同一服务的六个副本重新分配到三个机柜,每个机柜两台。同时把跨机柜带宽从千兆提到万兆。成本增加不到百分之十。

下一次再出交换机故障,他们损失的是三台机器——不是全部。

高可用不是堆资源。它是一种对“脆弱”的清醒认知:你知道自己会在哪儿出问题,并且提前把损失限定在可控范围内。故障域设计,说到底就是这么个事。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:高可用架构的故障域设计别把赌注押在同一根网线上
文章链接:https://m.itcdj.com/news/1014.html