先问一个问题。你的集群CPU平均利用率多少?四成?那还能再塞一倍业务。
这话我听过太多次。也见过太多次它翻车。
平均值是个骗子
平均利用率三成,不等于每台机器都闲。可能有三台已经烧到九十五。调度器不看平均值,它看的是最热的那台。木桶原理,老掉牙,但每年都有人栽在这上面。
更麻烦的是排队。利用率从五成涨到八成,吞吐看着还有余量,延迟已经开始拐弯。排队论里那个关系——等待时间跟 ρ/(1-ρ) 成正比——ρ是0.5的时候系数是1,0.8的时候变成4,0.9的时候是9。非线性。你多塞进去的那点流量,换来的是尾延迟直接起跳。
所以容量规划的第一件事,是把平均值这三个字从模型里删掉。按分位数算,按峰值时段算,按单实例里最热的那台算。

说白了,均值是给周报看的,不是给调度器看的。
扩容有延迟 缩容有风险

很多人把容量规划当成一道数学题。不是。它是一道时间题。
从你决定加机器,到这批机器真正扛住流量,中间隔着多少步?走采购、等上架、装系统、拉镜像、起进程、建连接池、预热缓存。冷机器第一分钟能接的量,可能只有热机器的零头。这段滞后是硬约束,比任何容量模型都硬。
也就是说,决定扩容的时间点,不该看流量什么时候来,该看从下单到能接流量要多久。剩下的才是留给你的缓冲。
缩容更难。因为它把风险留给了未来。夜里业务低谷,把一半机器退了,第二天早上流量爬坡,你加不回来——不是加不起,是来不及。所以大量团队的实际状态是只扩不缩,成本就这么压在账单上。
这事没那么玄。它最后会变成一个签字问题:谁愿意为省下的那笔钱,承担明早可能起不来的风险。技术给不出这个答案。
数据不准就别硬算
你统计的QPS,采样了吗?采样率多少?被限流丢掉的请求算没算进去?如果没算,那你是在照着一面失真的镜子描眉。容量模型再漂亮也没用,输入就是歪的。
还有一种失真来自业务侧。他们说下季度要涨三倍。三倍从哪来?历史同比、活动排期、投放预算——这三样拿得出来,账才对得上。拿不出来,就先按原样备,然后在监控上压一道告警线,等真实曲线抬头再动手。慢半拍,但不会错得离谱。
讲个短的。有个团队大促前按去年同期峰值乘了一点五备容量,开场十分钟入口QPS没超预期,某个下游接口的调用量却翻了六倍。机器够,依赖不够。后来他们改了做法:不再按入口总量统一定容量,改成沿调用链一个一个定。笨,但准。

余量是真金白银

留多少余量,取决于两件事:故障恢复要多久,以及这段时间里损失折算成多少钱。
老板问能不能把那两成余量省掉,你说不能,得给理由。理由不能是