凌晨两点,告警群炸了。某核心接口的QPS突然飙到阈值三倍,网关直接把整个集群的流量掐了。这不是限流,这是自杀。
很多团队把限流和熔断当成一个开关。配个数字,点个保存,完事。然后线上出问题,回头一看,配置全是坑。
限流阈值不是拍脑袋定的
你配了1000 QPS。然后呢?令牌桶的桶容量填了多少?预热时间设了没?
说实话,我见过太多网关只填了速率,桶大小留空。结果突发流量一来,桶瞬间满,然后疯狂丢包。用户看到502,你看到监控曲线断崖。
令牌桶允许突发,漏桶强制平滑。这是基础。但麻烦在于,你的业务流量特征是什么?电商大促,突发是常态。令牌桶更合适,但桶容量得按最大突发量来设。设小了,等于白限。
还有预热。冷启动的服务,你直接给它满额QPS,它可能直接躺平。网关支持预热的话,最好配上。不然限流限了个寂寞。

熔断的打开与半开比你想的复杂
熔断器三个状态:关闭、打开、半开。都知道。但配置的时候,坑就来了。
错误率阈值设多少?50%?太宽松。10%?可能频繁误熔断。关键是最小请求数。如果你没配这个,低流量时段,一个请求失败,错误率就是100%,熔断器直接打开。然后整个服务不可用。这酸爽。
还有慢调用比例。有些网关支持基于响应时间熔断。这个更贴合体验。但慢的标准是什么?P99还是平均值?用平均值会掩盖长尾问题。必须用分位数。
半开状态呢?允许一个请求过去试探。成功了就关闭,失败了继续打开。听起来简单。但半开时的并发控制是个玄学。如果同时放过多个请求,又失败了,刚恢复的服务再次被打挂。所以半开状态通常只允许一个或极少量请求。别贪心。

限流和熔断的联动配置
限流在前,熔断在后。但两者的统计会打架。比如限流返回429,熔断器如果把这个算作失败,那错误率直接爆表。所以熔断配置里要排除限流响应码。具体看你的网关实现。
还有重试。重试和熔断是冤家。熔断期间,重试就是往伤口上撒盐。所以熔断打开时,应该禁止重试。或者重试策略要感知熔断状态。
降级呢?限流触发后,返回什么?直接拒绝?还是返回缓存数据?这得看业务。但别返回一个空对象,前端会崩。
有个团队,网关配了限流1000 QPS,但下游服务只能处理500。结果网关限流没触发,下游先挂了。后来他们把熔断错误率调到20%,最小请求数50,才稳住。但这个数字是压测出来的,不是猜的。
配置改完不压测等于埋雷

每次改限流和熔断配置,都得上压测环境跑一遍。别在生产上直接调。我见过有人把熔断阈值从50%改成5%,结果上线五分钟,全站熔断。为什么?因为正常业务里就有5%的失败率,比如网络抖动。你一刀切,全完蛋。
压测的时候,要模拟突发、慢调用、下游故障。看看限流和熔断是不是按预期工作。别只看监控大盘,要抓具体的请求日志。
最后说一句,API网关限流与熔断配置,不是配完就完事。业务在变,流量在变,配置也得跟着调。定期review,比啥都强。