智汇 IT
城启新篇

API网关限流与熔断配置别只抄模板

半夜两点,网关告警群突然刷屏。某个核心接口 429 飙升,客服说用户登录不了。值班同学第一反应是“限流阈值太小”,把 QPS 从 300 调到 1000。十分钟后,后端数据库连接池满了。不是限流救不了,是配置根本没对准目标。

API网关限流与熔断配置这件事,最容易掉进一个坑:把参数当答案。rate、burst、timeout、errorThreshold,抄一份模板很快。麻烦在于,每个数字背后都要回答:保护谁,牺牲谁,出事后谁先恢复。

限流的阈值不是拍脑袋

限流先分目标。防刷、公平分配、保护后端,是三件不同的事。防刷看来源,公平分配看租户或用户,保护后端看实例容量。混在一起,配置就会互相打架。比如按 IP 限流,公司出口 NAT 后面几千人,一个 IP 配额用完,全公司被挡。按用户 ID 限流,鉴权接口自己还没拿到 ID,怎么限?只能分层。

网关里常见维度有路由、服务、消费者、API key。路由级做粗粒度兜底,服务级保护后端,消费者级做配额。优先级要明确。通常是消费者规则先命中,再服务级,最后全局兜底。顺序错了,VIP 也会被全局阈值卡死。

算法层面,固定窗口简单,但临界点有双倍突发。滑动窗口精确些,内存和 Redis 操作也上去了。令牌桶适合控制平均速率,又允许一定突发。漏桶更平滑,代价是削峰。并发数限流更直接,挡不住瞬时 QPS,但能防慢请求堆积。很多网关用 Redis + Lua 做分布式计数,问题不在 Lua 脚本,而在 Redis 延迟和热点 key。大促时一个热门路由把 Redis 单分片打满,限流本身先挂。

API网关令牌桶限流配置参数界面截图
API网关令牌桶限流配置参数界面截图

配置里最该抠的是 key。key 太散,限不住。key 太粗,误杀。常见组合是 tenant_id + route_id + user_id。匿名流量用 ip + ua + path。注意,别用完整 URL 带 query,参数一变就是新 key,限流等于没开。

熔断器真正难在状态切换

熔断不是“错误多了就断”。它更像一个状态机:关闭、打开、半开。关闭时正常放行,统计错误率和慢调用。达到阈值,打开,直接拒绝。等一段时间,进半开,放少量请求探路。探成功,关闭;探失败,继续打开。

阈值怎么定?最小请求数很关键。没有它,两个请求错一个,错误率 50%,熔断立刻打开,纯属误伤。慢调用比例也要看。后端线程池快满了,RT 从 50ms 涨到 2s,错误率可能还是 0,但系统已经在崩。这时慢调用熔断比错误率熔断更早救火。

网关层熔断和服务内熔断别重复。网关粒度粗,适合挡住整个服务不可用、连接超时、大面积 5xx。服务内熔断更懂业务,能区分查询失败和写入失败。两边都开,可能一个请求被拒绝两次。更麻烦的是重试。网关重试放大流量,熔断打开后还在重试,等于往伤口上撒盐。重试必须配退避、幂等、预算。没有预算的重试,就是自欺欺人。

API网关熔断器状态机半开状态示意图
API网关熔断器状态机半开状态示意图

超时也是前提。连接超时、读超时、网关总超时,要一层比一层短。下游 3 秒,网关 5 秒,用户等 5 秒,线程池先爆。一般让网关总超时略大于下游 P99,但不能无限大。熔断窗口和超时要对齐。超时 10 秒,熔断统计窗口 5 秒,统计还没完成,请求已经堆死。

配置落地后的观测与背锅

配置落地后的观测与背锅
配置落地后的观测与背锅

限流和熔断配置最怕黑盒。看板至少要有:请求量、限流命中数、熔断状态、RT 分位、并发数、线程池活跃。日志里带 traceId、route、ruleId。告警不要只盯 5xx。429 多了,可能是攻击,也可能是阈值太紧。熔断打开不一定是坏事,可能正好挡住了雪崩。

压测要分场景。单接口压、混合链路压、突发流量压。限流阈值不是压到极限,而是压到后端还能喘气。灰度发布规则,先观察,再全量。改大阈值之前,先问后端扩容没有。改小阈值之前,先问业务能不能接受。

一个很短的现场。某次活动,网关给订单服务配了 500 QPS。后端六个实例,单实例压测只能扛 80,理论 480。流量冲到 501,网关放行,最后一个实例被拖死,连锁反应。后来改成默认 300,VIP 租户单独配额,慢调用比例 50% 触发熔断,半开只放 5 个请求探测。没那么多戏剧性,就是容量和规则对不上。

说白了,API网关限流与熔断配置不是网关团队一个人的活。业务要知道哪些流量必须保,运维要知道实例真实容量,开发要给出超时和幂等边界。配置写完只是开始,后面还有演练、复盘、调参。夜里的告警少了,不是因为参数神奇,是因为有人把取舍讲清楚了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:API网关限流与熔断配置别只抄模板
文章链接:https://m.itcdj.com/news/1001.html