凌晨两点,值班群弹出一条告警:订单履约链路消费延迟。运维第一反应是扩容消费者,把实例从 8 台拉到 20 台。延迟没降,反而更高了。
这事我听过不止一次。消息队列最容易骗人的地方就在这——它把同步调用变成异步,看上去解耦了,实际上只是把复杂度从接口里搬到了链路里。搬走的东西不会消失,它会挑一个你最没空的时候回来。
卡住的位点,往往不是消费慢
那次排查到最后的结论很朴素:一条消息处理时抛了异常,代码里 catch 住,重试三次,然后 sleep 三十秒接着重试,没有上限,也没进死信。消费者线程被这一条消息占死,位点不再前进,后面的全堵着。
扩容为什么无效?分区数是固定的。八台机器的时候,八个消费者各拿一个分区;拉到二十台,多出来的十二台在空转,还要参与再均衡。分区数决定并行度的上限,这件事在业务量翻十倍之后才会有人认真对待,通常已经晚了。
还有 rebalance。消费者加入或者退出会触发再均衡,期间整个消费者组停止消费。频繁抖动的原因翻来覆去就那么几个:max.poll.interval.ms 设得太短,一批消息处理时间超标就掉出组;消费者进程退出时没调 close(),得等 session 超时才被踢掉。表现是延迟曲线上一排规律的尖刺,看多了就认识。
延迟高的时候先别翻消费逻辑,先看位点是不是压根没动。

投递语义那一堆名词,落到代码上就是幂等
at-most-once、at-least-once、exactly-once。前两个好理解,第三个最容易被话术包装。说点实话:跨系统做到精确一次,本质是把去重成本转移到了业务侧。Kafka 的事务能保证读-处理-写在自己的体系里原子,可你下游是 MySQL,是第三方支付回调,它不在这个事务里。
所以靠谱的做法只有两条。一是消费端幂等,业务唯一键建去重表,配 唯一索引,重复写入直接失败,简单粗暴。二是本地消息表,把写业务库和发消息塞进同一个数据库事务,再由补偿任务把消息投出去。代价是延迟多几百毫秒,还得有人盯着那张表别涨疯了。
很土。但它不骗人。RocketMQ 的事务消息走半消息加回查,思路一样,都是拿一次额外的确认换一致性。

顺序只在分区内部成立

全局有序基本等于放弃并行。生产者把同一笔订单的事件按 key 哈希打到同一个分区,分区内部有序,分区之间没有任何保证。
麻烦在于热点。一场秒杀,某个 key 的流量占比过半,那个分区就是瓶颈,其余分区闲着看戏。解法是分层:订单维度有序,用户维度不用。或者把 key 拆成 key 加分片号,消费端再做合并——复杂度立刻上一个台阶。
顺序和吞吐,天生打架。谁跟你说两个都要,你就该问他要参数。
积压是信号,不是故障

监控里那条 lag 曲线涨了,不一定是坏事。大促前压测、离线任务灌数据,涨是正常的。真正要盯的是三件事:涨完能不能自己回去、涨的斜率能不能持续、最老那条消息的年龄。
队列最怕的不是慢,是没人知道它什么时候会变成无限积压。
拉取模型的取舍也在这。Kafka 让消费者自己控制节奏,拉多少处理多少,背压天然存在,代价是空轮询浪费一点资源。RabbitMQ 的 push 加 prefetch 是另一种思路,推送及时,但 prefetch 设错了就是一场灾难——设太大,单个消费者扛着一堆没处理完的消息,别的消费者干等着。
保留策略同样是坑。默认七天,听起来很宽容。可消费一旦停了三天没人发现,重启时可能遇到消息已过期被清理——静默丢失,一行错误日志都没有。定期做端到端对账,比盯多少次监控面板都管用。
死信队列设了不等于有人看。我见过死信堆到六位数,因为压根没配告警。死信不是垃圾桶,它是待办清单。要么有人定期捞,要么写脚本自动重放,两样都不做就等于把它当墓碑。
选型这件事,先问自己怕什么

Kafka:吞吐猛,生态全,流处理顺手。代价是运维门槛和 topic 膨胀,元数据一多 controller 会吃力。适合日志、埋点、事件流。
RocketMQ:事务消息、延迟消息、消息轨迹开箱即用,中文文档好找。延迟消息有精度约束,不是任意时刻都行。
RabbitMQ:路由灵活,exchange 能玩出很多花样,小消息低延迟很舒服。但它本质更接近传统 broker,堆积能力有限,大量积压时性能掉得很明显。
Pulsar:存算分离,分区可以扩,多租户友好。代价是组件多,BookKeeper 出问题排查链路长,半夜看存储日志的人是你。
Redis Stream:轻,快,适合已经在用 Redis 且能接受持久化风险的场景。别拿它扛核心链路,内存账单会教你做人。
问题不在哪个最好,而在你怕什么。怕丢消息,就选持久化和副本机制成熟的;怕延迟,就选轻的;怕运维,就选团队里真有人懂的那个。没人懂的那套,再先进也是负债。
最后一句。把消息队列接进系统之前,先想清楚三件事各由谁负责:消费失败怎么办、重复投递怎么办、顺序错乱怎么办。想不清楚就往里接,不过是把 Bug 提前暴露而已。