智汇 IT
城启新篇

性能压测那晚我把施压机跑成了被测系统

凌晨两点十七分。大盘上订单服务的 P99 从 80 毫秒蹿到 1.8 秒。会议室里三个人同时抬头,眼神有光——终于复现了。

三小时之后真相浮出水面。趴下的不是订单服务,是那台压测机。

有点丢人。但说实话,这种事我见得太多。

那次之后,我看性能压测的角度就变了:它从来不是一次测试,它是对结论可信度的一次审计。数字好不好看是次要的,数字站不站得住才是命门。

先弄清到底是谁喘不上气

很多团队一上来就调线程数。200 不够就 500,500 不够就 2000。那台 4 核 8G 的施压机默默扛着两千个线程,CPU 软中断跑满,网卡队列开始丢包。你以为被测系统扛不住了,其实是你自己的客户端先跪了。

客户端做压测有个很别扭的地方——它既要发请求,又要收响应,还得解析、断言、写日志。这些全是开销。开销一大,发压能力就掉,而你统计到的响应时间里,还混着客户端自己的排队时长。

三个信号能帮你判断问题在不在施压侧。一是施压机的 CPU 或网卡带宽打满,千兆网卡尤其明显,几万 TPS 就顶死了。二是 TIME_WAIT 大量堆积,本地端口不够用,报错里会出现连接被拒绝。三是最灵的一条:加施压机,TPS 就线性往上涨。数字跟着机器走,那瓶颈就在你手里这台机器上,不在服务端。

性能压测施压机网卡软中断带宽瓶颈监控图
性能压测施压机网卡软中断带宽瓶颈监控图

判断清楚这一点,能省掉一整轮无意义的架构改造。

你的脚本可能正在撒谎

你的脚本可能正在撒谎
你的脚本可能正在撒谎

脚本是压测里最容易被忽视、又最容易出事的部分。见过太多“漂亮”的结果,拆开一看全是水分。

最常见的是事务定义。一个下单流程包含查商品、验库存、建订单、发消息四个接口,有人把它塞进一个事务控制器里,四个请求算作一次 TPS。指标当然好看。可线上真实的下单压力是分散的,你把它们捆在一起算,等于给系统做了一次美颜。

还有思考时间。不加,模拟的是机器人;加了但拍脑袋定 200 毫秒,那也只是拍脑袋。真实用户的停顿是长尾的,有人秒点,有人看半天。要么按线上日志统计真实间隔分布,要么明确说清这是个纯压力场景,别拿来推容量。

再就是平均值这个坑。平均响应时间 200 毫秒,P99 三秒。老板看的是平均,用户挨的是 P99。所谓 P99,就是一百个请求里,有 99 个比它快、剩下那 1 个比它慢的那个值。骂人的那批用户,骂的就是它。

另外,断言别开太重。有人为了严谨,每个响应都做完整 JSON 树比对,结果施压机的 CPU 一半花在校验上。该断言的地方断言,该抽样就抽样。

数据不隔离就是给别人埋雷

这一条,是踩过坑和没踩过坑的分水岭。

早年间在测试环境压测,脚本里写死了用户 ID,跑了半小时,把一批测试账号的余额刷成了天文数字。测试环境,问题不大,改数据就行。同样的脚本搬到生产环境做全链路压测呢?

生产压测的正确姿势是影子库、影子表。压测流量带着特殊标记进来,中间件识别到标记,把读写全部路由到影子表,真实数据一个字都不碰。消息队列另开影子 Topic,缓存加前缀隔离,第三方支付和短信接口全部 Mock 掉——不然你会收到几百条真实扣款短信,公关部门会来找你喝茶。

全链路压测影子表流量标记数据隔离架构图
全链路压测影子表流量标记数据隔离架构图

这套东西搭起来费劲,但它换来的是一个资格:让压测结论能直接用于容量规划,而不是“大概差不多”。

老板要的其实不是 TPS

老板要的其实不是 TPS
老板要的其实不是 TPS

汇报的时候别只甩一个数字。

TPS 一万,然后呢?大促预估峰值是多少,当前水位在拐点的哪一侧,留了多少余量,扩容系数取多少?这些才是有用的。

拐点这个词值得多说一句:并发数往上加,TPS 先涨、后平、再掉,那个由平转掉的点,就是系统真实的容量天花板。压测的价值之一,就是把这个点找出来,而不是找一台跑得最快的机器。

我通常会给团队列这么几件事:

  • 压测前先明确问题:是验证容量,还是排查瓶颈,还是回归性能。目标不同,脚本和指标完全不同。
  • 施压机与被测系统的资源分别监控,先排除施压侧干扰再下结论。
  • 核心链路单独压,别只压一个首页接口就宣布全站达标。
  • 把结论写成“在 X 并发下,Y 服务 P99 为 Z,瓶颈在数据库连接池”,而不是“性能良好”。

至于工具,JMeter、Locust、wrk 都行。工具不是问题,知道自己测的是什么,才是问题。

凌晨那台被冤枉的服务器,后来加了监控就没再背锅。倒是我们几个,多熬的那三个小时,现在想起来还是有点心疼。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:性能压测那晚我把施压机跑成了被测系统
文章链接:https://m.itcdj.com/news/974.html