日志分析平台的成本控制别只盯着存储单价
2026-11-22 01:09:53
作者:
fawen
凌晨两点的告警,和一张被放大的账单
那段经历我记得很清楚。周二凌晨两点十七分,值班群炸了。不是线上挂了——是日志平台查不动了。SRE 想看网关的 5xx 曲线,转圈四十秒,然后超时。
第二天月结账单出来,比上月多了 3.7 倍。老板在群里只发了一个问号。
说实话,问题不在那晚。那晚只是结果。真正的账单,是过去半年里一个个没人管的决定攒出来的:日志全采、字段全打标签、保留期设成“永久”、查询默认不给时间范围……
日志采集传输存储链路架构示意图
钱到底烧在哪儿
大多数人一提日志成本,第一反应是存储。硬盘便宜啊,一块 4T 的 SATA 才几个钱。
错。存储往往是账单里最温柔的那一项。
真正吃钱的是三处:
索引膨胀。倒排索引的体积,通常是原始日志的 1.2 到 2 倍。你把一个 URL 原样塞进索引,等于同一份数据存了两遍还多。更麻烦的是标签基数(cardinality)——像 request_id、user_id、trace_id 这种几乎不重复的字段,一旦进了索引,段合并(segment merge)会疯狂消耗 CPU 和 IO。
查询扫描。这是个隐形杀手。一次不带时间范围的聚合查询,在大集群上能扫掉几百 GB,那一瞬间的算力和 IO,比存一个月日志还贵。
跨区流量。多可用区部署,日志从采集端写到 Kafka 再落到存储,中间横向流一遍。流量费用在账单里永远不起眼,直到它占了三分之一。
(具体数字各家的量级差太多,别照搬,我只是说个方向。)
几个特别常见的误区
误区一:把成本当成运维一个人的事。业务方加个字段,加的时候不打招呼;半年后你才发现,最大的索引来自一个早就下线的功能模块。
误区二:保留期一刀切。合规要求留一年,于是所有日志都留一年。可实际上,超过 30 天还被人查过的日志,可能不到 2%。
误区三:只看月度总额,不看单位成本。总额涨了,但日志量也涨了,到底是效率变差还是业务变多?说不清。每 GB 日志的落地成本、每百万次查询的成本、每活跃研发的成本——这三个数不建起来,后面所有优化都是拍脑袋。
日志冷热分层存储成本对比示意
我是怎么做的
先说采集端。这块投入产出比最高。
结构化日志,把 JSON 里那些 debug 用的临时字段在应用层就砍掉——别指望平台帮你过滤,流量已经跑了一次。压缩选 zstd,比 gzip 在同等级别下小 20% 到 30%,CPU 多花一点点,网络和存储省一大截。划算。
采样要分级。ERROR 和 WARN 全采,INFO 抽 1% 到 5%,DEBUG 直接关。有人会紧张:抽了样,出问题怎么办?实际操作里,出事的时候错误日志是全的,你缺的只是那些“一切正常”的流水。够用了。
再说索引。立个规矩:基数预估超过一万的字段,一律不进索引,只放正文。这条规矩一落地,我们那个集群的段合并压力掉了一半还多。
存储分层。7 天热存储,走本地 SSD,随便查;8 到 30 天温存储,压缩比拉满;30 天以上扔对象存储,查询走异步任务,等个几十秒。业务方一开始骂,后来发现真正需要秒回的场景只有排障那几分钟,也就接受了。
查询侧,三道闸。强制时间范围,不填默认最近一小时;限制返回行数,聚合结果超过五千行就截断并提示;慢查询排行榜,每周发到群里。这条最狠——被公开处刑两次之后,没人再写全表扫描。
日志查询扫描字节数监控面板
最后一步,也是最重要的:把用量摊到业务团队头上。不用真收钱,但给他们看板,让他们看见自己那个服务的日志量排第几。人一旦看见自己的名字,行为就变了。
收个尾
成本控制不是省钱比赛。
它本质上是个取舍问题:哪些日志会被人真正读第二遍?哪些只是为了“万一”?把资源压到前者,砍掉后者,省下来的钱够你多做很多事。
我们那个平台,最后把月成本压回了原来的 0.8 倍,日志量却还在涨。这才是我想说的——不是不让你记日志,是别让没人看的日志帮你烧钱。
对了,还有一件事我漏了……别忘了给采集 Agent 设资源上限。有个同事的容器因为日志打太猛,把宿主机的磁盘写满了。那次的损失,比整个日志平台一年的账单都贵。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:
日志分析平台的成本控制别只盯着存储单价
文章链接:https://m.itcdj.com/news/1012.html