智汇 IT
城启新篇

云原生可观测性体系建设告警风暴之后

周五晚上十一点半,老周在群里甩了一张截图。Prometheus 面板红成一片,三十多条告警同时炸开,CPU 飙高、P99 延迟翻倍、Pod 频繁重启。五个人在线排查到凌晨三点,最后发现问题出在一个配置中心推送超时。而这个超时,早在两周前就有人在一份 Grafana 看板里瞥见过,但没人当回事。

这就是可观测性没做好的典型症状。不是没有数据。是数据在,但答案不在。

监控是体检报告可观测性才是病历本

很多人分不清监控和可观测性。说实话,我以前也混着用。

监控是你提前知道要看什么,然后设阈值、抓指标。CPU 超过 80% 就告警,QPS 掉了 20% 就打电话。它回答的是“有没有问题”。可观测性呢?它回答的是“为什么有问题”,而且是在你事先不知道会出什么问题的前提下。

这两件事的底层逻辑完全不同。监控是枚举式的,可观测性是探索式的。

云原生环境把这个问题放大了十倍不止。一个请求穿过网关、边车、三个微服务、两个消息队列、一个缓存层,中间还可能被 Service Mesh 重写路由。你靠传统的 Zabbix 加几个日志文件,根本拼不出全貌。所以需要三根柱子:指标、日志、链路。不是三个系统,是三根柱子撑起来的同一张桌子。

云原生可观测性Metrics Logs Traces三大支柱关联示意图
云原生可观测性Metrics Logs Traces三大支柱关联示意图

但大部分团队的现状是什么?指标用 Prometheus,日志用 ELK,链路用 SkyWalking 或者 Jaeger。三个系统三套查询语言,三个团队各自维护。出故障的时候,你在 Grafana 里看到 QPS 跌了,切到 Kibana 查日志,再跳去 Jaeger 找 trace ID。手忙脚乱,对吧?

体系建不起来九成卡在组织而不是技术

体系建不起来九成卡在组织而不是技术
体系建不起来九成卡在组织而不是技术

我聊过十几个做可观测性的团队。技术选型的纠结其实只占很小一部分。真正难的是这几件事。

标签规范没人定。每个业务线打标签的姿势不一样,有人用 service_name,有人用 app,有人干脆用中文。结果你跨服务查一个指标,要写五种 PromQL。

采样策略拍脑袋。全量采集?存储成本一个月涨四倍。采 1%?关键链路全漏了。到底按头部采样还是尾部采样,没想清楚。

责任边界模糊。可观测性平台团队觉得自己只负责管道,业务团队觉得数据埋点是平台的事。中间那块谁做?没人做。

这些问题的答案都不在技术文档里。它更像是一个协作契约,约定字段命名、约定采样规则、约定谁在什么时候接入什么数据。不过话说回来,技术也不是完全无辜。有些工具设计得确实反人类。一个查询语句需要三种语法拼接,光是学语法就要一周。这不是可观测性,这是劝退性。

从一个故障复盘开始建比从选型开始建靠谱

如果你现在要启动可观测性体系建设,我的建议是:别开选型会。开故障复盘会。

找最近三个月的 P0 和 P1 故障,挑一个最痛的。然后问三个问题:这次故障我们最早能在哪一秒发现?如果能重来一次,哪个数据能让我们提前十分钟定位?这个数据现在有没有,如果没有谁来补?

这三个问题会像钩子一样,把可观测性建设从“技术项目”拉回到“业务需求”。你会发现,第一个要补的可能不是全链路追踪,而是某一台机器上那个没被采集的 JVM 指标。

云原生故障复盘可观测性数据缺口分析图
云原生故障复盘可观测性数据缺口分析图

然后从那个点扩展开来。具体落地可以分三层推进。

第一层,统一采集层。用 OpenTelemetry Collector 做代理,把指标、日志、链路统一走一个管道。不要小看这个,光是把数据出口归一化,就能省掉后面一半的对接工作。

第二层,统一语义层。制定一套自己的资源属性规范,比如 service.name、deployment.environment、k8s.namespace 必须打全。不用多,十几个核心字段就够。这是让数据能对话的前提。

第三层,统一查询与告警。用一个入口查所有数据,不用来回切系统。告警要收敛,三十条告警如果指向同一个根因,应该合并成一条。告警不是越多越好,是越准越好。

这三层不需要全做完才见效。做完第一层,你至少有了统一的数据管道。做完第二层,数据能关联了。做完第三层,才会真正感觉可观测性这个东西在帮你了。

最后说一句可能不太中听的。可观测性体系不是一个项目,它是一条持续迭代的路径。你今天建的管道,明年可能就要重构。你今天定的标签规范,下个季度可能就要加字段。别指望一步到位,也别指望买一个商业产品就万事大吉。它更像健身。不是买张年卡就瘦了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:云原生可观测性体系建设告警风暴之后
文章链接:https://m.itcdj.com/news/914.html