凌晨两点。值班手机响了。不是一声,是一串。十几条告警挤在屏幕里,像早高峰地铁口的人流。订单超时、支付回调失败、库存扣减异常——其实都是同一个接口在抖。我们花了四十分钟才找到根因。更准确地说,是花了四十分钟才把那些日志、指标和链路拼到一起。
那晚之后,我再也不信什么“大屏一挂,天下太平”。可观测性要是只剩一块花花绿绿的屏幕,那它就是给领导看的安慰剂。
告警不是可观测性 它只是最吵的那部分
很多人把可观测性和监控混着用。说实话,早些年我也这么干。监控告诉你“系统挂了”。可观测性想回答的是“为什么挂,哪里挂,影响谁”。一个偏结果,一个偏推理。
现代系统里,日志、指标、链路追踪是常说的三件套。但三件套不是打卡任务。日志堆成山,没结构,查起来跟翻垃圾堆没区别。指标画了上百个面板,真出事时没人知道该看哪个。链路追踪倒是好看,采样率一开低,关键请求全漏了。
我见过一个团队,Kafka 堆积告警每天响二十次。大家习惯了。直到有天积压量冲到百万,下游对账全乱。事后复盘发现,不是没有数据,是数据之间没有关系。消费延迟指标、消费者日志、上游生产速率,三个地方各说各话。

这就是可观测性的第一层真相:它不是一个工具品类,它是一种把系统内部状态暴露出来的能力。你得像审犯人一样,让系统自己交代发生了什么。
真正让人崩溃的 是上下文断了
有一次排查一个偶发的订单超时。日志里写着“timeout”,指标上看到 P99 飙高,链路里只有一个孤零零的 span。然后呢?没有然后了。因为那笔请求的 trace id 没有打进日志,下游服务的日志里也没有同一个 id。你只能靠时间戳去猜。时间戳那玩意儿,精度一抖,全乱。
上下文断裂,比没有数据更可怕。没有数据你会老实加埋点。有数据但串不起来,你会误以为自己在分析。其实是在玩拼图,还少了几块。
怎么破?别搞太复杂。先做三件事。
第一,统一 trace_id 的注入和透传。从网关进来,经过消息队列、RPC、数据库,一路带下去。中间件能自动做的就别让业务手写。第二,日志结构化。别再用纯文本拼字符串,JSON 也好,key=value 也好,关键是字段可查询。第三,给关键业务打上业务标签。用户 ID、订单 ID、租户 ID,这些比机器名有用得多。
对了,采样策略也得想清楚。全量采样当然爽。可钱呢?我见过一个月链路存储费用比数据库还高的。尾部采样是个折中,先让所有请求过一遍,再决定哪些值得留下。比如错误请求、慢请求、高价值客户请求,优先保留。

先别急着上平台 把问题问对

工具选型最容易跑偏。Datadog、Grafana、SkyWalking、OpenTelemetry,各有各的好。但你要是连“最想回答的三个问题”都没想清楚,买什么都是浪费。
我的习惯是,先从用户旅程倒推。一个订单从下单到完成,会经过哪些服务,哪些状态,哪些失败点。然后问:如果用户投诉“下单很慢”,我能不能在五分钟内定位到具体环节?如果不能,缺什么?缺指标,就补指标;缺日志,就补日志;缺链路,就接链路。别一上来就全都要。
还有一个容易被忽略的东西:SLO。服务等级目标不是写给老板看的。它是团队对“什么叫坏”的共识。比如“99% 的支付请求在 800 毫秒内完成”。这个数一立,告警阈值、错误预算、复盘优先级,全都跟着有了锚点。没有 SLO,告警就是一惊一乍。有了 SLO,才知道什么时候该冲,什么时候该忍。
成本也得摊开聊。可观测性不是免费的。日志量、指标基数、链路采样,每一项都在烧钱。但省钱不是把数据全关了,而是分清楚哪些数据必须留、哪些可以降精度、哪些可以延迟归档。财务和研发坐一起算账,不丢人。丢人的是出事时两手一摊。
几个我踩过的坑

第一个坑,采集一切。刚开始觉得数据越多越好。后来发现,查询慢、存储贵、噪音大。真正有用的信号被淹了。可观测性不是数据湖,它更像一个针对故障的搜索引擎。
第二个坑,只看技术指标。CPU、内存、GC 次数当然要看。可用户不关心这些。用户关心的是“我的券为什么没到账”。把业务指标和技术指标放在一张图上,很多争论会自己消失。
第三个坑,没有 owner。告警响了,一群人看一眼,然后继续睡。可观测性必须有人负责。不是设一个可观测性团队就完事,而是每个服务的主理人要对它的可观测性负责。仪表盘不是挂上去就完,得有人定期看,定期删,定期改。
如果你现在正打算折腾可观测性,我建议先别搞大平台。从一个核心链路开始。把日志、指标、链路打通。定一个 SLO。然后,故意制造一次故障,看看多久能定位。这个演练比看十篇架构文章都管用。
说到底,可观测性不是炫技。它是让系统在半夜出事时,你能少骂几句脏话。也是让团队在复盘时,少扯一点皮。工具会变,协议会变,这个目标不会变。