可观测性建设:从日志堆到全链路追踪
故障排查最痛苦的时刻,不是不知道原因,而是不知道该看哪里。日志有,指标有,但它们彼此不连通。
一、问题:数据很多,信息很少
当时的状况:40 多个服务,日志分散在三个系统(自建 ELK、云厂商日志、部分还在文件里),指标在 Prometheus,但没有 trace。
一次典型的排查过程:
- 用户投诉下单失败,拿到订单号;
- 在订单服务日志里搜订单号,找到
调用库存服务超时; - 去库存服务日志里搜,但没有订单号字段,只能按时间窗口猜;
- 时间窗口内有 3 万条日志,肉眼过一遍;
- 平均耗时 45 分钟,还不一定找得到。
核心症结是缺少关联标识。
二、第一件事:traceId 贯穿到底
我们借鉴 W3C Trace Context,要求所有入口(HTTP、MQ、定时任务)生成或透传 traceparent,并强制写入日志的固定字段。
// 网关入口:无 traceparent 则新建
const traceId = req.headers['traceparent']?.split('-')[1] ?? randomHex(16);
logger = logger.child({ trace_id: traceId, span_id: randomHex(8) });
推广阶段最大的阻力不是技术,是”改造成本”。我们用三步走:
- 第一阶段:网关 + 核心 8 个服务接入,覆盖 80% 的流量;
- 第二阶段:中间件层统一注入(HTTP client、DB、Redis、MQ 的 SDK 封装),业务代码零改动;
- 第三阶段:边缘服务、批处理任务补齐。
关键在第二阶段——把透传做进基建,而不是要求业务方自觉。封装之后,新服务只要用内部 SDK 就自动具备追踪能力。
三、采样:全量存不起,随机采样又不够用
高峰期每天 40 亿 span,全量存储成本无法接受。我们试过三种策略:
固定比例采样(10%):便宜,但会漏掉稀有故障。一次只影响 0.3% 请求的 bug,几乎不可能被采到。
尾部采样:请求结束后再决定是否保留,优先保留错误、慢请求、关键业务。这是我们现在的主力策略。
tail_sampling:
policies:
- name: errors # 所有错误全留
type: status_code
status_code: { status_codes: [ERROR] }
- name: slow # 慢请求全留
type: latency
latency: { threshold_ms: 1000 }
- name: critical_biz # 支付链路 100%
type: string_attribute
string_attribute: { key: biz.critical, values: ["true"] }
- name: baseline # 其余 2% 作为基线
type: probabilistic
probabilistic: { sampling_percentage: 2 }
代价是需要一个收集缓冲层,span 要等整条链路结束后才能落盘。我们设了 30 秒的决策窗口,超时未完成的链路按”未完成”保留。
四、指标:只用两套模型
指标最容易失控——每个团队加几十个 dashboard,最后没人看。我们收敛到两套:
RED(面向服务):Rate、Errors、Duration。每个服务必须有这三个,且命名统一。
USE(面向资源):Utilization、Saturation、Errors。用于数据库、缓存、队列、机器。
命名规范强制为 {service}_{resource}_{metric},禁止业务自定义前缀。这条规则让所有 dashboard 可以自动生成,新服务接入零配置。
五、告警降噪:从每天 200 条到 8 条
原来的告警是”指标越线即告警”,结果每天 200 多条,大半是抖动。
改造后:
分级。 P0 电话、P1 群消息 @ 值班、P2 静默进日报。只有 P0/P1 会打断人。
多窗口确认。 单点越线不告警,要求「1 分钟均值越线 且 5 分钟均值越线 50%」才触发。这一条砍掉了 70% 的噪声。
同源聚合。 同一 trace 或同一依赖引发的多条告警合并成一条事件,附带受影响的接口列表。
告警必须可执行。 每条告警的 description 里必须写明:含义、初步判断步骤、runbook 链接。写不出来的告警,删掉。
六、结果
| 指标 | 建设前 | 建设后 |
|---|---|---|
| 平均故障定位时间 | 45 分钟 | 6 分钟 |
| 日均告警数 | 210 | 8 |
| 误报告警占比 | 62% | 11% |
| 故障复盘能还原完整链路的比例 | 30% | 94% |
七、经验
先有 trace,再谈其他。 没有关联标识,日志和指标都是孤岛。
透传做进基建。 靠规范约束业务方,覆盖率永远上不去。
告警是产品,不是配置。 每条告警都在消耗团队的注意力预算,必须像做产品一样设计它。
别追求大而全。 我们一开始想自建全链路平台,评估后放弃,改用开源方案 + 自研采样层,三个月上线。工具不是目的。