可观测性建设:从日志堆到全链路追踪

故障排查最痛苦的时刻,不是不知道原因,而是不知道该看哪里。日志有,指标有,但它们彼此不连通。

一、问题:数据很多,信息很少

当时的状况:40 多个服务,日志分散在三个系统(自建 ELK、云厂商日志、部分还在文件里),指标在 Prometheus,但没有 trace。

一次典型的排查过程:

  1. 用户投诉下单失败,拿到订单号;
  2. 在订单服务日志里搜订单号,找到 调用库存服务超时;
  3. 去库存服务日志里搜,但没有订单号字段,只能按时间窗口猜;
  4. 时间窗口内有 3 万条日志,肉眼过一遍;
  5. 平均耗时 45 分钟,还不一定找得到。

核心症结是缺少关联标识。

二、第一件事:traceId 贯穿到底

我们借鉴 W3C Trace Context,要求所有入口(HTTP、MQ、定时任务)生成或透传 traceparent,并强制写入日志的固定字段。

// 网关入口:无 traceparent 则新建
const traceId = req.headers['traceparent']?.split('-')[1] ?? randomHex(16);
logger = logger.child({ trace_id: traceId, span_id: randomHex(8) });

推广阶段最大的阻力不是技术,是”改造成本”。我们用三步走:

  • 第一阶段:网关 + 核心 8 个服务接入,覆盖 80% 的流量;
  • 第二阶段:中间件层统一注入(HTTP client、DB、Redis、MQ 的 SDK 封装),业务代码零改动;
  • 第三阶段:边缘服务、批处理任务补齐。

关键在第二阶段——把透传做进基建,而不是要求业务方自觉。封装之后,新服务只要用内部 SDK 就自动具备追踪能力。

三、采样:全量存不起,随机采样又不够用

高峰期每天 40 亿 span,全量存储成本无法接受。我们试过三种策略:

固定比例采样(10%):便宜,但会漏掉稀有故障。一次只影响 0.3% 请求的 bug,几乎不可能被采到。

尾部采样:请求结束后再决定是否保留,优先保留错误、慢请求、关键业务。这是我们现在的主力策略。

tail_sampling:
  policies:
    - name: errors        # 所有错误全留
      type: status_code
      status_code: { status_codes: [ERROR] }
    - name: slow          # 慢请求全留
      type: latency
      latency: { threshold_ms: 1000 }
    - name: critical_biz  # 支付链路 100%
      type: string_attribute
      string_attribute: { key: biz.critical, values: ["true"] }
    - name: baseline      # 其余 2% 作为基线
      type: probabilistic
      probabilistic: { sampling_percentage: 2 }

代价是需要一个收集缓冲层,span 要等整条链路结束后才能落盘。我们设了 30 秒的决策窗口,超时未完成的链路按”未完成”保留。

四、指标:只用两套模型

指标最容易失控——每个团队加几十个 dashboard,最后没人看。我们收敛到两套:

RED(面向服务):Rate、Errors、Duration。每个服务必须有这三个,且命名统一。

USE(面向资源):Utilization、Saturation、Errors。用于数据库、缓存、队列、机器。

命名规范强制为 {service}_{resource}_{metric},禁止业务自定义前缀。这条规则让所有 dashboard 可以自动生成,新服务接入零配置。

五、告警降噪:从每天 200 条到 8 条

原来的告警是”指标越线即告警”,结果每天 200 多条,大半是抖动。

改造后:

分级。 P0 电话、P1 群消息 @ 值班、P2 静默进日报。只有 P0/P1 会打断人。

多窗口确认。 单点越线不告警,要求「1 分钟均值越线 且 5 分钟均值越线 50%」才触发。这一条砍掉了 70% 的噪声。

同源聚合。 同一 trace 或同一依赖引发的多条告警合并成一条事件,附带受影响的接口列表。

告警必须可执行。 每条告警的 description 里必须写明:含义、初步判断步骤、runbook 链接。写不出来的告警,删掉。

六、结果

指标 建设前 建设后
平均故障定位时间 45 分钟 6 分钟
日均告警数 210 8
误报告警占比 62% 11%
故障复盘能还原完整链路的比例 30% 94%

七、经验

先有 trace,再谈其他。 没有关联标识,日志和指标都是孤岛。

透传做进基建。 靠规范约束业务方,覆盖率永远上不去。

告警是产品,不是配置。 每条告警都在消耗团队的注意力预算,必须像做产品一样设计它。

别追求大而全。 我们一开始想自建全链路平台,评估后放弃,改用开源方案 + 自研采样层,三个月上线。工具不是目的。