《Agent 评测白皮书》系列:从能力到可靠性的度量体系

过去一年,几乎所有团队都经历过同样的过程:Demo 惊艳,上线之后却问题不断。模型在单轮问答里的表现很好,可一旦让它连续调用十几个工具去完成一个真实任务,错误就开始以乘法的方式累积。

问题不在于模型不够强,而在于我们缺少一套能回答「它到底行不行、行到什么程度」的度量体系。这篇是系列的第一篇,先把框架立起来。

一、评测对象是系统,不是模型

很多团队的第一版评测,本质上是把模型当成一个函数:给输入、看输出、打分。这在单步任务上成立,但在 Agent 场景下会严重失真。

一个 Agent 的行为由四个部分共同决定:

  • 模型:单步推理与决策能力;
  • 工具:接口的稳定性、描述质量、错误返回是否可被理解;
  • 上下文:系统提示、检索结果、历史轨迹的组织方式;
  • 策略:重试、回退、终止条件、预算控制。

同一个模型换一套工具描述,任务成功率可能相差二十个百分点。所以评测必须固定「除被测变量外的一切」,否则你测到的只是噪声。

三个层次

层次 评测对象 典型指标 迭代速度
L1 单步能力 单次调用 准确率、格式合规率 分钟级
L2 任务轨迹 多步执行 任务成功率、步数、工具错误率 小时级
L3 端到端业务 完整链路 人工采纳率、业务指标 天级

L1 便宜、快,适合回归;L3 最真实,但昂贵且噪声大。合理的做法是用 L1 做门禁,用 L2 做主指标,用 L3 做校准。

二、四条度量轴

只看成功率是不够的。我们最终把度量拆成四个互不替代的维度。

1. 正确性

任务是否达成目标。这里要小心「看起来对」:Agent 经常给出格式完美但事实错误的答案。我们的做法是给每个任务配一个可执行校验器——调用真实接口、比对数据库状态、跑断言脚本,而不是让另一个模型当裁判。

模型当裁判(LLM-as-Judge)只在无法程序化校验时使用,并且必须做裁判校准:人工标注 200 条,确认裁判与人的一致率,低于 85% 就不采用。

2. 稳定性

这是最容易被忽略的一维。成功率 80% 的系统,如果每次运行的方差极大,它依然是不可用的。

我们同时记录:

  • pass@1:单次执行成功率;
  • pass@k:k 次尝试内至少成功一次的比例;
  • 轨迹一致性:同一任务多次执行的关键步骤重合度。

轨迹一致性低的 Agent,往往意味着它在靠运气撞答案,而不是掌握了方法。

3. 成本

单位任务成本 = token 消耗 + 工具调用次数 + 端到端延迟。我们在评测报告里把成本和成功率画在同一张图上,因为很多「效果提升」其实是拿预算换来的。

4. 可解释性

失败时能否定位原因。这一维没有漂亮的数字,但决定了团队能不能持续改进。实践上我们要求每次失败都落一份结构化轨迹:每步的输入、决策、工具返回、耗时,缺一项就算这条 case 无效。

三、评测集怎么造

评测集的质量决定评测的价值。我们踩过的坑基本集中在三点:

第一,分布失真。 早期评测集由工程师手写,全是「理想用户」的提问。上线后真实流量里充满了指代不明、信息缺失、前后矛盾的请求。解决办法是真实流量分层采样:按意图、长度、工具调用深度分层,每层按真实占比配比。

第二,难度集中。 全都是简单题,或者全都是难题,都无法区分版本差异。我们按「当前基线通过率」把 case 分成四档,保持每档数量接近,这样任何一次改动都能看出它到底改善了哪一档。

第三,污染。 如果评测集的题目在网上能搜到,模型很可能已经背过答案。内部的私有业务数据天然免疫,公开数据集则必须做改写与时间切分。

一个经验值:评测集规模达到 300–500 条后,边际收益迅速下降。与其把 300 条扩到 3000 条,不如把 300 条做扎实——每条都配校验器、都有归因。

四、从离线到线上

离线评测通过,不等于线上可用。我们加了两道闸。

影子流量:把线上真实请求复制一份给新版本 Agent,只在旁路执行、不返回结果,对比两版的行为差异。这一步能提前发现工具调用风暴、超时雪崩这类离线测不出来的问题。

人审抽样:每天按分层抽样取 50 条线上轨迹人工复核,记录「不可接受」的比例。这个数字比任何自动指标都更能反映真实体验,也常常是发现评测集盲区的唯一途径。

五、几个常见陷阱

  • 只测成功路径。 失败路径的信息量更大,尤其是「工具报错后是否正确恢复」。
  • 忽略环境抖动。 依赖外部接口的评测必须记录环境状态,否则一次下游故障就能让整天的数据作废。
  • 把指标当目标。 一旦团队开始优化某个指标,样本就会在这个方向上过拟合。定期轮换评测集是必要的。

结语

评测体系的价值不在那张分数表,而在于它迫使团队把「什么叫做好」讲清楚。当你能给每个失败 case 标注出它属于哪一层、哪一维、哪个原因时,改进方向自然就浮现了。

下一篇会展开讲工具调用的稳定性设计——那是我们观察到的、Agent 失败原因中占比最高的一类。