AI agent 新场景上线时，最常见也最危险的一句话，是“我们试了几次，感觉还行”。这种判断在内部原型阶段还能勉强接受，一旦进入真实业务，就会马上暴露出问题。因为新场景的风险并不只存在于平均表现，而存在于边缘样本、异常输入、权限约束、长尾例外和升级链路里。演示跑通了，不代表生产准备好了；平均答案不错，也不代表关键错误可以被接受。
很多团队并不是不知道要做评估，而是把评估理解得太泛。通用 eval、少量人工 spot check、一次业务演示，这些都能给信心，但都不足以构成 acceptance bar。平台真正需要的是一套和目标场景直接绑定的 benchmark suite，让团队在发布前能回答一个更硬的问题：我们到底凭什么说这条自动化已经达到当前阶段的上线门槛。
所以 benchmark suite 的价值，不是让平台评估更学术，而是把“能不能上”从感受判断拉回可解释门槛。没有 acceptance bar，平台后面的所有 rollout 都会更像赌运气，而不是有边界地放量。
建议配合 AI agent 评估框架完全指南、AI agent Eval Dataset 构建指南、AI agent 证据来源与可信度分层 和 AI agent Rollout Wave Planning 与 Cohort Migration 一起看。
通用评估解决“模型大体怎样”，benchmark suite 解决“这个场景能不能上线”
| 评估对象 | 它更适合回答什么 | 为什么不能直接代替 acceptance bar |
|---|---|---|
| 通用模型评估 | 模型整体质量趋势如何 | 不知道对具体业务场景意味着什么 |
| 离线样本评估 | 某类任务在已有样本上表现如何 | 不一定覆盖真实上线后的边界条件 |
| Benchmark suite | 该场景最关键的成功样本、失败样本和高风险样本是否过线 | 才能支撑“现在可以上线到哪一层” |
很多上线事故，不是因为团队完全没做评估，而是做了“看起来很多”的评估，却没有一套专门为该场景准备的最小门槛。结果就是模型整体看起来不错，但一旦放到具体流程里，错误会集中出现在最不该出错的地方。
一个能支撑上线判断的 suite，至少要覆盖四类样本
新场景的 benchmark suite 至少不应该只包含正常样本。更稳的结构通常会包括：
- 标准成功样本：验证主路径确实可用
- 高风险边缘样本：验证关键例外不会被误判成正常情况
- 失败与缺失样本：验证系统能否正确停下、转人工或给出低置信度
- 回归保护样本：验证后续版本升级不会把已稳定能力带回去
如果少了后两类，suite 很容易只是另一个漂亮 demo 集。真正的 acceptance bar，要能同时证明“做得对”和“做不对时能正确暴露出来”。
Acceptance bar 不该只有一个数字，而应该随风险等级改变
很多团队希望有一条统一门槛，例如准确率 85% 就能上线。问题在于，不同自动化的风险根本不一样。内容草稿辅助、工单分流建议、审批前风险预标、高风险外发动作，这些场景不可能用同一个 bar。更合理的做法通常是分层：
- 低风险建议类场景，可以接受更高的人工复核比例，但要求覆盖率更高
- 中风险半自动化场景，要同时看准确率、低置信度识别和 fallback 正确率
- 高风险动作类场景，不只是看结果准确，还要看错误时是否一定能停下和升级
bar 的本质不是越高越好，而是和该场景的可逆性、损失后果和人工兜底能力对齐。只有这样，门槛才不是拍脑袋，也不是一条对所有场景都不合适的均值规则。
一个常见事故：平均分过线了，最贵的错误却一个没被挡住
某团队给供应商资料审查 agent 做上线评估时，整体准确率看起来已经不错。按平均分，它完全达到预期。问题是上线后很快出现了一类昂贵错误：含有特殊合规备注和历史例外的样本，被系统误判成可自动通过。回头复盘才发现，这类样本在原来的 benchmark 里占比太低，几乎被平均分淹没了。
团队后来并没有一味提高总体阈值，而是重构 suite：把高风险样本单独成组，要求它们的识别和 stop behavior 必须分别达标，否则无论平均分多好都不能进入下一轮 rollout。这个改动的价值不在于分数变漂亮，而在于平台终于承认“最贵的错误”不该被平均数掩盖。
如果你现在只能先补一层，先把会阻止上线的样本组显式化
很多团队会先想着把 benchmark 做得很大、很全。其实更有价值的一步，是先定义哪几组样本会直接阻止上线。只要这几组样本还没被显式化，团队就会持续被平均指标诱导，误以为整体还不错就可以继续放量。
AI agent 平台真正成熟的上线标准，不是“大家看完 demo 都比较放心”，而是“我们知道哪些样本必须过、哪些信号一旦不稳就不能上”。bar 被讲清的那一刻，平台才真正从演示走向生产。
延伸阅读：
