用户对 agent 的信任通常在第一轮回复就形成。第一答跑偏,后面再聪明也会被认为“不靠谱”。这就是 First Response Hit Rate(FRHR)的核心意义。
指标定义
建议定义:
$$FRHR = \frac{首轮回复被判定为可继续执行的会话数}{总会话数}$$
“可继续执行”不是“完美回答”,而是至少满足:
- 理解了目标
- 没有明显越界
- 给出了下一步可执行动作
为什么只看最终完成率会误判
| 指标 | 看起来 | 实际问题 |
|---|---|---|
| 完成率高 | 系统似乎稳定 | 可能靠多轮补救堆出来 |
| FRHR 低 | 首轮质量差 | 用户在前两轮已流失 |
FRHR 低会直接拉高二次追问、人工接管和会话取消率。
影响 FRHR 的四个主要因子
- 意图解析:任务类型识别错误
- 上下文装配:关键约束未进入首轮上下文
- 策略边界:该拒绝的不拒绝,该执行的不执行
- 输出结构:首轮未给出可执行路径
失败案例:首轮“答案很多”,但没有动作
某客服 agent 首轮输出大量解释,却不提供下一步按钮或字段补充项。用户平均要再追问 2.4 次才能进入执行阶段。改成“先给行动路径、后给补充解释”后,FRHR 提升,单会话成本下降。
提升 FRHR 的动作优先级
- 给每类意图定义首轮最小结构(结论、行动、风险提示)。
- 为首轮回复增加“缺信息追问模板”,避免空泛追问。
- 建立首轮质检抽样,按意图分桶复盘。
- 把首轮命中率纳入模型/提示词发布门禁。
运营 Checklist
- FRHR 按场景分桶(客服、写作、审批、排障)
- FRHR 与取消率、人工接管率联动看
- 首轮回复有固定结构约束
- 发布前有首轮样本验收
- 每周复盘 Top 3 首轮跑偏模式
延伸阅读:


