AI agent 平台做到后面,很容易出现一种数据幻觉:能力开通越来越多、接入流程越来越顺、看板上也能看到不少“已启用 workflow”。可一旦团队真正去问哪些自动化在被持续使用、哪些只是上线后一阵子热闹、后面几乎没人再碰,答案往往并不清楚。平台如果看不到 adoption truth,就会把很多本该优化、合并甚至停掉的自动化继续留在系统里,复杂度越来越高,真实价值却越来越模糊。
问题在于,“已开通”“跑过几次”“仍被真实业务依赖”是三件完全不同的事。很多自动化在上线初期会因为试点、宣传或 owner 推动而有一波使用,但一旦遇到高返工、支持路径不顺、例外太多或业务流程变化,使用就会快速掉下去。平台如果仍只按启用数和累计调用量看 adoption,就会误把历史存在感当作当前价值。
所以 adoption telemetry 的价值,不是多一条增长曲线,而是让平台能回答更硬的问题:哪些自动化真的进入了业务日常,哪些只是在后台存活却不再被信任,哪些正处在即将沉睡但平台还没看见的边缘地带。没有 dormant detection,平台会持续养着一批“看起来存在、实际上没人在用”的自动化资产。
建议配合 AI agent 产品成功指标、AI agent Portfolio Control Tower、AI agent Capability Deprecation 与 Sunset Migration 和 AI agent Value Realization Scorecard 与 Renewal Gating 一起看。
Enable、first run、habitual use,不该被压成一个“使用数”
| 阶段 | 真正代表什么 | 如果混在一起会怎样 |
|---|---|---|
| Enable | 这项自动化已经被开通 | 容易把配置完成误当成 adoption |
| First run | 有人至少试过一次 | 容易把试点热度误当成长期使用 |
| Habitual use | 业务已经把它纳入日常流程 | 才更接近真实 adoption |
很多平台的问题不是完全没埋点,而是埋点层次太粗。开通了、跑过了、曾经被演示过,都能被算成 adoption。这样看板当然会很好看,但平台拿不到最关键的判断:这条自动化有没有真正改变业务行为。
Dormant automation 不是“完全没人跑”,而是“还挂着,但已经不再健康地被消费”
一条自动化进入 dormant 状态,往往不会表现成完全静止。更常见的信号是:
- 启用还在,周活跃使用者却持续下降
- 运行仍有,但更多依赖人工绕过或回退到旧流程
- 只在平台推动或事故复盘时才被重新触发一次
- support escalation 占比高于稳定价值,却还没有明确 owner 去决定是否收缩
这也是为什么 dormant detection 不能只看“最近 30 天是否有 run”。很多自动化 technically 仍在活着,业务上却已经死掉了。平台需要看的,是它有没有继续被正常消费,而不是仅仅有没有痕迹。
一个常见事故:平台以为 adoption 很好,结果只是被试点期数据骗了
某团队推出一套合同摘要自动化,试点阶段表现不错:多个部门开通,初期 run 数也很高。平台因此把它当作成功案例继续推广。几个月后,他们才发现这条自动化实际已经逐渐闲置。原因并不神秘:
- 新模板没有覆盖后续新增的合同例外场景
- 用户遇到两三次返工后,开始回到旧的人工流程
- 开通数据仍在,但稳定使用者已经显著减少
平台最初没有看见这件事,因为他们看的主要是启用率和累计调用量。等后来把 telemetry 拆成 enable、first success、weekly active operator、manual bypass ratio 几层后,才第一次看清 adoption 正在掉线。
真正有用的 adoption telemetry,要能把“继续投资”和“开始收缩”区分出来
如果一条自动化的使用在上升,平台应该知道是因为模板更稳、业务真的更信任,还是只是因为被强推到更多租户。如果一条自动化开始沉睡,平台也应该知道问题出在体验、能力、支持链路还是 owner 缺失。也就是说,telemetry 不只是看趋势,还要能支持动作:
- 继续 rollout
- 补 benchmark 和模板
- 转回半自动化
- 进入 deprecation 观察期
如果 telemetry 不能支持这些动作,它就只是另一套描述系统存在感的数据,而不是描述真实采用的工具。
如果你现在只能先补一层,先把“启用后 30 天仍活跃”做成核心信号
很多平台会先追求很完整的 adoption 体系。更务实的起点,是先盯住一个特别容易暴露真相的信号:一条自动化在启用后 30 天是否仍有稳定活跃使用者,且没有明显 manual bypass 上升。如果这条信号持续不好看,平台就不该继续把它算作成功 adoption。
AI agent 平台真正难的,从来不是把能力开出去,而是让能力在一段时间之后还被真实业务继续用。看清谁还活着、谁其实已经在沉睡,平台才能知道下一步该扩,还是该收。
延伸阅读:


