AI agent Adoption Telemetry 与 Dormant Automation Detection:哪些自动化真的被采纳,哪些只是开通后长期闲置

HTMLPAGE 团队
16 分钟阅读

AI agent 平台很容易把“已开通”误当成“已采用”。本文讲清 adoption telemetry 与 dormant automation detection,让团队真正看见哪些自动化在被持续使用,哪些只是挂在系统里消耗复杂度。

#AI agent #Adoption Telemetry #Dormant Automation #工程实践

AI agent 平台做到后面,很容易出现一种数据幻觉:能力开通越来越多、接入流程越来越顺、看板上也能看到不少“已启用 workflow”。可一旦团队真正去问哪些自动化在被持续使用、哪些只是上线后一阵子热闹、后面几乎没人再碰,答案往往并不清楚。平台如果看不到 adoption truth,就会把很多本该优化、合并甚至停掉的自动化继续留在系统里,复杂度越来越高,真实价值却越来越模糊。

问题在于,“已开通”“跑过几次”“仍被真实业务依赖”是三件完全不同的事。很多自动化在上线初期会因为试点、宣传或 owner 推动而有一波使用,但一旦遇到高返工、支持路径不顺、例外太多或业务流程变化,使用就会快速掉下去。平台如果仍只按启用数和累计调用量看 adoption,就会误把历史存在感当作当前价值。

所以 adoption telemetry 的价值,不是多一条增长曲线,而是让平台能回答更硬的问题:哪些自动化真的进入了业务日常,哪些只是在后台存活却不再被信任,哪些正处在即将沉睡但平台还没看见的边缘地带。没有 dormant detection,平台会持续养着一批“看起来存在、实际上没人在用”的自动化资产。

建议配合 AI agent 产品成功指标AI agent Portfolio Control TowerAI agent Capability Deprecation 与 Sunset MigrationAI agent Value Realization Scorecard 与 Renewal Gating 一起看。

Enable、first run、habitual use,不该被压成一个“使用数”

阶段真正代表什么如果混在一起会怎样
Enable这项自动化已经被开通容易把配置完成误当成 adoption
First run有人至少试过一次容易把试点热度误当成长期使用
Habitual use业务已经把它纳入日常流程才更接近真实 adoption

很多平台的问题不是完全没埋点,而是埋点层次太粗。开通了、跑过了、曾经被演示过,都能被算成 adoption。这样看板当然会很好看,但平台拿不到最关键的判断:这条自动化有没有真正改变业务行为。

Dormant automation 不是“完全没人跑”,而是“还挂着,但已经不再健康地被消费”

一条自动化进入 dormant 状态,往往不会表现成完全静止。更常见的信号是:

  • 启用还在,周活跃使用者却持续下降
  • 运行仍有,但更多依赖人工绕过或回退到旧流程
  • 只在平台推动或事故复盘时才被重新触发一次
  • support escalation 占比高于稳定价值,却还没有明确 owner 去决定是否收缩

这也是为什么 dormant detection 不能只看“最近 30 天是否有 run”。很多自动化 technically 仍在活着,业务上却已经死掉了。平台需要看的,是它有没有继续被正常消费,而不是仅仅有没有痕迹。

一个常见事故:平台以为 adoption 很好,结果只是被试点期数据骗了

某团队推出一套合同摘要自动化,试点阶段表现不错:多个部门开通,初期 run 数也很高。平台因此把它当作成功案例继续推广。几个月后,他们才发现这条自动化实际已经逐渐闲置。原因并不神秘:

  • 新模板没有覆盖后续新增的合同例外场景
  • 用户遇到两三次返工后,开始回到旧的人工流程
  • 开通数据仍在,但稳定使用者已经显著减少

平台最初没有看见这件事,因为他们看的主要是启用率和累计调用量。等后来把 telemetry 拆成 enable、first success、weekly active operator、manual bypass ratio 几层后,才第一次看清 adoption 正在掉线。

真正有用的 adoption telemetry,要能把“继续投资”和“开始收缩”区分出来

如果一条自动化的使用在上升,平台应该知道是因为模板更稳、业务真的更信任,还是只是因为被强推到更多租户。如果一条自动化开始沉睡,平台也应该知道问题出在体验、能力、支持链路还是 owner 缺失。也就是说,telemetry 不只是看趋势,还要能支持动作:

  • 继续 rollout
  • 补 benchmark 和模板
  • 转回半自动化
  • 进入 deprecation 观察期

如果 telemetry 不能支持这些动作,它就只是另一套描述系统存在感的数据,而不是描述真实采用的工具。

如果你现在只能先补一层,先把“启用后 30 天仍活跃”做成核心信号

很多平台会先追求很完整的 adoption 体系。更务实的起点,是先盯住一个特别容易暴露真相的信号:一条自动化在启用后 30 天是否仍有稳定活跃使用者,且没有明显 manual bypass 上升。如果这条信号持续不好看,平台就不该继续把它算作成功 adoption。

AI agent 平台真正难的,从来不是把能力开出去,而是让能力在一段时间之后还被真实业务继续用。看清谁还活着、谁其实已经在沉睡,平台才能知道下一步该扩,还是该收。

延伸阅读: