AI agent 平台只要真的把 policy 放进生产，迟早会遇到这样一种压力：你知道现在的规则不够好，想改；但你又知道一旦改错，系统伤害的不会只是一个请求，而是一整批租户、一整类任务，甚至一整条人工审核链。于是很多团队最后只能在两种坏选择里摇摆：要么让旧规则继续拖着平台走，要么硬着头皮上线，再祈祷没有大面积误伤。
policy 之所以比普通配置更危险，是因为它天生带着“全局解释权”。同一条规则可能同时影响准入、工具调用、人工 review、外发动作和预算闸门。你改的也许只是一行阈值，系统改变的却可能是一整条行为路径。所以 policy 变更真正需要的，不是更谨慎的手工 review，而是上线前就能回答：这条规则如果今天生效，到底会多大范围地改变系统决策。
这就是 dry-run 和 blast radius analysis 的价值。它们不是额外的繁文缛节，而是 policy 从“静态配置”变成“可运营决策系统”的分水岭。
建议配合 AI agent Policy Engine 规则分层、AI agent 灰度发布与功能开关、AI agent Plan Tier Entitlement 与 Tool Gating 和 AI agent 证据来源与可信度分层 一起看。
先分清：policy 变更为什么比普通开关更难上线
| 变更类型 | 表面上像什么 | 真正会影响什么 |
|---|---|---|
| 阈值调整 | 风险分数从 0.7 提到 0.8 | 会不会把大量本来自动通过的 run 打进 review |
| 规则新增 | 多一条禁止外发条件 | 哪些租户的关键流程会突然停住 |
| 规则顺序变更 | 先执行 A 再执行 B | 不同 policy 的解释权是否被悄悄改写 |
| 例外收紧 / 放宽 | 某类租户暂时例外 | 平台边界是不是被整体推宽或推窄 |
policy 的危险不在于它复杂，而在于它经常会把“局部修改”放大成“系统性行为变化”。
Dry-run 最有价值的不是通过率，而是“决策差异”
很多团队做 dry-run 时，最先盯的是通过率有没有变化。这当然有价值，但还远远不够。真正能说明 policy 变更影响面的，通常是这些差异信号：
- 本来会自动通过的任务，有多少会变成
needs_review - 本来会被拦截的任务，有多少会被放行
- 哪类租户、哪类任务、哪类工具调用受影响最大
- 变化集中在低风险长尾，还是集中在高风险核心场景
也就是说，dry-run 真正要模拟的不是“规则能不能跑”，而是“规则如果真跑了，系统会在哪里开始像另一个系统”。
Blast radius 要先按业务面切，不要只看全局比例
全局变化比例有时非常具有迷惑性。比如一条 policy 新规则只让全平台 2% 的请求改判，看上去不算大。可如果这 2% 里大部分都集中在高价值租户、关键发布任务或某个合规流程上，那它的 blast radius 一点也不小。
所以分析影响面时，至少要分开看：
- 按租户 / 行业看差异
- 按任务类型看差异
- 按风险等级看差异
- 按副作用等级看差异
只有这样，你才不会被一个“整体影响不大”的数字骗过去。
Shadow decision 很重要，因为很多 policy 错误不会立刻爆炸
policy 变更最难受的地方之一，是它并不总会立刻报错。很多错误生效后的第一反应只是：
- review 队列开始慢慢变长
- 某类任务突然更爱走人工兜底
- 某些租户开始觉得系统“变谨慎了”或“变冲动了”
这类变化如果没有 shadow decision 记录，团队很难确认到底是业务波动，还是 policy 本身改变了世界。所以更成熟的做法，是在一段时间内同时记录“旧规则怎么判”“新规则会怎么判”，先看差异，再谈放量。这样 policy 改动才不会总是靠主观自信上线。
一个典型事故：只想少一点误放，结果把 review 队列打爆
某团队想降低高风险外发的漏拦率，于是把风险阈值从 0.72 提到 0.81。离线回看时，整体通过率只下降了 3%，团队觉得问题不大，直接上线。三天后，平台没有明显报错，但用户体验开始明显变差。最终发现：
- 受影响最大的不是低风险长尾，而是高价值租户的日常任务
- 大量原本自动完成的任务进入 review 队列
- review 队列的 aging 上升后，又反过来拖慢整个平台
这就是典型的 blast radius 误判。团队最后补的不是更谨慎的人审，而是一套按租户、风险域和任务类型切开的 dry-run 差异报告。这个改动的关键不在于让规则更保守，而在于让上线前就知道“痛点会落在哪”。
真正该先补的，是把 policy 变更从配置动作升级成发布动作
如果你现在只能先补一层，优先不是更复杂的规则编辑器，而是让任何 policy 改动至少经过：dry-run、差异分析、blast radius 评估和 rollout gate。只要 policy 仍然能像普通配置一样被直接写入生产，它就永远会以“只是改了个小值”的姿态把风险推到线上。
AI agent 最怕的不是规则很多，而是规则开始拥有系统级解释权之后，平台却还在用改 feature flag 的心态对待它。规则越重要，越要先学会在生效前看见它会改变什么。
延伸阅读：
