动态证书针对 $\delta_\text{act} := I(S_t; A_t \mid \tilde T_t)$。由于 $S_t$ 不可观测,我们指定其测量变量在给定 $\tilde T_t$ 下满足 $X_t \to S_t \to A_t$ 的探针。条件 DPI 提供正确性论证:$I(X_t; A_t \mid \tilde T_t) \leq \delta_\text{act}$。

命题(基于条件 DPI 的探针证书):对于任何在给定 $\tilde T_t$ 下满足 $X_t \to S_t \to A_t$ 的可容许探针变量 $X_t$,探针测量 $I(X_t; A_t \mid \tilde T_t)$ 是 $\delta_\text{act}$ 的一个有效下界证书。

重放证书。 令 $R_t \in {\text{wild}, \text{replay}}$ 表示一个缺失状态片段是否在同一条可见轨迹 $\tilde T_t$ 下被重建(受控重新执行,而非转述变化)。则 $I(R_t; A_t \mid \tilde T_t) = \mathrm{JS}(P_\text{wild}, P_\text{replay} \mid \tilde T_t) \leq \delta_\text{act}$。离散行动空间允许对已实现行动或模型报告的行动概率进行直接的经验 JS 估计;下文实验会说明使用哪种方法。

干预证书。 令 $\xi_\text{hidden}$ 为对可疑未记录模块(缓存、内存缓冲区、草稿板)的外生扰动。如果在给定 $\tilde T_t$ 下满足 $\xi_\text{hidden} \to S_t \to A_t$,则 $I(\xi_\text{hidden}; A_t \mid \tilde T_t) \leq \delta_\text{act}$。离散行动空间允许直接的条件行动分布偏移估计(如 JS 散度);对于连续行动空间,可使用 InfoNCE 或 MINE。需要灰盒扰动访问,是三种探针中最直接的因果探针。

代理证书。 令 $Z_t = f(S_t)$ 为有效状态的一个可读粗化(工具 logit 投影、注意力汇总)。由于在给定 $\tilde T_t$ 下 $Z_t \leftarrow S_t \to A_t$,条件 DPI 给出 $I(Z_t; A_t \mid \tilde T_t) \leq \delta_\text{act}$。我们通过拟合预测器 $p(A_t \mid \tilde T_t)$ 和 $p(A_t \mid \tilde T_t, Z_t)$ 并取其交叉熵缺口来估计该量,记为 $\hat I(Z_t; A_t \mid \tilde T_t)$。

聚合。 单个证书类别可能遗漏某些因果路径。定义 $\delta_{\text{act}}^{\text{LB}} := \max{ I(R_t; A_t \mid \tilde T_t), I(\xi_\text{hidden}; A_t \mid \tilde T_t), I(Z_t; A_t \mid \tilde T_t) }$。由最大值的单调性,聚合结果仍然是 $\delta_\text{act}$ 的一个有效下界。

激活剖面。 标量证书是可容许探针索引族的最大值。保留索引即得到一个激活剖面 [ \Delta(j) := I(X_t^{(j)}; A_t \mid \tilde T_t), ] 其中 $j$ 可表示草稿板字段、去噪步骤、激活层或通信边。静态证书标识残差容量可能所在的位置;激活剖面标识这些容量在何处被行为性地使用。下文的实验保持这一代数结构不变,仅改变索引:ReAct 中为模块,扩散 LM 中为时间步,多智能体设置中为通信边。


上一节: 四、静态证书:通过未追踪信道容量的结构上界 | 目录 | 下一节: 六、经验诊断