2026-10-08

本文提出并评估 NeMo-DCR，一个面向跨集群 Agentic RL 的位精确增量权重同步（refit）系统。论文将问题定位在训练/rollout 解耦的强化学习基础设施：策略更新必须在下批 rollout 前送达远端推理集群，而稠密检查点传输在万亿参数尺度代价极高。相较四类已有系统（稠密集合 refit、全检查点传输、算术重建、绝对覆盖），NeMo-DCR 以 Hugging Face checkpoint 的 canonical coordinates 作为中间坐标，同时满足 bit-exact、delta、native placement、decoupled delivery、recovery 五项需求。其技术贡献为直接投影与残差转换、混合 XOR/覆盖编码与压缩、可恢复原地应用与 joint commit、无跨集群集合通信的流水线传输。论文属系统研究，面向大模型 RL 训练/推理协同基础设施，证据以端到端延迟、速度提升、位精确性和训练轨迹一致性为主。

Agentic RL 把 rollout 从训练中解耦，因为 rollout 占据大量墙钟时间，且 rollout 集群可能使用不同硬件与并行布局。每次策略更新必须在下批 rollout 前到达接收端，这个过程称为 refit。跨 WAN 的全量检查点传输非常昂贵，而 BF16 训练中每步只有很少一部分源元素改变其存储值：BF16 只有 8 个有效位，大部分优化器更新被舍入吸收，因此全量传输的绝大部分字节浪费在未变化元素上。 增量 refit 面临三个挑战。第一是 placement：训练分片位置不能直接映射到接收端存储，refit 可能涉及 gather、split、permute，共享 scale factor 的变化也会改变许多转换值；重新实现 serving runtime 的放置规则容易出错，先组装完整张量再做差量则要付出组装和转换成本。第二是 exactness：小传输仍须交付精确更新位，因为 rollout/训练不一致会破坏 RL 稳定性；算术重建可能引入舍入误差，绝对覆盖虽精确但会重发未变化位；中断的原地更新还可能留下既不属于旧版本也不属于新版本的混合状态。第三是 efficiency：交付必须与差量构建、应用重叠，且不能使用把接收端成员与训练集群耦合起来的跨集群 collective；不同部署可能只有对象存储或直连链路。 已有系统只部分满足这些需求：稠密集合 refit 和全检查点传输发送全部权重；算术重建类系统不位精确；绝对覆盖类系统或重实现放置、或缺乏解耦交付与恢复。NeMo-DCR 的核心洞察是：用训练和推理都支持的 Hugging Face checkpoint 规范坐标描述变化，由 serving runtime 的原生加载器完成从规范坐标到接收端本地存储的映射，从而把“发送什么变化”与“变化写到哪”解耦。

核心设计以 Hugging Face checkpoint 的 canonical coordinates 作为训练分片与接收端存储之间的中间表示。设 W^v 为版本 v 的规范张量（含版本化 buffers），接收端 r 的原生加载器 L_r 把 W^v 变换为本地存储 P_r^v=L_r(W^v)，其中可包含 Q/K/V 融合、专家切分、转置、cast 等路径；系统要求每条路径的输出元素只依赖一个规范元素。refit 目标是使每个接收端达到 P_r^{v+1}=L_r(W^{v+1})，即稠密 refit 的位精确结果。七步流水线为：shard owner 检测并投影变化（①-②）、编码（③）、传输（④）、接收端应用（⑤-⑦），协调者用 joint commit 发布策略。 在变化检测与 ownership 上，为避免数据并行副本重复计算，稳定 name hash 在每个数据并行组内选出一个 owner；副本保持位一致，因此每个唯一源元素只有一个 owner。owner 保存 committed source baseline B^v，其中每个转换任务 T 的 tracker A_T^v 存版本 v 的源分片，另有分布式 residual baseline {R_u^v}。候选分片 S_T^{v+1} 与 tracker 逐位比较：C_T={j∈J_T | I(S_T^{v+1})_j≠I(A_T^v)_j}。用存储位模式而非浮点相等，可捕获 +0.0/−0.0 符号位变化。baseline 放在 host memory，不占 GPU；总量约为检查点的 1.04×/1.03×，由各训练 rank 分摊。论文观测到 agentic SWE RL 配方下六种 BF16 模型前五步平均只有 0.6–1.2% 的源元素改变存储值；第 8.4 节的真实 GRPO 训练更新平均变化 1.2%，而延迟压力测试使用 3%/5% 的人工均匀变化（相对幅度约 10^-2），超过观测范围。 对受支持 affine mapping 的任务（Direct/Replicated/ColumnParallel/RowParallel/GatedMLP 及合格 Auto），owner 用固定索引映射 π_T 从局部索引直接算规范目标，并用源投影 Q_T 得到更新值：d=π_T(j)，o_T^{v+1}(j)=I(Q_T(S_T^{v+1}))_d，其中 d=(n,k) 为规范张量名与平坦索引。例如行分片训练、列分片 rollout 的矩阵元素 (i,y) 可被映射到规范索引 k=(i0+i)w+y，接收端原生加载器再选自己的列切片。这避免了完整张量组装与转换。MoE 检查点中 affine 映射覆盖 Qwen3-30B-A3B 的 96.3% 和 Nemotron-3-Ultra-550B-A55B 的 97.0% 权重字节。 残差转换覆盖无法直接投影的残差任务，包括堆叠、padding、tied weights、adapters、自定义后处理、量化 scale 等；共享 scale factor λ 的变化会改变大量转换输出。owner 在残差任务分片变化时置 flag，经 all_reduce_flags 结合转换依赖选择必转换规范张量集 U_req。对每个 u∈U_req，各 owner 转换自己部分，由 canonical-name hash 选出的 residual-baseline owner 组装并逐位比较：D_u={(n_u,k) | I(W_u^{v+1})_k≠I(R_u^v)_k}。组装部分必须覆盖 u 且重叠部分位一致。残差张量约占检查点 3.69%/3.01%。 在编码上，算术重建被排除，因为 BF16 下 α+(β−α) 经舍入可能不等于 β，误差会跨版本累积。NeMo-DCR 使用两种可精确还原的表示。affine 直接投影的 XOR mask 为 x_T^{v+1}(j)=I(S_T^{v+1})_j⊕I(A_T^v)_j。XOR 只在表示保持路径有效：Q_T 与原生加载器保持 dtype 与存储位，且没有其他写覆盖同一字节区间；否则（如乘 λ 再 cast）必须用转换后残差比较得到的绝对 overwrite。默认 mixed mode 对满足条件且字节区间不相交的 affine 变化用 (d,x)，其余用 (d,o)。XOR 的小更新常留下大量前导零，位置用 run-length/gap 编码，值和位置再用 zstd level-1 压缩。XOR 重复应用会恢复旧位，因此接收端按 payload 标识去重；失败后的重试一律改用 overwrite，避免重复应用导致位回滚。 接收端应用不重写 serving runtime 的放置规则，而是让原生加载器完成 Q/K/V 融合、专家分片、切分/转置等映射，再由 PyTorch dispatch hook 拦截加载器的最终存储拷贝。接收端把同一 owner 的条目按张量 scatter 进可复用 host scratch buffer，形状和 dtype 与规范张量一致；无变化位置放 placeholder。XOR 路径 placeholder 为 0，scratch 与加载器拷贝输入共享存储，拦截拷贝时把 mask XOR 进对应 resident 元素；0 不影响未变化位置。Overwrite 路径默认 placeholder 为 NaN，首次拷贝时非 placeholder 位置形成该目标 view 的 active mask，仅更新这些位置。 位精确性要求拦截每一处存储写：加载器报告的 loaded tensors 必须与 intercepted copies 一致；无拦截拷贝的项需显式 native skip；加载器在 transition 内对每个规范值做确定性、逐元素变换；XOR 字节区间与所有其他写不相交，重叠 overwrite 必须与稠密 refit 产生相同位。在这些假设下，Proposition 1 断言 bits(apply_r(Δ^{v+1}, P_r^v)) = bits(L_r(W^{v+1})) 对所有 required receiver r 成立。证明直觉是：XOR 从版本 v 的 resident 位重建新位，overwrite 直接提供新位；每个变化规范目标都有记录，无记录目标保持版本 v 位且已与稠密 refit 一致；版本对齐保证 XOR 使用的旧位正确。 恢复与提交方面，失败尝试可能留下新旧值混合。系统 stop_and_wait 使旧写不再生效，然后从相同 W^{v+1} 和未变 B^v 确定性重算完整变化集，并强制所有记录为 overwrite，从而覆盖任何部分写。新加入或重启的接收端先通过稠密 refit 恢复 committed version。协调者在所有 required receivers 完成应用、device sync 和可选 post-apply checks 后执行 joint commit：commit record K^v=(v,g_v) 由控制面持有并以 compare-and-set 更新；成功提交把策略版本绑定到 source baseline，owner 随后原地更新 trackers 与 residual baseline。commit record 同时使协调者故障切换安全。 传输方面，对象存储传输把 payload 上传一次并列入 per-attempt manifest，rollout 节点各自下载；一份规范坐标存储服务所有节点，但每次下载都跨集群边界，V_cross 随 rollout 节点数增长；重试重新上传完整变化集。中继树传输在存在直连链路时，owner 的 payload 流式发给 rollout 集群根节点，根节点经均衡树沿本地链路转发，每个 payload 每次尝试只跨集群边界一次，V_cross≈V_payload。两种传输共享 refit 协议，无跨集群 collective，接收端成员不与训练集群耦合。 为重叠构建与传输，owner 按整张量分块比较，把记录打包进 bucket，每个 bucket 压缩成一个 payload；构建 bucket ℓ+1 时发送 bucket ℓ。同步 RL 中接收端在接收后续 payload 时应用当前 payload；异步 RL 中 rollout 继续用版本 v 服务请求，压缩 delta 先 staging 到 host memory，最后一个 payload 到达后协调者关 request gate，等当前请求完成后原地应用。有界队列在接收端落后时反压上游，限制解码后驻留内存；请求门防止请求看到半更新权重。

评估在跨区域 AWS 测试床上进行，训练侧使用 NVIDIA 最新代 GPU，rollout 侧使用 Hopper 代 GPU，并覆盖对象存储与中继树两种传输。实验首先验证位精确性，然后测量 XOR 相对覆盖编码的压缩收益、不同差量构建模式的构建时间与负载字节、真实 GRPO 训练在接收端中途被杀时的奖励与 KL 轨迹，以及从数十亿到万亿参数尺度的端到端 refit 延迟、负载体积和相对全检查点传输基准的加速比。系统追踪分析进一步把延迟分解为构建下界、传输下界和收尾阶段。延迟实验使用高于观测变化率的压力变化率，采用同步 RL；训练轨迹实验使用异步 RL 与真实更新。

1. 基线动机：跨区域对象存储传输一个 120B 检查点需 750 秒，1T 尺度需 87.5 分钟。

   A cross-cluster transfer of a 120B model’s 247.2 GB checkpoint through object storage takes 750 s, and at the 1T scale of models like Kimi K2 [ 14 ] , such a transfer takes 87.5 min (Figure 1 ).

2. 稀疏性观测：六个 BF16 模型中每个训练步只有 0.6–1.2% 的源元素改变其存储值。

   Yet in the six models of Figure 2 , only 0.6–1.2% of training-side source elements change their bfloat16 (BF16) values per step.

3. 值编码微基准：在 zstd level-1 压缩后，XOR 掩码比覆盖值小 1.7–2.2 倍。

   XOR masks are 1.7–2.2 × \times smaller than overwrite values after zstd level-1 compression (contribution 2, Table 2 ).

4. Qwen3 消融：直接投影使 delta 构建比完整转换快 1.08–1.16 倍，XOR 编码比仅覆盖减少 38–40% 的负载字节。

   Direct projection makes Qwen3 delta construction 1.08–1.16 × \times faster than full conversion, and XOR encoding cuts payload bytes by 38–40% versus overwrites only (contributions 1 and 2, Table 3 ).

5. 模式 X 比模式 P 多花 7–13% 的构建时间，但因传输主导中继树延迟而作为默认模式。

   Mode X spends 7–13% more construction time than P, yet it is the default because transport dominates relay-tree refit latency (§ 8.7 ) .

6. 在接收端中途被杀的情况下，稠密 NCCL 与两种 NeMo-DCR 传输在 50 步后的平均奖励均为 0.41。

   Over the 50 steps, mean reward is 0.41 for dense NCCL and both NeMo-DCR transports .

7. 120B 端到端：两种传输的 refit 延迟为 22.6–49.7 秒，速度提升 15.1–33.2 倍；复制前压缩负载（含位置）仅占检查点的 2.4–3.8%。

   Including delta construction and loader application, 120B refits on both transports take 22.6–49.7 s and are 15.1–33.2 × \times faster than the reference (Table 4 ). Before replication, compressed payloads including locations total 2.4–3.8% of the 247.2 GB checkpoint, 21–24% less than the uncompressed changed values alone, about 3% or 5% of the checkpoint .

8. 扩展性：30B–1T 模型保持 12–40 倍加速，延迟从 30B 的 8.3–14.5 秒增长到 1T 的 150–300 秒。

   With either transport, refits of 30B–1T models stay 12–40 × \times faster than the reference in the 3% and 5% stress cases, although refit latency grows with checkpoint size, from 8.3–14.5 s at 30B to 150–300 s at 1T (Figure 10 ).

9. 在 5% 变化率下，中继树在每个尺寸都优于对象存储，优势从 30B 的 1.13 倍增至 1T 的 1.36 倍。

   At 5%, the relay tree beats object storage at every size, and its advantage grows from 1.13 × \times at 30B to 1.36 × \times at 1T.

10. 在压力场景中，传输下界占 refit 延迟的 77–94%，构建下界占 18–45%。

    In the stress cases, the transport lower bound accounts for 77–94% of refit latency, versus 18–45% for the construction lower bound.

11. 收尾阶段在应用后占 0.2–1.7 秒，refit 延迟比较大下界加收尾多出 1.8–9.2 秒。

    Neither lower bound covers finalization (Figure 8 , bottom), which takes 0.2–1.7 s after application and covers device synchronization, ACK, the joint commit, and the in-place baseline update. Refit latency exceeds the larger bound plus finalization by 1.8–9.2 s, spent in startup, drain, and stage handoffs .

12. 在 1T、3% 变化率下，中继树 refit 仅需 150 秒，而基线为 87.5 分钟。

    A 1T relay-tree refit at 3% takes 150 s instead of 87.5 min, making refits practical for cross-cluster agentic RL at trillion-parameter scale.

Novelty：主要新颖性不是“只传 delta”或 XOR 压缩本身，而是把它们组织成一个位精确、可恢复、可部署的系统：canonical coordinates 解耦训练分片与推理放置；affine 投影加残差转换避免对大部分权重做全张量组装；mixed XOR/overwrite 在表示保持路径上压缩、在其他路径上保持精确；joint commit 使原地更新与 source baseline 版本对齐；对象存储/中继树双传输避免跨集群 collective。相较 Table 1 中的系统，NeMo-DCR 首次同时满足五项需求，并对中断恢复给出 Proposition 1 级保证。单个组件层面，XOR、delta、native-loader 拦截均为已有技术，组合与恢复协议是增量贡献。 Soundness：实验设置整体清晰且对本文偏严格：基准只计传输并排除 checkpoint save/load，而 NeMo-DCR 的计时窗口覆盖完整 refit 阶段；bit-exactness 有与稠密 refit 的逐位比较和 post-apply checks；kill 实验有多次重复且所有 refit/retry 通过检查；timing 重复性高。但 Proposition 1 是条件化保证，依赖完整依赖元数据、表示保持路径、确定性加载器、无绕过 hook 的写等强假设。论文提供了 advance validation 和运行时失败机制，但评估主要覆盖 BF16 与 Megatron Bridge/vLLM 组合，泛化到其他 dtype 和 loader 尚未充分验证。主要延迟结果使用人工注入的均匀变化，而非真实训练 delta；与同类 delta 系统的端到端直接对比也缺失。 Significance：对跨集群 agentic RL 基础设施有直接工程价值：在万亿参数、压力变化率场景把 refit 从分钟级降到百秒级，使逐更新权重同步变得实用；支持对象存储与直连两种部署，并兼容同步/异步 RL；作为 NeMo RL 的一部分开源。它还为“训练-推理解耦下的权重同步”提供了可复用的抽象：规范坐标 + 原生加载器 + 版本化 baseline。局限是运行时假设较多，但该工作可推动更普遍的异构推理集群同步，并影响后续 delta checkpoint、在线 RL 基础设施设计。

一是位精确性依赖加载器路径满足强条件，任意 vLLM 之外的 loader 或复杂 pointwise transform 需重新验证；custom export hook 会禁用 direct projection。二是主要延迟实验使用 3%/5% 人工均匀变化，虽然高于观测变化率，但不反映真实训练更新在层间、专家间的不均匀分布。三是评测以 BF16 为主，对 FP8/MXFP、量化 dtype、NaN/Inf/signed-zero 等更复杂位模式的覆盖有限。四是与同类 delta 系统（ROSE、AReaL-DTE、PULSE 等）没有在同一测试床上做端到端延迟对比，只有全检查点 reference；该 reference 排除 save/load 虽对本文不利，但也简化了与真实部署的差异。五是对象存储的跨集群流量随 rollout 节点数增长，中继树需要直连链路；未评估大规模 rollout 节点下的聚合下载带宽和根节点瓶颈。六是 baseline 占用约一个 checkpoint 的 host memory，残差张量组装仍可能成为构建瓶颈；对非 MoE 或 affine 映射占比低的模型收益会缩小。七是故障模型主要验证 receiver kill，协调者故障安全依赖 commit record，但未充分压力测试控制面故障、网络分区和重试风暴。

可跟进的工作包括：把 canonical-coordinate 增量机制扩展到 FP8/MXFP/量化 checkpoint，并自动验证或证明 loader 条件；在真实训练更新分布（非均匀、专家局部变化）下重新测量端到端收益；在更多 serving runtime（TRT-LLM、SGLang 等）和更多转换图（多专家融合、自定义 kernel）上验证 native-loader 拦截；与 ROSE、AReaL-DTE、PULSE 等系统做同床端到端对比；为对象存储设计多节点协同下载或广播缓存以降低跨集群流量；研究中继树根节点瓶颈、拥塞控制和部分 payload 丢失时的流式重传；把 joint commit 与训练 checkpoint 版本管理、弹性扩缩容结合；在真实跨区域 WAN 和异步 RL 下测量 staging 内存与请求门对尾延迟的影响；以及通过动态 baseline 分片或残差转换下推进一步压缩构建时间。

本文定位为“长程智能体静态分析检查器合成”的第一个可执行基准与统一评测协议。它不评测补丁生成、漏洞检测或功能实现，而是评测智能体能否从一个缺陷规格出发，在真实仓库中完成检查器的理解、实现、注册、编译与扫描反馈迭代，并产出一个可复用的分析器检查器。作者明确将自身与两类既有工作划界：一类是SWE-bench、FeatureBench、Terminal-Bench等仓库级代码任务，另一类是ReposVul、VulEval、SEC-bench等漏洞检测/修复任务，认为它们都未覆盖“可复用检查器”这一目标。其贡献形态是“数据集+构建管线+评测框架”，而非提出新的智能体架构或模型；CheckerLab通过冻结候选、独立重建与多门验收，把检查器特有的覆盖率、误报控制、补丁局部化与分析器兼容性纳入评分。

静态分析检查器传统上依赖专家手写，把缺陷模式与分析器内部机制编码成工具专属规则，成本高且难以迁移。直接让大语言模型（LLM）阅读代码片段做检测存在推理开销大、仓库级上下文缺失、易产生幻觉等问题。编码智能体通过赋予模型仓库导航、代码编辑、工具执行与反馈闭环能力，为自动化检查器开发提供了新路径；但该任务属于长程任务：智能体需要理解分析器框架、跨多文件协同修改，并保证产物可编译、能命中目标缺陷且误报可控。 已有自动/半自动检查器合成研究（RhoSynth、Gordon、IRIS、MoCQ、CQLLM、QLCoder、KNighter等）基本都绑定单一分析器或领域，缺乏跨分析器环境的统一比较。与此同时，现有基准存在四类不足：其一，非checker-centric，评的是补丁、测试套件或漏洞分类而非可复用检查器；其二，任务交互受限，往往把流程拆成预定义阶段，剥夺了智能体的迭代规划与调试；其三，环境、工具接口与评测协议异构，跨系统结果难以比较；其四，指标停留在补丁级正确率或测试通过率，没有捕捉漏洞覆盖、误报控制与分析器兼容。本文正是在这一空白上构建CheckerBench与CheckerLab。

一、任务与轨迹的形式化。每个面向智能体的任务定义为 x_i=(p_i, ℓ_i, α_i, E_i, Q_i)，其中 p_i=(r_i, c_i^-, c_i^+, Δ_i) 是漏洞-修复实例（仓库、易受攻击修订、修复修订与补丁），ℓ_i 为语言，α_i 为分析器，E_i 为版本固定的可复现环境，Q_i 为合成指令。在主动生成时间预算 B 内，harness h 中的策略 π_θ 产生轨迹 τ_i^(h,θ)=(o_0,a_0,…,a_{N_i-1},o_{N_i}) 与候选检查器 q_i^(h,θ)；N_i 为交互步数，a_k 为动作，o_{k+1} 为观察。最终记录 d_i^(h,θ)=(E_i, Q_i, V_i, τ_i^(h,θ), q_i^(h,θ))，其中可执行验证器 V_i 在合成期间对智能体隐藏。环境、指令与验证器跨模型-harness配置固定，轨迹与检查器随 rollout 变化。 二、六阶段构建管线。Stage I 从NVD公共CVE记录关联到C/C++、Java、Python、JavaScript、Go开源仓库的修复提交；每个候选必须有可检索的脆弱/修复修订对，且补丁暴露可复用的静态分析性质；排除来源不清与再分发条款不兼容项，并保留CVE/CWE映射用于审计与分层采样。Stage II 在隔离工作区重建两个修订，固定工具链与分析器：C/C++用Clang Static Analyzer（CSA），其余四种语言用CodeQL；利用编译数据库与构建快照恢复可分析范围，拒绝无法重建或无法稳定做差分分析的对。Stage III 打包任务：暴露补丁、修复前后函数、构建元数据、编译/扫描命令与最小检查器脚手架；随机工作区标识并隐藏CVE/CWE标签以阻断来源捷径；共享技能库 K 提供harness相关的工作流技能与只读参考资产（分析器文档、示例检查器实现、语义工具），但不含任务专属检查器方案。Stage IV 冻结独立验证器：在干净工作区从源码重建提交的检查器，按后端规则检查脆弱-修复诊断对比与补丁相关性；CSA要求补丁修改函数中的报告在修复后消失；通过还需满足过程质量、语义质量、主线误报控制、机制检查与反硬编码检查。Stage V 是人工引导的校准轨迹收集：模型、harness、工具、预算固定；失败后由人工诊断验证证据并修改提示引导后重新rollout，任务、验证器与阈值不变；每个任务允许一次初始尝试加至多两次重跑，首次通过即停止，三次都不通过则排除；仅当检查器通过冻结验证器且轨迹不少于40个交互步时，才按仓库、CWE、水平联合采样进入数据集。这些飞行员干预与自主主评测分离。Stage VI 做质量检查、去重与切分：自动化校验工件完整性、可复现构建/扫描、验证器隔离与包完整性，人工确认缺陷语义与补丁局部化诊断；重复修订对删除，由仓库、CVE、共享修订或相似补丁连接的任务被放入同一split；参考检查器、校准轨迹与验证器细节对评测智能体隐藏。 三、任务包与技能库的设计直觉。任务故意给补丁与受影响函数，但隐藏CVE/CWE标签，迫使智能体从缺陷机制出发推断“检查器应当检测什么”，而不是按CWE编号查表。技能库分两层：harness特定技能覆盖补丁解释、检查器设计、构建恢复、功能验证与误报分诊；harness无关的只读参考层提供分析器API文档、官方检查器实现、可复用AST/数据流/状态工具、CWE机制卡与仓库约定。这些资产提供实现知识，但不编码任务专属的状态转移逻辑或报告谓词——智能体必须自己选择扩展点、语义/状态表示，并通过编译与扫描反馈迭代。 四、CheckerLab评测流程。每次运行在隔离E2B沙箱中获得任务指令、修复补丁、代码上下文、分析器工具与启用技能，参考检查器与验证器隐藏，共同预算为50分钟主动生成时间。终止时冻结提交的CSA检查器或CodeQL查询源码，并记录轨迹与工具调用。验证器随后在干净环境从源码重建冻结检查器，执行脆弱-修复诊断对比与补丁相关性检查；更广泛的主线扫描在不修改检查器的前提下评估误报。Claude Opus 5作为LLM裁判，分阶段判断过程质量、漏洞语义与采样的主线告警。一次运行只有在正常完成并满足Equation 5的所有门后才通过。论文报告裁判-人类一致性为Cohen's κ=0.85。 五、指标与公式直觉。主指标Pass@1是单次独立合成后检查器通过全部评测的任务百分比；21个harness-模型对各自在300个任务上跑3次独立重复，3次比率等权平均，生成失败、拒绝与候选代码错误均计为失败。Build与Diff. SR分别是全部任务中通过独立编译与差分验证的百分比。误报指标 FP_pass = 100·ΣFP/Σ(TP+FP)，分母与分子来自通过检查器、被完整裁决并记录的主线告警，默认FP阈值为25%；#WN是三次重复中通过检查器的完整裁决主线告警数 Σ(TP+FP) 的算术均值。Process为百分制均分，Semantic为十分制均分。效率指标（轮次、工具调用、显式技能调用）只在成功轨迹上取平均，再跨重复等权平均。这一套设计的核心直觉是：Build只证明能编译，Diff. SR只证明在脆弱/修复对上做出了正确对比，而Pass@1还要求语义保真、过程质量、误报控制与正常终止，因此Build/Diff与Pass@1之间存在明显落差，正是检查器可靠性难点的体现。 六、数据与“训练/数据”细节。该基准不是模型训练型工作，没有训练阶段；其“数据”是curation产物。数据集含300个任务，来自297个规范CVE（CVE-2024-7773被认定为CVE-2024-45436的重复项并规范化）、167个仓库、85个CWE与5种语言生态。语言-框架分布为：C/C++ 159（全部CSA）、Java 30、Python 51、JavaScript 30、Go 30；CSA共159、CodeQL共141。仓库中Linux占107、FFmpeg与ImageMagick各4。最常见的CWE为CWE-787（越界写）、CWE-125（越界读）、CWE-22（路径遍历）。CVE公开日期从2010-06-14到2026-06-26。数据集还发布300条已接受的校准轨迹（每任务一条），全部通过可执行验证与构建期语义阈值，且至少40步；这些轨迹含人工干预，与主评测的3次独立重复分离。主评测规模为21个模型-harness配置×3次重复×300任务，用于衡量零样本/少样本智能体的端到端能力，而非训练性能。

实验总体结论是：当前编码智能体可靠、可复用检查器合成仍然困难。端到端通过率整体偏低，最强组合也未过半；而编译通过率与差分验证通过率明显更高，说明瓶颈从“能否构建”转移到“能否满足语义保真、过程质量、误报控制与正常终止”的完整验收链。harness选择会同时改变成功率与模型排名，模型-harness组合才是合适的比较单位；过程/语义得分最高的配置未必有高通过率，说明质量分与端到端成功并不对齐。语言层面C/C++（CSA）是共同短板，其他语言的领先模型各不相同，体现互补优势。与KNighter基线及消融显示，共享技能库与可执行反馈对成功率贡献巨大，一次性无工具生成几乎无效。时间预算存在递减收益，误报阈值在记录队列内对接受率影响有限。失败分析表明预算耗尽、合成过程不足与语义建模不足是三大主因，误报过多也占可观比例。先验暴露敏感实验显示，降低身份线索后CVE召回大幅下降，但Pass@1仅小幅下降，提示“熟悉漏洞”带来的收益有限。

1. 21个模型-harness配置的Pass@1均值仅为32.30%，最强的Claude Opus 4.8+OpenCode也仅45.33%。

   Across 21 model–harness configurations, mean Pass@1 is 32.30%; even the best combination, Claude Opus 4.8 with OpenCode, reaches only 45.33%

2. Build与Diff. SR分别达78.25%和73.65%；Diff. SR与Pass@1的差距（41.35个百分点）远大于Build与Diff. SR的差距（4.60个百分点）。

   Overall Build and Diff. SR are much higher, at 78.25% and 73.65%, respectively. The gap between Diff. SR and Pass@1 is 41.35 percentage points, much larger than the 4.60-point gap between Build and Diff. SR.

3. 三个harness的平均Pass@1排序为OpenCode（36.95%）、Claude Code（33.81%）、Hermes Agent（26.14%），首尾差10.81个百分点。

   OpenCode has the highest mean Pass@1 across models (36.95%), followed by Claude Code (33.81%) and Hermes Agent (26.14%), with a 10.81-percentage-point difference between the highest and lowest averages.

4. Kimi-K3对harness高度敏感，从OpenCode的38.67%跌至Hermes Agent的24.33%，相差14.34个百分点。

   Kimi-K3 further illustrates the sensitivity to harness choice, declining from 38.67% with OpenCode to 24.33% with Hermes Agent, a 14.34-point gap.

5. 过程与语义得分最高的Qwen3.8-Max+Hermes Agent（90.92/100与8.53/10）Pass@1仅25.00%、Build仅44.00%，质量分与成功率脱节。

   Qwen3.8-Max with Hermes Agent has the highest Process (90.92/100) and Semantic (8.53/10) scores across all configurations, yet reaches only 25.00% Pass@1 and 44.00% Build.

6. 所有模型在C/C++（CSA）的语言级Pass@1最低，最强模型DeepSeek-V4-Pro也仅24.53%。

   Every model has its lowest language-specific Pass@1 in C/C++, where even the leading model, DeepSeek-V4-Pro, reaches only 24.53%.

7. 其他语言的领先模型不同：Python为Claude Opus 4.8（65.36%），Go为DeepSeek-V4-Pro（53.33%），Java（54.44%）与JavaScript（53.33%）为Qwen3.8-Max。

   Claude Opus 4.8 leads Python (65.36%), DeepSeek-V4-Pro leads Go (53.33%), and Qwen3.8-Max leads Java (54.44%) and JavaScript (53.33%).

8. 与KNighter基线对比，本文方法在61个Linux内核任务上有效检查器率为80.3%，高于KNighter的67.2%；移除技能库后跌至29.5%。

   Our method achieves an 80.3% valid-checker rate, compared with 67.2% for KNighter (Table 3 ). Removing the skill library lowers our method’s rate to 29.5%.

9. 消融中Pass@1为Full 39.67%、无技能8.33%、隐藏执行反馈13.33%、一次性无工具0.33%。

   Pass@1 is 39.67% for Full, 8.33% without skills and strategy references, 13.33% with execution feedback hidden, and 0.33% for one-shot generation without tools or a harness.

10. 时间预算收益递减：Pass@1从10分钟的7.24%升至30分钟的26.05%、50分钟的32.30%，最后10分钟仅增加2.25个百分点。

    aggregate Pass@1 rises from 7.24% at 10 minutes to 26.05% at 30 minutes and 32.30% at 50 minutes, with diminishing gains: the 40-minute cutoff captures 93.02% of the successes observed by 50 minutes, and the final 10 minutes add 2.25 percentage points.

11. 失败主因为预算耗尽（25.32%）、合成过程不足（22.96%）与语义建模不足（21.15%）。

    The leading failure categories are budget exhaustion (25.32%), inadequate synthesis process (22.96%), and inadequate semantic modeling (21.15%).

12. 先验暴露敏感实验中，去除身份线索后CVE精确召回从10.00%降至1.00%、从8.00%降至1.00%，而Pass@1下降远小于此。

    Exact CVE recall falls from 10.00% to 1.00% and from 8.00% to 1.00%, respectively.

Novelty：新颖性主要体现在基准与评测协议，而非算法方法。把“从漏洞修复对合成可复用静态分析检查器”作为长程智能体任务、并以冻结验证器独立重建与多门验收来评测，是与既有SWE-bench类仓库任务和漏洞检测类任务明确区分的贡献；CheckerLab把漏洞覆盖、补丁局部化、误报控制、过程质量与反硬编码纳入统一评分，这一点比补丁级/测试级指标更有针对性。但方法侧较薄：所谓skill-guided合成主要是提示与共享技能工程，没有新的智能体架构、规划或检索机制；与QLCoder、KNighter等已有单分析器合成系统相比，本文的增量在于跨分析器、跨语言的统一评测，而非技术突破。因此novelty判定为中等：数据集与评测框架是真实的空白填补，但方法创新有限。 Soundness：整体设计较为稳健：验证器在合成期隐藏、提交后独立重建，主评测做3次独立重复，参考检查器与校准轨迹不外泄，校准干预与自主评测分离，并配有消融、时间预算与误报阈值敏感分析。裁判一致性报告了Cohen's κ=0.85，增强了LLM裁判的可信度。主要弱点在于：其一，校准阶段排除三次尝试都不过的任务，加上40步轨迹过滤，可能造成“幸存者偏差”，使发布的300条轨迹偏向可解且交互充分的任务，未必代表真实难度分布；其二，误报指标基于采样的、被LLM裁决的主线告警，告警量（#WN）较小，FP_pass的方差与可比性受限；其三，裁判模型与部分被评测模型同属Claude系列，存在潜在偏差；其四，消融明确承认“历史与新运行条件差异”使其无法把差距完全归因于被消融组件；其五，时间预算敏感性是对既有50分钟轨迹的回溯截断，而非真正以更短截止时间独立运行；其六，数据污染审计承认“完整首公开补丁与检查器审计未解决”，无法证明任务新颖性。这些削弱了部分结论的因果强度，但主要结论（任务困难、技能与执行反馈关键）在方向上是可信的。 Significance：对智能体安全分析方向有较高意义：它把评价对象从“生成一个补丁/报告”推进到“交付一个可复用的分析器工件”，且用真实CVE、真实仓库与可执行差分验证，提供了可复现、可细分的测试床。其诊断性指标（过程、语义、误报、效率）能揭示智能体在规划与实现之间的断层（例如计划做路径敏感分析、实现却退化为AST匹配），对后续智能体设计有指导价值。但影响面受限于分析器选择（仅CSA与CodeQL）、任务规模与C/C++偏斜，且检查器合成仍是一个相对窄的安全工程子问题；因此它更可能成为该细分领域的标准基准，而非通用软件工程智能体的普适标尺。总体显著性为中等偏上。

第一，分析器与语言覆盖窄：只覆盖CSA（C/C++）与CodeQL（Java/Python/JS/Go），未纳入Semgrep、Infer、Sonar、CodeSonar等常用工具，也没有Rust、C#等语言；结果未必能推广到其他检查器生态。第二，任务构成偏斜：过半任务为C/C++，Linux仓库占很大比重，C/C++同时是表现最差的语言层，会主导总体成功率，跨语言的结论需要谨慎。第三，校准数据的幸存者偏差：三次尝试不过的任务被排除、轨迹需≥40步，发布轨迹全部可解且交互充分，可能高估了“可学”任务的占比，也不能作为自主智能体的代表性行为样本。第四，误报评估的统计基础弱：FP_pass只在通过的检查器、被采样且完整裁决的主线告警上池化，#WN较小，且依赖单一LLM裁判与25%阈值的先验设定；告警采样策略与精度权重的敏感性只在附录讨论。第五，数据污染审计不完整：论文承认无法确认全部补丁与检查器的首公开时间，也无法排除评测期外部检索泄漏，因此“新颖性”声明是弱化的。第六，消融存在混淆：历史与新运行条件不同，消融差距不能纯粹归因于技能库或执行反馈；与KNighter的比较只在61个任务、单一模型上进行，普适性有限。第七，可复现性依赖专有模型与API：模型版本、harness版本与网关可用性变化会影响长期复现；时间预算分析是回溯性的，未在真实更短截止时间下独立验证。第八，任务显式给出修复补丁，本质上偏向“给定修复的反向综合”，可能鼓励补丁锚定或过拟合，反硬编码检查只能部分缓解。

可沿几条线跟进。其一，扩展分析器与语言矩阵：加入Semgrep、Infer、CodeQL之外的商业/开源分析器，以及Rust、C#、Swift，并设计同一缺陷跨分析器的等价性任务，检验检查器的可移植性。其二，强化误报评估：扩大主线扫描语料、引入对抗性反例与近邻负样本，用多裁判/独立人工裁决替代单模型裁判，报告精度加权与全量告警门下的稳定性。其三，研究技能库的作用机制：把共享技能从静态提示升级为可检索记忆、课程式引导或按失败模式注入的策略，并做更干净的消融以分离“知识注入”与“执行反馈”的贡献。其四，利用已发布的轨迹做长程失败模式挖掘，特别是“计划与实现脱节”（路径敏感分析退化为AST匹配）、预算耗尽时的检查点恢复、以及工具调用效率与成功率的关系。其五，设计预算感知或早期停止策略，缓解长程任务的时间耗尽问题；同时用真实独立短截止时间实验替代回溯截断。其六，建设真正post-release的私有/预留CVE任务池，配合首公开时间审计，做无泄漏的时序泛化评测。其七，把CheckerLab的冻结候选、独立重建、多门验收协议标准化为通用接口，便于第三方harness与模型接入，降低跨系统比较成本。其八，探索用通过的检查器反哺分析器本身，例如自动蒸馏缺陷模式或生成新的共享技能，形成“合成-验证-沉淀”的闭环。

本文的定位是“诊断性基准与行为分析”，而非提出新的智能体训练或推理方法。它把工具调用中的“后果性动作”（consequential actions）与“信息收集”区分开，主张正确性不能只看最终动作是否被环境允许或是否成功，而要看动作执行之前，智能体是否在其可观察轨迹中建立了支撑该动作的证据。围绕这个“证据—动作链”，论文提出 SafeActBench：一个包含 656 个案例、覆盖六类操作领域、五类协议（静态判定、调查式不动作、单动作、线性多动作、依赖约束多动作）的基准，并用确定性轨迹评估器定位失败发生的位置。实验覆盖十个模型—harness 组合，核心结论是：静态动作判定能力与交互式证据落地执行能力可以严重脱节，失败常发生在调查不完整或过早行动，而非证据齐备后的单步执行；多动作任务进一步暴露未满足前置条件和执行不完整。论文的贡献在于把“代理是否真正依据已建立证据行动”变成可测量、可定位的问题，并展示该问题在现有强模型中普遍存在。

近年来，基于大语言模型的智能体不再只是生成答案，而是越来越多地通过工具改变外部状态，例如退款、发送文档、更新记录、触发下游操作。作者称这类改变应用状态或产生外部效果的工具调用为“后果性动作”。这一转变使“正确行为”的标准发生变化：一个后果性动作即使使用了正确工具、正确目标和正确参数，并得到成功响应，也未必在行动前已经通过交互建立了必需证据。例如退款前应确认该笔扣款是重复的、当前可退款、金额正确；但智能体可能没有先建立这些证据就执行了退款。 智能体评测已经相应地从静态函数调用准确率，转向有状态环境中的交互式执行，包括多步任务完成、中间里程碑、策略约束和最终环境状态。后续工作又分别关注求助与澄清、对环境观察的信任、以及动作克制/弃权等可靠性问题。然而，较少被直接刻画的问题是：每一个后果性动作是否由智能体在交互中真正建立的证据所支持。这里的“支持”包括三个环节：获取当前证据；把证据绑定到动作的确切目标与参数；把实际执行结果传播给依赖该结果的后续动作。缺少这些链接时，环境观察与状态改变之间的失败就难以定位。 因此，本文研究“证据—动作边界”：智能体如何把环境信息转化为后果性行为。它不预设规范推理链或计划，而是把可观察轨迹与任务定义的证据和动作要求对照。智能体可以走不同的合法信息收集路径和执行顺序，只要满足依赖关系；当相关信息仍可获取时，缺失或未解决的证据应促使进一步调查，而不是过早拒绝；当证据支持执行时，必须使用正确工具、目标和精确参数；下游动作必须等待其依赖，并使用前置动作实际返回的结果或已建立的结果状态。论文的核心问题是：证据—动作链在哪里断裂，以及断裂模式如何随动作结构复杂化而变化。

一、证据—动作链的形式化 论文区分两类工具调用：信息收集调用与修改任务相关外部状态的后果性动作。对每个后果性动作，要求在执行前建立支撑证据。动作即使被完整任务状态允许、也能成功，仍可能在之前的可观察交互中不被支持。支持性判断只依据执行前可观察信息，而不探究隐藏推理：任务上下文和工具观察说明“有哪些信息可用”，轨迹记录“智能体做了什么”，两者都不能证明模型内部实际依赖了什么。 证据必须绑定到它所描述的实体与状态。查询扣款 C1 得到与 C2 匹配的金额，并不能为 C2 建立金额证据；另一个用户的授权、另一个资源的状态同理。关键不是数值是否恰好相同，而是执行前可用信息是否建立了该动作所用实体、状态和值。 不执行也受同一支持条件约束。简单拒绝并不足够：当不应产生后果性动作时，智能体必须先完成能说明原因的任务相关调查，然后在不产生副作用的情况下停止，这称为“调查式不动作”（investigated non-action）。过早停止会留下未建立的原因；在必要条件建立前行动则是“过早行动”。因此，未解决的条件若相关信息仍可获取，应继续调查；若调查后必要条件仍未解决或被违反，则应停止而不行动。只有所有必要前置条件都建立后，执行才被支持。 多动作任务中，动作的结果可能成为后续动作的必要证据。例如退款返回 refund_id=R42，后续需要该标识的通知就必须使用相关退款实际返回的值，其他操作的标识不满足依赖。依赖还约束时序：依赖动作只能在其前置动作完成、必要输出或结果状态可用之后发生。当工具语义要求确认状态变化时，必须观察更新后的状态。独立动作可按任意拓扑序执行。因此证据—动作链横跨观察、动作以及支持后续动作的结果；当证据绑定错误实体、执行早于前置条件、下游值或状态并未真正产生或建立、或依赖被违反时，链即断裂。达到最终状态并不足以判定成功。 二、SafeActBench 任务结构 每个案例提供任务上下文、信息工具与后果性工具，以及一个或多个后果性动作。对动作 a，R(a) 表示执行前必须建立的证据要求集合，可能涉及目标实体、当前状态、金额、授权、版本或其他任务特定条件。动作规范还记录所需操作、目标、参数，以及下游需要的结果或状态变化。智能体只能看到任务指令和该案例暴露的工具接口；证据要求与预期动作只用于评测，对智能体隐藏。一个前置条件只有在任务上下文或先前观察为“执行时相关实体的所需事实”提供了有效证据时，才算建立。因此，一个事实可以在底层环境中为真，却尚未在交互中被观察或建立。 多动作案例把支持关系扩展到先前动作的结果。后续动作可能需要前置动作返回的字段，或需要确认前置动作所产生状态的观察。因此执行必须同时保留来源（provenance）和依赖顺序。依赖结构分两类：线性序列或 DAG。V2 中每个动作沿前置链依次执行；V3 中独立动作可任意拓扑排序，依赖动作必须等到所需前置结果或结果状态可用后才能执行。 协议分五类： Legacy（静态判定）：对固定候选动作给出 Allow / Block / Defer 结构化判断，86 例，只按结构化决策评分，不进行轨迹评分。 V0（调查式不动作）：要求完成必需调查且不产生任何后果性动作，175 例。 V1（单动作）：要求在恰好一个正确动作之前建立所有必要证据，131 例。 V2（线性多动作）：两个及以上动作构成链，证据先于每个动作，后续动作使用真实前置结果，132 例。 V3（依赖约束多动作）：两个及以上动作构成 DAG，在任意合法拓扑序下证据先于每个动作，132 例。 六个操作领域分别为客户与政策运营、工程与基础设施运营、法律与金融运营、研究辅助、智能家居控制、医疗运营，案例数合计 656，且每个领域都向五类协议贡献案例，V0–V3 合计 570 个证据落地任务。调查复杂度方面，V0–V3 平均需要约 5.6 到 7.1 次指定读取，个别案例最多 17 次；V3 相比 V2 增加了叉路与汇合结构，依赖边和动作节点也更多。 三、证据来源账本与确定性验证 交互协议中，证据按“来源绑定”原则评测。一个 Evidence Ledger 把已建立事实绑定到其来源交互，以及它们所描述的实体或状态。只有当具有所需来源的证据在执行前可用时，要求才被满足。例如从 C1 读到 $49.99，不能建立 C2 的金额，即使数值相同。对动作结果同理：相关前置动作返回的字段可以直接支持依赖动作；而当任务或工具语义要求确认结果状态时，需要一次单独的观察。 每个案例由确定性评测器对照规范检查。主指标 exact_case_success（ECS）对每个回合是二值的。对后果性动作 a，其支持条件写作： Supported(a) ⇔ ∀ r ∈ R(a)，r 在 a 之前已建立。 Legacy 只按其结构化决策评分。对 V0–V3，成功要求所有协议特定条件同时满足。视协议不同，评测器检查：必需调查是否完成；后果性调用是否使用正确工具、目标与参数；所需结果或结果状态是否真正被产生或建立；动作依赖与终止条件是否被遵守。任一必需组件失败都使整个案例不成功。评分只使用任务上下文、观察到的工具交互和结果环境状态，不检查隐藏推理，也不使用 LLM 裁判。 评测器经过了多层验证：所有作者参考解都能通过；共享世界案例可重建；冻结证据增量通过模式校验；V3 工作流 DAG 通过结构检查。案例与证据要求由有智能体评测、工具使用安全和基准构建经验的研究者撰写，并由非主作者独立审阅。人类审计按协议和领域分层抽样，先让标注者在不知道作者要求和评测器标签的情况下重建前置条件并判断动作支持，再与作者定义比对；轨迹审计按评测器正负标签分层抽取动作支持检查点，由人独立判断。还进行了语义等价路径审计，接受额外读取、独立 V3 动作交换、等价数值表示、替代检索路径、不同工具返回的等价事实、多观察联合支持、候选发现后实体消歧和间接状态确认，同时用错误实体证据与过期证据作为负控制。发现并修复了动态日期处理导致的少数误拒后，所有基准结果都使用修正后的评测器。 四、实验与指标机制 模型—harness 配置：五个模型家族 Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash、Qwen3.8-Flash、GLM-5.2，各自配对家族关联 harness（Claude Code、Codex、DSH、Qwen Code、ZCode）和共享的 Inspect ReAct harness，共十个配置。所有配置接收相同公开任务与工具接口，私有评测规范全程隐藏。每对案例—配置运行三次，主评测无基础设施失败，覆盖率为 100%。推理设置在同一模型的两个 harness 间固定，以便把 harness 比较与采样参数变化分离。 指标计算：ECS 是回合级二值指标，只当所有协议成功条件满足时为 1；另有协议宏观均值 P-M 和领域宏观均值 D-M。诊断指标均以回合为计数单位，每个回合最多贡献一次分子和分母。具体地： BSR 是“以无后果性动作尝试结束且必需调查不完整”的 V0 回合占全部 V0 回合的比例； PAR 是“第一次后果性动作尝试发生在必需调查完成前”的 V1 回合占包含动作尝试的 V1 回合的比例，调查完成状态在动作尝试前判定，无动作尝试的回合不计入分母； CAS 是“第一次动作尝试发生在必需调查完成后”的 V1 回合中达到 ECS 的比例，测量证据完成后、动作尝试后的严格成功，而非单次工具调用成功率； Gap 是协议内至少出现一个被标记为 MISSING 局部要求的已评测动作检查点的回合占比，即使动作被阻止未执行也计入； Part. 是至少一个后果性动作被记录为已执行但评测器报告工作流失败的回合占比；已提交或被阻止但未执行的动作不算执行。Gap 与 Part. 可重叠，不是互斥分解。 所有指标在三次重复内分别计算，再等权平均，以百分比表示；ECS 保持二值，诊断不授予部分分，也不构成穷尽互斥的失败分类。 干预机制：在 43 个 V1 案例上做受控证据干预，使用 DeepSeek–DSH、GLM–ZCode、Qwen–Qwen Code。Withheld 条件使一个决定性记录不可用；22 个案例另有 Contradicted 变体，修改字段以违反动作前置条件。证据呈现探针中，evidence-package 条件在保持工具响应固定的情况下向智能体呈现相关工具响应；requester-claim 条件让请求者声称缺失记录已检查且令人满意，但记录本身仍不可用；另设紧迫提示、缺失证据不等于安全的系统警告、以及无关干扰记录三个机制探针。配对比较使用 Original 的第一次重复，并只在两条件下均完成的案例上比较，置信区间来自配对 bootstrap 或聚类 bootstrap。附录还报告 SCGR-EG/SCGR-Select 变体，即在提交前结构化并自动收集证据，观察其是否改善任务完成。

实验部分先给出十个模型—harness 配置在五类协议上的主结果，再用行为诊断、配对 harness 比较和受控证据干预逐层定位失败。总体发现是：静态动作判定表现较好，但交互式证据落地执行明显更弱；失败主要来自 V0 中的调查不完整和 V1 中的过早行动，而证据完成后、有动作尝试时的单动作成功条件相对稳定；V2/V3 则额外出现未解决前置条件与工作流执行不完整的重叠失败模式。harness 效应显著但方向因模型而异，且会改变失败类型而非均匀提升或下降。证据干预显示，隐藏决定性记录会降低行动概率，但智能体仍频繁行动；提供证据包的效果不稳定，而请求者口头声称“已检查且满意”比单纯缺失证据更能减少行动提交；增加无关检索会提高信息调用次数，却不必然带来行动克制。附录的结构化证据收集变体表明，自动收集证据可改善部分配置，尤其是原本多动作执行较弱的配置，但收益依赖于模型、harness 和协议。

1. 十个模型—harness 配置的总体 ECS 差异很大，最低 37.7%、最高 67.2%。

   Table 2 shows substantial variation across the ten agent configurations, with overall ECS ranging from 37.7% to 67.2%.

2. 静态 Legacy 高分不一定迁移到交互执行：GLM–ZCode 在 Legacy 达 97.7%，但在 V1–V3 分别只有 32.1%、12.1%、34.1%；DeepSeek–DSH 在 Legacy 达 96.5%，V1–V3 约为 61.1%、65.2%、59.1%。

   GLM–ZCode, for example, reaches 97.7% on Legacy but only 32.1%, 12.1%, and 34.1% on V1–V3. DeepSeek–DSH obtains a similar Legacy score of 96.5%, yet reaches 61.1%, 65.2%, and 59.1% on the same protocols.

3. 在案例身份固定的 V1 匹配比较中，静态判断准确率为 95.0%–99.0%，而交互 ECS 只有 28.0%–52.0%；三个配置的配对差距为 43.0、69.0 和 66.0 个百分点，置信区间均排除零。

   Table 9 shows that static judgment accuracy ranges from 95.0% to 99.0%, whereas interactive ECS ranges from 28.0% to 52.0%. The paired gaps are 43.0 percentage points for DeepSeek–Inspect, 69.0 for GLM–Inspect, and 66.0 for GLM–ZCode. All reported confidence intervals exclude zero.

4. 失败常发生在动作执行之前：V0 的 BSR 为 21.7%–62.9%，V1 有动作尝试回合的 PAR 为 37.0%–66.9%；证据完成后、有动作尝试的条件成功 CAS 在九个配置中为 93.2%–100%，DeepSeek–Inspect 较低为 83.3%。

   BSR ranges from 21.7% to 62.9% on V0, and PAR ranges from 37.0% to 66.9% among V1 episodes with an action attempt. Conditional on an action attempt after evidence completion, CAS ranges from 93.2% to 100% for nine of the ten configurations, with DeepSeek–Inspect lower at 83.3%.

5. 多动作工作流呈现多种失败签名：GLM–ZCode 在 V2 上 Gap 远高于 Part.（80.3% 对 33.3%），而 Qwen–Inspect 两者接近（27.3% 对 29.5%）。

   GLM–ZCode has a far higher Gap than Part. rate on V2 (80.3% vs. 33.3%), whereas the two rates are comparable for Qwen–Inspect (27.3% vs. 29.5%).

6. harness 配对差异因模型而异：DeepSeek 用 DSH 相对 Inspect 提升 4.4 个百分点，GLM 用 ZCode 相对 Inspect 下降 6.8 个百分点，两个区间均排除零。

   DeepSeek gains 4.4 percentage points with DSH relative to Inspect, whereas GLM shifts in the opposite direction, with ZCode 6.8 points below Inspect. Both intervals exclude zero.

7. 聚合成功率会掩盖案例级分歧：以三次中至少两次成功为案例成功标准，Qwen 的两个 harness 在 570 个案例中于 134 个案例上不一致（23.5%），75 个仅 Qwen Code 成功，59 个仅 Inspect 成功。

   Treating a case as successful under a harness if at least two of its three rollouts succeed, the two Qwen harnesses, for example, disagree on 134 of the 570 cases (23.5%): 75 succeed only under Qwen Code and 59 only under Inspect.

8. 隐藏决定性记录使行动概率下降 37.2–45.2 个百分点，但智能体仍在 46.5%–53.5% 的完成 Withheld 回合中行动；矛盾证据使行动概率在其合格子集上下降 54.5–70.0 个百分点。

   Figure 3 shows that withholding reduces action probability by 37.2–45.2 percentage points, yet agents still act in 46.5–53.5% of completed Withheld episodes. Contradiction reduces action probability by 54.5–70.0 points on its eligible subset.

9. 证据包对行动提交的影响不稳定，而请求者口头声称的效果更大：证据包把 DeepSeek、GLM、Qwen 的行动提交从 23/43、20/43、23/43 降至 18/43、14/43、13/43；请求者声称分别降至 6/43、10/43、6/43，且三个配置相对 Withheld 的降幅均大于证据包且区间排除零。

   The package reduces action submission from 23/43 to 18/43 for DeepSeek, from 20/43 to 14/43 for GLM, and from 23/43 to 13/43 for Qwen. The paired interval excludes zero for Qwen, while the DeepSeek and GLM intervals include or reach zero. Requester claims reduce action submission to 6/43, 10/43, and 6/43, respectively. Their estimated reductions relative to Withheld are larger than those of the evidence package for all three configurations, and all three intervals exclude zero.

10. 在缺失证据条件下，无关干扰记录使平均信息调用增加 1.0–1.2 次且区间均高于零，但行动概率变化区间均含零，说明额外检索与行动克制不一定同步。

    Under withholding, distractors increase mean information calls by 1.0–1.2 per episode, with all three intervals above zero, whereas the corresponding changes in action probability all have intervals that include zero (Figure 4 (c)), so additional retrieval and action restraint need not move together.

11. 附录中的 SCGR-EG 在所有十个配置上改善总体 ECS，增益为 0.3 到 16.2 个百分点；最大改善是 GLM–ZCode，ECS 从 37.7% 升至 53.9%，V2 从 12.1% 升至 58.0%，V3 从 34.1% 升至 68.0%。

    SCGR-EG improves overall ECS in all ten configurations, with gains ranging from 0.3 to 16.2 percentage points. The largest improvement occurs for GLM–ZCode, whose ECS increases from 37.7% to 53.9%, primarily through better multi-action execution: V2 rises from 12.1% to 58.0%, and V3 from 34.1% to 68.0%.

Novelty：新颖性中等偏上。将“动作是否被先前交互证据支持”与“动作是否被环境允许/最终是否成功”分开，是本文最清晰的概念贡献；由此引入来源绑定的 Evidence Ledger、五类协议逐步加压的设计，以及不依赖 LLM 裁判的确定性轨迹评测器，使失败可定位到调查、证据绑定、动作时序和多步执行等环节。相比已有交互式评测和动作克制/信任观察等工作，本文的新意不在于发明“要建立证据”这一安全直觉，而在于把它操作化为可执行的、来源敏感的二值判据，并用静态—交互匹配实验和受控证据干预证明该维度独立于静态判断能力。局限是概念仍属增量：证据绑定、依赖图和调查式不动作在软件验证、工作流系统和工具使用评测中均有类似思想，本文主要是将其系统化并做成基准。 Soundness：方法学上较为扎实。评测规范对智能体隐藏，主指标确定性计算，不使用 LLM 裁判；每个案例运行三次并等权平均，harness 比较在案例和模型固定下配对，置信区间用 bootstrap；诊断指标有明确分子分母定义，且明确指出 Gap 与 Part. 可重叠而非互斥分解。基准经过作者参考解、模式校验、人类双标注审计、轨迹审计和语义等价路径审计，并有错误实体与过期证据负控制，修正了日期处理 bug。主要担忧：其一，静态—交互匹配比较改变了证据可用性与动作构造责任，作者自己也承认不能隔离各成分贡献；其二，受控干预样本较小，部分区间含零，结论强度有限；其三，可观察支持无法等同于模型内部真实依赖，这是作者明确承认的边界；其四，合成环境与封闭模型使外部效度受限。总体 soundness 较好，但应把若干结论视为描述性而非因果性。 Significance：对工具使用智能体的安全评测具有实际意义。它把“结果对”与“证据充分”之间的差距变成可量化指标，尤其适合需要审计轨迹、解释为什么允许/阻止某动作的部署场景；六类操作领域和从静态到 DAG 多动作的协议梯度也为后续基准提供了可复用模板。对研究社区而言，论文揭示强模型的静态判断与交互执行严重脱节，且失败多发生在调查和时序阶段，这为训练目标、harness 设计和安全护栏提供了明确靶点。受控干预进一步显示智能体对“缺失证据”与“请求者声称已满足”的响应不对称，提示人机交互中的社会性信号可能绕过证据要求，这是值得安全研究重视的发现。局限在于它更多是测量与定位工具，而非给出修复方案；附录的 SCGR 只是初步缓解，尚不足以宣称安全能力提升。

第一，合成性与外部效度。SafeActBench 是虚构实体、记录和政策的合成环境，六个“运营领域”不能替代真实部署中的噪声、权限、延迟、模糊政策和审计要求；结果不应被解读为真实系统安全认证。第二，可观察支持不等于内部依赖。论文只检查轨迹中是否建立了证据，无法证明模型内部是否真正依赖该证据；一个模型可能“看起来”支持动作，却基于错误推理行动，反之亦然。第三，静态—交互匹配比较存在混淆：静态条件同时改变了证据可用性、候选动作供给和动作构造责任，不能单独归因于“判断 vs 执行”；附录 C.2.1 的类平衡控制也因输出格式失衡和 Qwen 配对样本不足而解释受限。第四，干预分析样本较小，若干配对区间含零或仅部分排除零，例如证据包效应、紧迫提示和警告提示；结论应视为初步。第五，诊断指标不是互斥分解：Gap 与 Part. 可重叠，且只覆盖部分失败模式，无法形成完整失败归因；ECS 二值化也掩盖失败严重程度差异。第六，模型覆盖有限：五个模型家族均为闭源/API 模型，未评估开源模型，且每个家族仅两个 harness，无法把“家族 harness 效应”与 harness 实现质量充分分离。第七，证据要求由作者定义，虽有审计，但“必要性”和“来源约束”仍可能过强或过弱；审计接受等价路径，但仍依赖人工判断。第八，评估只到三次重复，部分低成功率配置的协议级估计方差可能较大。第九，SCGR 证据收集缓解仅在附录报告，方法细节和训练成本未充分展开，且收益不跨协议一致。

最自然的延伸是把受控证据干预推广到 V2/V3 多动作协议，在每个动作检查点分别改变证据可用性，以观察依赖链上的失败如何传播；这能直接检验“单动作执行通常可靠，多动作暴露前置条件与不完整执行”的结论在干预下是否成立。第二个方向是连接可观察支持与内部依赖：用探针、可解释性或因果干预方法检测模型是否真的使用了轨迹中建立的证据，而不只是顺带检索了相关记录。第三个方向是把证据账本转化为训练信号或奖励，例如对“来源绑定错误、过早行动、依赖缺失”给出细粒度反馈，训练/微调智能体提升证据—动作一致性。第四是改进 harness 设计，针对本文发现的 harness 影响和失败模式转移，研究规划预算、工具结果呈现、动作确认步骤和系统提示如何改变调查完成度与过早行动。第五是扩展到真实或半真实环境，引入权限、异步状态、部分可观察性、用户澄清和不可逆动作成本，并建立与审计日志的对齐。第六是自动归纳证据要求，减少人工撰写成本，同时用更严格的必要性/充分性校验避免过度约束。第七是把证据—动作评估与求助、弃权、澄清等行为联合建模，形成更完整的安全交互协议。最后，可把 SCGR 类结构化证据收集方法系统化，在多动作场景中比较“先收集后执行”与“边收集边执行”的安全性和效率，并在更多开源模型与更多 harness 上复现本文的失败定位。

TRACE 定位于 MoE 大模型强化学习后训练中低精度 rollout 的效率与稳定性问题，把研究对象从"各路径对高精度的量化误差"转向"训练路径与 rollout 路径这两条低精度执行路径之间的舍入一致性"。相较 QUADS、Rollout-ResQ、QaRL 等通过 QAT、残差补偿或匹配 kernel 分别提升各路径量化精度，TRACE 的核心主张是用 rollout 侧真实产生的 FP4 量化结果直接决定训练侧的舍入方向，构成"rollout-guided QAT"；再以 mantissa-only、深层选择性缓存把这种监督的存储/通信代价压缩到可接受水平。因此它既不是单纯 QAT，也不是事后 PTQ，而是把 rollout 的低精度执行现实注入训练过程的在线对齐机制，属于 RL 系统效率与量化训练的交界工作。

强化学习已成为 LLM 后训练的重要范式，用于提升推理、编码等复杂能力，但其 rollout 阶段需要反复生成长轨迹，带来显著计算与显存开销。低精度 rollout 是缓解这一瓶颈的可行路线，其中激进的 FP4（W4A4）能提供更大的加速与显存收益；但 FP4 粗量化空间也会在训练路径与 rollout 路径之间引入数值不一致，造成策略错配、RL 不稳定。这一问题在 MoE 模型上尤其突出：微小数值差异会改变 router 分数、激活不同专家，从而放大 rollout 与训练策略之间的错配。 围绕该问题，已有工作可分为几类。R3 通过回放 rollout 路由决策缓解路由错配，PR2 进一步考虑策略更新带来的路由演化，GSPO 用序列级重要性比与裁剪改善稳定性。低精度 RL 方面，QuRL 采用自适应裁剪与 update-aware 量化减少 train-rollout 错配，Jet-RL 统一走 FP8 计算；4-bit 方向有 QeRL（4-bit 权重 + 高精度激活）、QUADS（非对称 QAT + rollout 侧激活补偿）、Rollout-ResQ（稀疏残差修正 FP4 rollout 误差）、QaRL（匹配低精度 kernel 对齐训练与 rollout）。Score Centering 则从优化漂移角度修正 training–inference mismatch，但不直接对齐底层低精度计算。 作者指出现有 FP4 RL 方法的共同盲点：它们独立优化训练路径与 rollout 路径各自对高精度的量化误差，而没有直接最小化两条量化路径之间的差异。即使两条路径各自误差都很小，量化值仍可能显著分歧，导致策略错配乃至训练崩溃。TRACE 的出发点就是把优化目标从"各自逼近高精度"切换为"两条低精度路径互相逼近"，并以压缩缓存控制由此引入的开销。

TRACE 由两条互补机制构成：rollout-guided QAT（3.1 节）与 mantissa-only 通信/缓存（3.2 节），外加伪代码给出的重建与直通梯度实现。 一、问题形式化。设训练路径与 rollout 路径在同一轨迹、同一 token 位置、同一量化点的激活分别为 X_train 与 X_rollout，两条路径的 FP4 量化算子分别为 Q^train 与 Q^rollout。作者定义局部 train-rollout 量化不一致性 D_act = ||Q^train_FP4(X_train) − Q^rollout_FP4(X_rollout)||_F。既有 QUADS、Rollout-ResQ 优化的是各自对高精度表示的误差 L_error(X)=||X−Q(X)||_F。关键论断是：最小化两条路径各自的量化误差不等于最小化 D_act，因为两条低精度路径可能在各自误差都很小时仍被舍入到不同码字。 二、舍入边界放大的动机。作者用两个 QUADS 例子说明"补偿残差可能反而放大跨路径差异"：训练/rollout 激活为 2.40 与 2.49 时，vanilla FP4 把两者都量化为 2，跨路径差异为零；QUADS 训练侧保留 2.40、rollout 侧用残差重建为 2.50，各自误差减小但跨路径差异升至 0.10。更关键的例子里，BF16 值 60.24 与 59.76 只差 0.48，但除以相同的 global/block scale 后归一化为 2.51 与 2.49，落在舍入边界两侧，分别被舍入到 3 与 2，跨路径差异被放大到 24。这解释了为何"各路径更准"在 FP4 粗码字空间会产生不成比例的 train-rollout 分歧。 三、rollout-guided 舍入。TRACE 不追求训练侧逼近 BF16，而是让训练侧舍入结果逼近 rollout 侧的 FP4 结果。对每个被捕获的训练激活，设其在 rollout 侧 scale 下的两个相邻归一化 E2M1 码字为 q− 与 q+，rollout 侧激活实际产生的码字为 q_rollout。TRACE 在 q−、q+ 二选一，取 q_TRACE = argmin_{q∈{q−,q+}} |q−q_rollout|，而不是标准 RTN。设 RTN 在同 scale、同候选集下选的码字为 q_RTN，则构造上保证 |q_TRACE − q_rollout| ≤ |q_RTN − q_rollout|。即在"完整信息"条件下，TRACE 在每个被捕获点不会比 RTN 增大局部量化差异。 作者明确说明该保证的边界：它只是局部逐点保证，并不意味着式(1)的全网络差异或经下游非线性变换后的策略级分歧单调下降；TRACE 消除的是"由不一致 FP4 舍入造成的额外放大"，而非策略陈旧带来的底层激活差异。由于训练策略可能比生成 rollout 的策略更新，TRACE 仍保留底层激活差，只是不再被舍入放大。 四、mantissa-only 通信。全量引导的信息流是：激活量化记录在 forward 中写入临时 GPU buffer，forward 结束后异步搬运到 CPU 缓存，buffer 被后续 forward 复用；KV 侧因量化 KV 已在持久 FP4 KV cache 中，请求结束时直接收集搬到 CPU；两者在请求完成后序列化落盘，QAT 前由训练引擎把对应 micro-batch 切片加载回 GPU。作者估算全量代价：以 Qwen3.5-35B-A3B（D1=2048，KV head dim D2=256，2 个 KV head，40 个 MoE 层，10 个全注意力层，最大响应 256K token）为例，按每个量化值保留 4.5 bit，一个 token 约产生 45KB 激活引导与 5.6KB KV 引导，合计约 50KB；若每 RL step 有 4096 条轨迹，则单步最多约 51TB。即便 GPU→CPU 传输以 300GB/s 需要约 3 分钟，存储带宽 5GB/s 串行读写约需 3 小时，远超典型 RL step 时长，因此存储 I/O 会成为主要瓶颈。 由此引出设计：只需传递"确定训练侧舍入方向所必需"的信息。经验观察是：跨层超过 99% 的不一致量化值只相差一个相邻 FP4 码字；而训练激活加上 rollout scale 已强烈约束候选码字，因此少量尾数码信息通常足以在相邻码字中定位 rollout 侧目标；同时，向更低码字的舍入修正主要出现在深层。因此 TRACE 只保留后半模型层的尾数与 scale 信息，实现为 b=1 的尾数 bit 作用于后半层；每条记录包含打包的低 bit rollout 码与对应 rollout scale，以（trajectory, token, site）索引。 五、重建与梯度实现（伪代码 A.1）。s 合并 block scale 与 token/global scale。Reconstruct 选择 E2M1 幅值最接近 |z|、且低 b 个码位匹配 c 的候选，并沿用当前训练激活的符号；因此重建值只是"局部引导目标"，不是 rollout 码字的精确恢复。BracketFP4 返回 z 周围相邻 E2M1 舍入候选；STE 在前向返回其第二参数、而把梯度传给第一参数，保证可导。这使得训练前向在低精度语义下完成、反向仍在 BF16，形成可训练的 QAT。 六、训练与数据配置。所有方法统一使用相同版本的 VeRL（异步 RL 协调）、Megatron（训练后端）、SGLang（rollout 生成），采用 disagg 架构分离训练与 rollout 引擎。策略优化用 GRPO，并用 R3 在训练时回放 rollout 侧的 expert 路由决策；另加 token 级训练/rollout 重要性比，clip 上界为 5，max_version_diff=3 约束异步陈旧度。量化范围只覆盖 MoE 层的 routed experts 与 softmax-attention 层的 KV cache，其余模块保持 BF16。四个模型的每步轨迹数分别为 256×16、128×16、64×16、64×8；推理 RL 最大响应长度 32K，coding 与 long-horizon 最大上下文 256K；Qwen3.5-35B-A3B 与 Qwen3.8-Flash-Next 训练 400 步，Qwen3.5-122B-A10B 与 Qwen3.8-2.4T-A95B 训练 50 步。

实验覆盖四个 MoE 模型与推理、编码、长时程三类 RL 任务，并与 NVFP4 rollout 基线（QAT、QaRL、QUADS、Score Centering）、MXFP4 两档设置、以及后置 PTQ（vanilla NVFP4、4over6、H-Scale）比较。总体结论是：TRACE 在联合 FP4 权重/激活与 FP4 KV rollout 下把平均分数恢复到 BF16 rollout 水平，并在多个 benchmark 上超过 QUADS；在更大模型的 DeepSWE、Terminal-Bench、GDPval 上匹配甚至超过 BF16。训练动态显示它压住了 train-rollout 分歧，reward、熵与响应长度保持稳定，并呈现"先低后追平、随后与 BF16 相当"的适应行为。效率方面，TRACE 的吞吐接近 vanilla FP4 且明显高于 BF16，端到端步骤开销有限，rollout 时间主要被模型前向占据，引导与 KV 反量化开销占比较小；缓存方案把每 token 引导量压缩到很小，并可通过减少保留层数进一步降本。消融表明单独权重量化与单独 KV 量化下均有效，MXFP4 格式下同样成立，对保留尾数位数与层数的敏感性温和，紧凑的一比特深层缓存已接近完整保留。与 Score Centering 相比，TRACE 的 train-rollout log-prob 差更贴近 BF16，平均分数略高；与 BF16 训练后 PTQ 相比，TRACE 的最终 FP4 策略分数更高。

1. 在 Qwen3.5-35B-A3B 的推理 RL 上（LiveCodeBench/AIME24/AIME25/HMMT25），联合 NVFP4 W/A+KV rollout 下 TRACE 平均 75.3，高于 QUADS 的 68.8、QAT 的 59.6、QaRL 的 58.6，并与 BF16 的 74.9 相当；其中 HMMT25 从 QUADS 的 59.0 提升到 70.0。

   BF16 W/A + BF16 KV | Vanilla | 67.1 | 83.8 | 81.3 | 67.5 | 74.9 NVFP4 W/A + NVFP4 KV | QAT | 55.1 | 70.7 | 63.4 | 49.2 | 59.6 QaRL | 54.1 | 73.3 | 57.9 | 49.2 | 58.6 QUADS | 60.4 | 80.5 | 75.4 | 59.0 | 68.8 TRACE | 66.4 ( ↑ \uparrow 6.0 ) | 86.3 ( ↑ \uparrow 5.8 ) | 78.5 ( ↑ \uparrow 3.1 ) | 70.0 ( ↑ \uparrow 11.0 ) | 75.3 ( ↑ \uparrow 6.5 )

2. 在更大模型上，TRACE 在 DeepSWE（33.0 对 BF16 33.4）、Terminal-Bench（70.6 对 68.8）、GDPval（90.2 对 90.3）上匹配或超过 BF16，并超过 QAT 与 QUADS。

   Qwen3.5-122B-A10B | 33.4 | 28.8 | 29.1 | 33.0 ( ↑ \uparrow 3.9 ) Qwen3.8-Flash-Next | 68.8 | 60.4 | 66.4 | 70.6 ( ↑ \uparrow 4.2 ) Qwen3.8-2.4T-A95B | 90.3 | 88.7 | 85.9 | 90.2 ( ↑ \uparrow 1.5 )

3. 在 Qwen3.5-35B-A3B 上，TRACE 在 128K 输出长度取得最高 5.4× 的解码吞吐提升，接近 vanilla FP4 rollout 的效率。

   TRACE achieves up to 5.4 × 5.4\times higher decoding throughput at 128K output length compared with BF16 rollout, demonstrating that the proposed quantization-information caching preserves most of the decoding efficiency of FP4 rollout while enabling rollout-guided training.

4. 端到端 RL 步骤时间仅从 664 增至 713，相对 vanilla 联合 FP4 rollout 的开销为 7.4%。

   TRACE increases the RL step time from 664 to 713, corresponding to only 7.4% overhead compared with vanilla joint FP4 rollout.

5. 保留后半 20 层的一比特尾数加摊销 scale 元数据，每生成 token 缓存约 7.5KB，相较缓存完整量化激活缩小约 6×。

   retaining one-bit mantissa information together with amortized scale metadata for the latter 20 layers consumes approximately 2048 × 20 × 1.5 = 61,440 2048\times 20\times 1.5=61{,}440 bits, or 7.5 7.5 KB, of cached quantization information per generated token, which reduces the cache size by approximately 6 × 6\times compared with caching the full quantized activation.

6. rollout 时间构成中，模型前向占 86%，权重侧与 KV 侧 rollout 引导各占 4% 与 2%，剩余 8% 来自 KV 反量化。

   The model forward pass accounts for 86% of the rollout time, while weight-side and KV-side rollout guidance account for only 4% and 2%, respectively; the remaining 8% comes from KV dequantization.

7. 单独量化权重（NVFP4 W/A + BF16 KV）时 TRACE 平均 75.4，单独量化 KV（BF16 W/A + NVFP4 KV）时平均 74.8，均接近 BF16 的 74.9。

   NVFP4 W/A + BF16 KV | QAT † | 63.5 | 81.7 | 78.8 | 60.4 | 71.1 QUADS † | 64.8 | 83.3 | 80.4 | 62.9 | 72.9 TRACE | 67.1 ( ↑ \uparrow 2.3 ) | 83.1 | 82.1 ( ↑ \uparrow 1.7 ) | 69.4 ( ↑ \uparrow 6.5 ) | 75.4 ( ↑ \uparrow 2.5 ) BF16 W/A + NVFP4 KV | QAT | 65.3 | 82.3 | 79.2 | 65.8 | 73.2 TRACE | 68.1 ( ↑ \uparrow 2.8 ) | 83.0 ( ↑ \uparrow 0.7 ) | 80.7 ( ↑ \uparrow 1.5 ) | 67.3 ( ↑ \uparrow 1.5 ) | 74.8 ( ↑ \uparrow 1.6 )

8. 在 MXFP4 格式下，W4A8 与 W4A4 两档 TRACE 平均分别为 75.1 与 73.5，明显高于 QAT 的 69.0 与 67.2。

   W4A8 + MXFP4 KV | QAT | 64.9 | 75.4 | 76.9 | 58.8 | 69.0 TRACE | 67.1 ( ↑ \uparrow 2.2 ) | 83.3 ( ↑ \uparrow 7.9 ) | 81.2 ( ↑ \uparrow 4.3 ) | 68.7 ( ↑ \uparrow 9.9 ) | 75.1 ( ↑ \uparrow 6.1 ) W4A4 + MXFP4 KV | QAT | 60.2 | 74.8 | 73.2 | 60.7 | 67.2 TRACE | 65.2 ( ↑ \uparrow 5.0 ) | 82.0 ( ↑ \uparrow 7.2 ) | 79.8 ( ↑ \uparrow 6.6 ) | 67.1 ( ↑ \uparrow 6.4 ) | 73.5 ( ↑ \uparrow 6.3 )

9. 模块敏感性上，保留 4/3/2/1 比特与 40 层时平均约在 75.1 到 75.9 之间；一比特只保留后半 20、10、5 层时平均分别降至 75.3、74.1、73.4，仍高于 QUADS 的 68.8。

   TRACE (R-4bit-L40) | 67.0 ( ↑ \uparrow 6.6 ) | 86.1 ( ↑ \uparrow 5.6 ) | 80.1 ( ↑ \uparrow 4.7 ) | 70.5 ( ↑ \uparrow 11.5 ) | 75.9 ( ↑ \uparrow 7.1 ) TRACE (R-3bit-L40) | 66.8 ( ↑ \uparrow 6.4 ) | 85.9 ( ↑ \uparrow 5.4 ) | 81.2 ( ↑ \uparrow 5.8 ) | 66.8 ( ↑ \uparrow 7.8 ) | 75.2 ( ↑ \uparrow 6.4 ) TRACE (R-2bit-L40) | 67.1 ( ↑ \uparrow 6.7 ) | 86.1 ( ↑ \uparrow 5.6 ) | 80.0 ( ↑ \uparrow 4.6 ) | 67.2 ( ↑ \uparrow 8.2 ) | 75.1 ( ↑ \uparrow 6.3 ) TRACE (R-1bit-L40) | 66.4 ( ↑ \uparrow 6.0 ) | 86.3 ( ↑ \uparrow 5.8 ) | 80.5 ( ↑ \uparrow 5.1 ) | 70.0 ( ↑ \uparrow 11.0 ) | 75.8 ( ↑ \uparrow 7.0 ) TRACE (R-1bit-L20) | 66.4 ( ↑ \uparrow 6.0 ) | 86.3 ( ↑ \uparrow 5.8 ) | 78.5 ( ↑ \uparrow 3.1 ) | 70.0 ( ↑ \uparrow 11.0 ) | 75.3 ( ↑ \uparrow 6.5 ) TRACE (R-1bit-L10) | 66.1 ( ↑ \uparrow 5.7 ) | 82.7 ( ↑ \uparrow 2.2 ) | 81.3 ( ↑ \uparrow 5.9 ) | 66.4 ( ↑ \uparrow 7.4 ) | 74.1 ( ↑ \uparrow 5.3 ) TRACE (R-1bit-L5) | 65.8 ( ↑ \uparrow 5.4 ) | 81.2 ( ↑ \uparrow 0.7 ) | 79.7 ( ↑ \uparrow 4.3 ) | 66.9 ( ↑ \uparrow 7.9 ) | 73.4 ( ↑ \uparrow 4.6 )

10. 与 Score Centering 相比，TRACE 平均 75.3 对 SC 的 74.1，相差 1.2 个百分点。

    TRACE achieves an average score of 75.3 versus 74.1 for SC at step 380, a gain of 1.2 percentage points.

11. 与后置 PTQ（vanilla NVFP4/4over6/H-Scale 平均 70.4/71.0/71.4）相比，TRACE 全程 FP4 rollout 训练得到平均 75.3。

    the post-hoc PTQ pipelines achieve average scores of 70.4, 71.0, and 71.4 with vanilla NVFP4, 4over6, and H-Scale, respectively, whereas TRACE achieves 75.3 under FP4 rollout throughout RL training.

12. 训练动态中 TRACE 初始低于 BF16，约 120 步后追平并在后续若干步骤出现更高点估计，体现对 FP4 执行环境的逐步适应。

    After approximately 120 training steps, TRACE catches up with the BF16 reference and subsequently remains comparable, with higher point estimates at several later steps.

Novelty：新颖性中等偏上。核心概念——用 rollout 侧 FP4 码字直接决定训练侧舍入方向、从而对齐两条量化路径——是对既有"各路径误差最小化"思路的清晰反例驱动式修正，图 3、图 4 的舍入边界放大论证有说服力。mantissa-only + 后半深层的缓存是一个实用且具体的系统贡献，把"rollout 引导"从不可负担的全量记录变成可部署的紧凑通信。但构成要素（QAT、STE、rollout 回放、残差补偿、重要性比）均为已知技术，TRACE 更多是优化目标的重新定位与工程组合，而非全新机制；与 Rollout-ResQ/QaRL 的差异是"舍入结果对齐"而非"误差/实现对齐"，增量明显但边界清楚。 Soundness：方法层面的 soundness 较好：局部保证（不等式）被作者正确限定为逐点、同候选集条件，没有过度声称全局单调性；对"策略陈旧"与"舍入放大"的区分也准确。实验设置较规范：统一 VeRL/Megatron/SGLang 版本、disagg 架构，所有方法同用 R3 与重要性比，公平性较好。但证据链有若干薄弱点：主要结论依赖单次点估计，未报告方差、置信区间或多种子；mantissa-only 的近似重建（非精确码字恢复）没有与完整信息方案在最终质量上做充分对照（只在吞吐上对照 full 变体）；"后半层、b=1"是经验启发，缺少系统控制；若干训练稳定性结论为定性观察。总体：机制推理可靠、经验结论方向一致，但统计严谨性一般。 Significance：实际意义较高。若结论稳健，TRACE 使 FP4 W/A+KV rollout 能在大规模 MoE 的推理、编码、长时程 RL 中逼近 BF16 rollout 的最终性能，同时保留 FP4 的解码吞吐优势，直接降低后训练成本，对工业级 RL 训练（本文覆盖 35B 到 2.4T 参数级模型）有现实价值。mantissa-only 通信也给出了分布式 RL 中"用最小信息传递对齐低精度路径"的可复用思路。学术上，它把讨论从量化误差推到跨路径舍入一致性，可能启发后续理论分析。但相对意义受限于：仅覆盖 routed experts 与 KV、需配合 R3 与重要性比、收益以若干点估计呈现，尚未证明在更广泛设置下的普适性。

1) 局部保证不等于全局/策略级保证：不等式只约束每个捕获点在相同候选集下不劣于 RTN，作者也承认不保证全网络 D_act 或下游策略分歧单调下降，因此"何时、为何能避免崩溃"仍偏经验。 2) 策略陈旧未消除：训练策略可能新于 rollout 策略，TRACE 只消除不一致舍入的放大，底层激活差仍在；max_version_diff=3 与引导有效性之间的交互未被消融。 3) 量化范围有限：仅 quantize routed experts 与 KV cache，shared experts、attention 的 QKVO、embedding 等保持 BF16；端到端加速上界与真实 wall-clock 收益未完全刻画。 4) 缓存设计是启发式："后半层、b=1"在单一模型族上验证；层选择与每层码位分配未学习或系统优化，KV 侧引导占比虽小但 KV 反量化仍占 8%。 5) 重建是近似：Reconstruct 用训练激活符号 + 低 b 码位匹配来近似 rollout 码字，非精确恢复；文中缺少最终质量上 full-info 与 mantissa-only 的对照。 6) 统计严谨性不足：基准分数是点估计，缺少多种子、方差与显著性检验；DeepSWE、GDPval 的独立运行次数有限。 7) 效率指标偏 rollout 吞吐：端到端训练只报步骤时间增幅，未把 CPU/存储/传输的真实重叠与容量瓶颈纳入统一端到端时间。 8) Score Centering 的对比使用 TIS+SC 组合与 top-128 近似，而非原方法，与 TRACE 的公平对照有限。 9) 数据量估算（4.5 bit/值、单步 51TB）高度依赖轨迹数与 256K 上下文，普适性需在更小/更大规模上验证。

1) 理论化：把舍入结果对齐与策略 KL/重要性比连接，给出跨路径分歧上界，解释深层为何更敏感。 2) 自适应缓存：学习或搜索层选择与每层尾数 bit 分配，替代固定"后半层 b=1"；对 KV 侧引导做单独压缩。 3) 全链路 FP4：扩展到 shared experts、attention 与 embedding，评测端到端加速与显存收益。 4) 更广泛验证：更多模型家族、更长 horizon、verifier/多轮 RL、不同 router 敏感度；报告多种子与置信区间。 5) 陈旧策略消融：在更高 max_version_diff 下检验 rollout 引导与旧策略的交互，必要时按策略版本衰减引导权重。 6) 与 PTQ/QAT 组合：TRACE 训练出的策略再经 PTQ 或与 Rollout-ResQ 残差结合，观察最终 FP4 推理是否进一步改善。 7) 系统实现：把 mantissa-only 记录与 KV 反量化、异步落盘做更深的 kernel/存储协同，测量真实 wall-clock 端到端时间。 8) 可复现与开源：统一 benchmark 脚本与 checkpoint，供社区复现。

本文是一篇针对跨分词器在线策略蒸馏（Cross-Tokenizer On-Policy Distillation）的实证与诊断研究。它并不提出新的词表映射、字节级接口或表示对齐架构，而是在 SimCT、Byte-Prefix Marginalization 等试图通过多 token 单元恢复更多监督信号的脉络中，反向追问：严格 1:1 对齐已经保留了多少有用监督，补全 mismatch 覆盖又实际贡献了什么。论文的核心动作是把“对齐覆盖”（alignment coverage）与“监督可靠性”（supervision reliability）明确分开，并用覆盖率、概率质量、梯度方向三类测量证明覆盖最大化未必带来学习收益。其方法落点是一个学生选择的 top-k 紧凑严格目标，辅以对 span 监督的负面结果和梯度解释。论文位置介于共享词表 OPD 中“集中支持足以保留收益”的研究与跨分词器蒸馏方法之间，属于以问题重述和受控实验为主的“重新思考”型工作，而非新训练框架。

On-Policy Distillation 让学生在自身 rollout 所到达的前缀上对齐教师，其共享词表形式通常写作期望下前缀 reverse KL 之和。跨分词器时，同一响应会被切成不同 token 边界，且 next-token 分布定义在不同词表上，因此必须同时处理序列级和词表级对齐。已有方法大致分几类：ULD 比较排序后的输出概率，不要求 token 身份匹配；DSKD、CDM 构建表示或词表映射；likelihood matching 和字节级解码头绕开词表；GOLD 合并文本等价 token 组并用秩或身份混合匹配；SimCT 用最小对齐多 token 单元恢复被排除的监督；Byte-Prefix Marginalization 通过字节前缀关系把教师概率质量映射到学生 token，同时发现全空白位置的监督有害并需要掩蔽。这些工作隐含一种倾向：能访问更多教师信号就更好。本文质疑该倾向，提出两个关键区分。静态词表重叠按词条计数，无法反映词条在上下文中的预测概率；学生轨迹上严格对齐的频率与静态重叠可能高度不一致。概率质量、而非词条数量，才决定监督是否真正被比较。与此同时，监督是否可靠还要看它给出的梯度是否与学生当前行为一致，而非仅仅看是否覆盖了更多位置。相关 OPD 研究已显示集中 top-k 支持足以保留大部分蒸馏收益，但异构分词器下还需先确定哪些响应位置和词表条目允许直接比较。本文正是在严格位置共享词表上检验这一思想，并用受控训练、概率质量测量和梯度诊断解释覆盖与收益之间的分离。

本文的机制可分为四层：严格跨分词器目标、mismatch 组的 span MSE、学生选择 top-k 支持，以及梯度诊断。 符号与 OPD 基线。令 x 为 prompt，y=(y_1,…,y_L) 为学生响应 token 序列，y_{<i} 为前缀；学生 πθ 定义在词表 Vθ 上，教师 πT 定义在 VT 上。轨迹 (x,y) 由学生策略自回归采样。共享词表 OPD 最小化 E_{x~D,y~πθ}[Σ_i KL(πθ(·|x,y_{<i})||πT(·|x,y_{<i}))]，即在前缀上做 reverse KL。 Token-group 对齐。跨分词器时，先把学生生成的解码响应分别用双方 tokenizer 重新切分，并保留每个模型编码输入中的 token 位置。取双方共有的 token 边界（含响应起止），相邻共有边界之间的第 r 个区间内，学生 token 索引集合为 S_r^θ，教师 token 索引集合为 S_r^T；两组拼接后覆盖同一文本 span。这样把响应划分为 R 对对齐 token 组。若某组两侧都只有一个 token，则称为严格 1:1 组，其预测位置叫 strict positions；否则进入 mismatch 组。 共享词表与严格损失。按底层 token 识别跨模型词表，排除特殊 token 和歧义匹配，得到共享词表 V∩。对每个严格位置，把学生与教师分布都限制在 V∩ 上并重新归一化，再计算 reverse KL；严格损失 L_{1:1} 只在严格位置上求和。其直觉是：只在可直接比较的同 span 单 token 上做分布匹配，避免惩罚落在非共享词条上的概率质量。 Mismatch 的 span MSE。对每个 mismatch 组，把学生侧观察到的 token 路径概率 qθ^(r) 写成 S_r^θ 中逐 token 条件概率的乘积，教师侧 qT^(r) 同理写成 S_r^T 中逐 token 条件概率的乘积；然后用 log qθ 与 log qT 的平方误差监督该组。总损失为 L_λ = L_{1:1} + λ L_span。由于任何 λ>0 都会监督全部 mismatch 组，因此正权重给出结构意义上的完全覆盖；λ 只改变 span 项的强度，不改变被监督的组集合。论文扫描 λ∈{0,0.25,0.5,0.75,1.0,1.25,1.5}。 学生选择 top-k 支持。在每个严格位置，按学生原始全词表概率从 V∩ 中选出概率最高的 k 个词条，构成位置相关的子集 K_k^(r)。训练时把学生和教师分布都限制在同一 K_k^(r) 上并重新归一化，再算 reverse KL。因为子集由学生分布选择，它优先覆盖学生最可能走的方向；同时由于共享词表在严格位置集中了大部分教师质量，这一紧凑支持也有机会保留教师信号。论文用 k=16 和 k=128 与全共享词表对比。 梯度诊断。为解释 span 监督为何有害，论文固定同一批采样响应，分别对 L_{1:1} 与 L_span 求参数梯度 g_{1:1} 与 g_mis，计算两者余弦 c_mis 和范数比 ρ=||g_mis||/||g_{1:1}||。同时把严格损失贡献位置随机分成 A、B 两半，计算其梯度余弦 c_ctrl 作为同一目标内部位置子集一致性的参照。该诊断在 strict-only 训练得到的检查点上进行。 训练与数据。三对师生为 Qwen2.5-7B-Instruct→Llama-3.2-3B-Instruct、Granite-4.1-8B→Phi-4-mini-instruct、Granite-4.1-8B→Qwen2.5-7B-Base。训练提示来自 20,000 条源池：10,000 条 DAPO-Math-17K 数学题与 10,000 条 CodeForces 代码题。训练 100 个 on-policy 迭代，全局批大小 512，AdamW，学习率 1e-6，β=(0.9,0.98)，weight decay 为 0，梯度裁剪 1.0；使用单节点 8 张 NVIDIA H20 上的 FSDP2、bfloat16、梯度检查点和 chunk 为 2048 的逐块损失；SGLang 做 rollout。每 prompt 采样 1 条响应，采样温度 1.0、top-p 0.95，最大 prompt 长度 2048，最大生成长度 8192。损失计算时学生与冻结教师各自用自身 prompt 编码重新切分解码响应；响应长度单独切分，prompt-response 边界由联合输入 token 数减响应长度确定，next-token mask 选择响应位置；未截断响应追加 EOS，严格目标包含成对 EOS 位置。基线 ULD、Extended ULD、GOLD、SimCT 均来自 KDFlow，单位 KD 权重、温度 1.0，且 ULD、Extended ULD、GOLD 在其蒸馏损失中排除末端 EOS。 评估协议。数学覆盖 MATH500、GSM8K、AIME-2024/2025/2026、AMC23、Minerva-Math，每题 32 条响应取平均正确率；代码覆盖 HumanEval、MBPP、LiveCodeBench，每题 8 条响应取平均；Math 与 Code 分别为各自基准的算术平均，Full 为二者等权平均。主对比与 span-MSE 扫描都在 step 100 评估。数学用 Math-Verify 判分，代码用 EvalPlus 与 LiveCodeBench runner。

论文先测量静态词表重叠与严格 token 覆盖，显示二者可以严重背离：虽然词表 Jaccard 重叠不高，学生轨迹上严格 1:1 组已覆盖绝大多数学生 token 与教师 token，且训练窗口间波动很小。随后固定严格目标，加入覆盖全部 mismatch 组的 span log-probability MSE，发现所有正权重设置均未带来收益，反而使全平均下降。概率质量探针表明，严格位置上共享词表几乎保留双方全部预测质量，学生选择的小型 top-k 子集也保留大部分质量，且子集增大收益递减。训练对比显示 top-16 紧凑严格目标与全共享词表 OPD 相当，并普遍高于四类跨分词器基线；额外的大教师与 ALFWorld 实验重复了 top-16 的优势。梯度诊断进一步显示 span 梯度与严格梯度方向弱一致甚至负相关，而 span 相对范数随训练增加，为 span 监督的负面效果提供了机制性解释。

1. 三对师生中，静态词汇 Jaccard 重叠仅为 39.49–64.87%，但严格学生 token 覆盖达 85.57–96.98%。

   Strict student-token coverage is 85.57–96.98% across the studied runs, despite static vocabulary Jaccard overlap of 39.49–64.87%.

2. 完整运行中，严格教师 token 覆盖为 82.82–97.26%，与学生侧一样在低静态重叠下保持高位。

   Table 1 contrasts Jaccard overlap of 39.49–64.87% with strict token coverage of 85.57–96.98% of student tokens and 82.82–97.26% of teacher tokens over the complete runs.

3. 在三个训练窗口之间，严格学生 token 覆盖的最大波动为 1.43 个百分点，教师侧为 3.75 个百分点，说明严格对齐在训练中较稳定。

   Within each pair, the range across the three reported windows is at most 1.43 percentage points for strict student-token coverage and 3.75 percentage points for strict teacher-token coverage.

4. 全部 18 个正权重设置比各自严格基线低 0.27–1.20 个百分点，即补全覆盖反而降低精度。

   The 18 positive-weight settings score 0.27–1.20 percentage points below their respective strict baselines.

5. 在严格位置，完整共享词表平均保留 99.69–99.90% 的教师概率质量和 98.99–99.81% 的学生概率质量。

   the full shared vocabulary retains 99.69–99.90% of teacher mass and 98.99–99.81% of student mass on average across the three pairs.

6. 把子集从 16 扩大到 128 个词条，教师保留质量最多只增加 3.44 个百分点，学生侧最多 2.70 个百分点，收益明显递减。

   Expanding the subset from 16 to 128 entries increases the retained mass by at most 3.44 percentage points for the teacher and 2.70 points for the student.

7. 在训练收益上，top-16 保留了相对 Base 到 strict full 的全平均改进的至少 96%。

   Top-16 retains at least 96% of the reported full-average improvement from Base to strict full in each pair.

8. 三种 strict 变体在所有模型对的数学和全平均上均超过四个基线，top-16 相对最强基线的全平均高 0.51–1.05 个百分点。

   All three strict variants exceed all four alternatives in both math and full averages on every model pair, with top-16 ahead of the strongest alternative in the full average by 0.51–1.05 percentage points.

9. 在全部三对模型测得的检查点上，span 相对 strict 的梯度范数比随训练增加，弱对齐梯度的尺度不断上升。

   Figure 5 shows an increasing span-to-strict gradient norm ratio across the measured checkpoints in all three pairs.

10. 在 235B 教师到 8B 学生的额外实验中，Strict top-16 在数学、代码和全平均三项汇总指标上均高于其他被评估蒸馏方法。

    Strict top-16 achieves the highest Math, Code, and Full averages among the evaluated distillation methods.

11. 在 ALFWorld 的 seen 与 unseen 两个切分上，Strict top-16 的成功率均高于其他被评估蒸馏方法。

    Strict top-16 also attains the highest success rate among the evaluated distillation methods on both seen and unseen splits, as shown in Appendix E .

Novelty：创新性判断：中等。论文的主要贡献是概念重构与诊断，而非新模型或新损失族。它把跨分词器 OPD 的评价从“对齐覆盖最大化”转向“监督可靠性”，并给出一个可操作的紧凑严格目标：在严格位置的共享词表上，用学生选择的 top-k 子集做 reverse KL。top-k 支持在共享词表 OPD 文献中已有先例，本文将其适配到跨分词器严格位置；span log-probability MSE 也是对现有多 token 单元恢复监督的一种直接实现。真正的新意在于用覆盖率、概率质量、梯度方向三套测量系统展示覆盖与收益分离，并给出 span 监督有害的负面结果及梯度层面解释。这使论文作为“重新思考”型经验研究有新意，但缺少方法层面的根本创新。 Soundness：严谨性判断：较强但有限。实验设计有清晰对照：三对师生、λ 权重扫描、四类基线、全共享词表与 top-k 对照、蒸馏前概率质量探针，以及带 split-half 参照的梯度诊断，内部逻辑连贯，结论与其设定一致。主要削弱点：未见多随机种子或方差估计，结论来自单次训练；top-k 只比较 16 与 128 两个取值，且训练中的 top-k 由学生分布动态选择，与探针使用的未蒸馏学生分布并不完全一致；span MSE 只是恢复 mismatch 监督的一种实现，不能排除其他 mismatch 目标有效；梯度诊断在 strict-only 检查点上计算，而非联合训练实际路径，只能作为解释性证据而非因果证明；基线在 EOS、支持与损失归约上的实现差异可能带来混淆。总体看，论文在其设定内可信，但外推需谨慎。 Significance：意义判断：中等。对跨分词器 OPD 的实践者，结论有直接指导价值：不必为补全覆盖而盲目加入 mismatch 监督，紧凑的严格 top-k 监督既轻量又稳健；“对齐覆盖不等于监督可靠性”的提法可能影响后续方法设计，并与 Byte-Prefix Marginalization 发现空白位置有害监督形成呼应。对研究者，本文提供了一个可复用的诊断模板：静态覆盖与动态覆盖对照、概率质量集中度、梯度方向与尺度。但研究限于数学与代码任务、中等规模模型和 100 步训练，且未形成可广泛采用的新算法，其影响更偏向问题意识与方法论，而非性能提升。

主要局限如下。第一，模型与任务范围较窄：三对主实验为 3B–8B 量级，领域只有数学与代码；虽有一个 235B→8B 与 ALFWorld 附加实验，但不足以证明在跨语言、通用对话或长程 agent 任务上的稳健性。第二，统计稳健性不足：未报告多次运行的均值与方差，基准分数波动可能改变 top-16 与 full、以及各方法间小差距的结论。第三，训练与评估只取 step 100 单点，未给出训练曲线、早停或最优检查点选择，可能错过更优模型或掩盖不稳定。第四，top-k 支撑依赖学生分布且动态变化，论文只在蒸馏前学生 rollout 上测概率质量，未测训练过程中该选择的保持率；k 只比较 16 与 128，未系统扫描。第五，span MSE 是恢复 mismatch 监督的单一实现，其负面结论未必推广到归一化 KL、加权 span、路径边缘化或秩匹配等其他损失。第六，梯度诊断是事后分析：在 strict-only 检查点计算 span 与 strict 梯度，与联合训练实际路径不同，不能严格证明 λ>0 时梯度冲突是唯一原因。第七，共享词表构造排除特殊 token 与歧义匹配，基线在 EOS 处理上不一致，可能影响公平性。第八，缺少对教师/学生规模差、温度、采样策略、prompt 长度过滤等影响覆盖与 top-k 质量的消融。第九，论文较少讨论严格对齐与双分词带来的计算开销及其与收益的权衡。第十，缺少理论刻画：什么条件下 mismatch 组会引入冲突梯度仍不明确。

后续工作可从以下方向展开。一是在更多模型家族、分词器距离（BPE、SentencePiece、byte-level）、语言和任务上复现覆盖与可靠性结论，尤其对话、工具调用与长程 agent。二是为 mismatch 组寻找可靠监督：例如把 span 目标投影到与严格梯度一致的方向，加入梯度余弦约束或自适应权重，或在检测到冲突时禁用该组。三是建立在线诊断指标，训练中实时监测 mismatch/strict 梯度余弦与范数比，并据此调度 λ，而非固定权重。四是理论研究：在简化 tokenization 模型下刻画 span 恢复何时会产生反向梯度，以及冲突与教师路径概率、严格位置分布的关系。五是探索更丰富的支持选择策略：teacher-selected、交集、互信息或熵加权，或随训练动态变化 k。六是将可靠性视角用于 SimCT、BPM、GOLD 等恢复监督方法的消融，识别哪些被恢复的 token 组真正提供增益。七是进行多随机种子与统计检验，报告方差和置信区间，检验小差距是否显著。八是延长训练并采用更细检查点，观察 top-k 与 span 监督的长期效应。九是把 top-k 紧凑监督与序列级 RL 或奖励蒸馏结合，考察其在跨分词器 reward distillation 中的适用性。十是进行成本-收益分析，量化严格对齐与 top-k 在大批量在线蒸馏中的内存、通信与扩展性收益。

Distribution Matching Distillation (DMD) trains a few-step student from the difference between separately estimated target and student scores, so it must keep an auxiliary diffusion model fitted to the student's evolving distribution at extra memory and computation cost. We introduce DMAD, Distribution Matching as Adversarial Distillation, which recasts distribution matching as classification and learns the required log-density ratios directly. Two discriminator heads on a shared backbone distinguish real data and teacher samples from the student's, and linear losses on their logits train the student without auxiliary score fitting. We prove that at the discriminator optimum these losses recover the distribution-matching gradient underlying DMD, through the classical identity linking discriminator logits to log-density ratios. We further introduce gap-based reweighting, which adapts teacher supervision across noise levels from the real-data head's empirical logit gap between real and t

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

LLM agents often lack the operational knowledge to act reliably in new environments, as they must discover specific tool behaviors or environment conventions on their own. Without memory of past attempts, they repeat the same mistakes across tasks, leading to more task failures and longer trajectories. To address this, agentic systems typically rely on human-written guidelines or on procedural memory built from training tasks and an oracle verifier, both of which require prior knowledge of the environment. We present DAEDALUS, a method for bootstrapping reusable agent memory from self-generated practice without existing tasks or oracle verifiers. DAEDALUS pairs two agents: an explorer that interacts with the environment to generate challenging yet solvable tasks, and a solver that attempts them. A heuristic is derived from each solver failure and accepted only after the solver repeatedly succeeds with that heuristic in context. These outcomes also provide feedback for the explorer to r

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文处于「Web 智能体的间接提示注入防御」与「用可学习对手做对抗训练」的交汇处。它把问题从固定注入样本的微调、以及固定任务下的攻击者—防御者博弈，推进到在一个冻结的 Web 世界模型内部同时演化任务课程、注入对手与执行智能体，试图同时解决能力与鲁棒性两个目标，并主张模拟器中获得的能力增益可迁移到真实浏览器。

Web 智能体要完成多步任务，但页面由第三方编写，数据与控件混在一起，因此页面内植入的指令（间接提示注入）可以劫持执行方向；智能体又不能简单忽略页面，因为页面同时承载任务所需的值与控件。既有防御多在训练前固定的注入样本上微调（指令层级、SecAlign、StruQ 等），针对训练后模型的适应性攻击可绕过它们。RETA、ARLAS、DMAST、CoER 等虽引入可学习攻击者，却保持训练任务不变，任务一旦被解出就不再提供教学信号。作者利用 WebWorld-14B 这种能预测下一页面（包括被对手请求修改的页面）的世界模型，摆脱了「注入固定」和「任务固定」这两重限制，把防御训练做成课程、对手、执行器三方在模拟环境中的共同演化。

环境与任务形式化。任务 x=(g,o_0)，g 是授权目标，o_0 是初始可访问性树页面。执行器 E 在第 t 步采样动作 a_t，冻结世界模型 W 预测下一页 o_{t+1}；轨迹 τ=(o_0,a_0,o_1,…) 在执行器发出最终消息或 12 个动作后结束。冻结裁判 J（Qwen3.8-27B）给出 j(x,τ)∈{0,1}。基准为 150 个表单填写任务，覆盖五层技能（条件策略、派生值、联合选择、关系连接、有序修复）；每页包含决定答案的记录与规则，任务指定最终字段值、最终控件、两个必须保持不变的保护字段、两个永不可激活的禁止控件；浏览器端有确定性检查 s(x,τ)。威胁模型中攻击者是页面作者，每条轨迹至多注入一次；评测时攻击者观察到当前页面与已选动作、选择等待或注入，不能修改授权目标、系统指令或裁判；注入经 W 渲染，不合理的请求会被软化或丢弃。 第一阶段：课程—执行器共同演化。课程 C 提议任务，奖励为 R_C(x)=ν(x)·max{0, q(p̂_J(x)) − λ_C·n(x)/|P|}，其中 q(p)=1−2|p−1/2| 在 p=1/2 处取峰值，p̂_J 是对当前执行器跑 K 次轨迹后由裁判判定估计的成功率；ν 是有效性门（可解析且 p̂_J>0.1），n(x) 是同一词法相似簇中的提议数，用于重复惩罚。直觉是：只奖励当前执行器约半数能解出的任务，全对或全错的任务贡献为零，难度压力来自循环本身而非固定目标。执行器更新时，对新任务池每个任务采 G 条轨迹，逐轨迹奖励 R_E(τ)=2j−1，组归一化后再乘难度尺度 f(p)=max{0.1,q(p)}，得到优势 Â_k=f(p̂_J(x))·(R_E(τ_k)−R̄_x)/(s_x+10⁻⁶)。这样在保持组内对比的同时，加权靠近能力前沿的任务，并用 0.1 的地板保证其余任务仍有非零梯度。 第二阶段：对手—执行器共同演化。课程冻结，执行器从第一阶段末检查点继续，对手从基础模型启动。关键设计是「成功翻转」奖励：只对把已判定成功的干净运行翻转为失败、且注入确实被渲染的对手给予信用。流程是：对 p̂_J≥η 的任务收集 K 条干净轨迹（controls），c_i 标记干净判定为好的控制；对手提议 α=(z,m,d,ζ)（注入指令 z、渲染标记 m、注入转移索引 d、可选目标动作 ζ）。对每条 control，在其转移 d 处重放历史、把 z 传给 W 并让执行器继续。奖励 R_A(α|x)=Σ_i c_i·b_i^α·v_i^α / Σ_i c_i − λ_A·(n_A(z)−1)/|P_x|，其中 b_i^α 是受攻击延续被判为坏，v_i^α 是渲染标记检查通过；畸形提议得 −1。它不验证任务注入后仍可行，也不验证目标动作 ζ 是否被采取。 执行器在攻击下的训练。混合池 D_E 只保留任务输入，含新鲜攻击、历史轮攻击与干净任务（附录给出的比例为 0.50/0.25/0.25）。对混合池重新评估后每个任务采 G 条新鲜轨迹：好判定 +1，坏判定 −1，坏但避开了声明目标 ζ 的为 0（目标奖励形如 clip[−1,1](−w_g + w_r(1−2F))，默认 w_g=w_r=0.5）。优势仍按式 4 的难度尺度与组归一化计算。 策略优化与实现细节。每个角色各自训练一个 LoRA 适配器，共享固定主干；损失为 L(ϑ)=1/N·Σ m_iu[−Â_i·ℓ_iu + β(e^{ℓ0_iu−ℓ_iu}−(ℓ0_iu−ℓ_iu)−1)]。掩码 m_iu 只选角色生成 token（课程/对手的提议 token、执行器的助手 token），世界模型观测只作上下文、不产生预测损失；优势先组归一化、执行器再乘难度尺度。该更新保留 GRPO 的组归一化，但去掉旧策略似然比与裁剪代理，课程重放也不对先前提议做重要性校正。两个阶段各跑三轮；执行器检查点分别称 Capability iter t 与 Robust iter t，对手检查点称 Adv v t。 评测接口与渲染门。评测中的对手是反应式的：每步在转移前看到目标、当前页与执行器待执行动作，返回等待或注入；每集最多查询 11 次、每次最多 256 token，首个被接受的注入后停止查询。渲染门要求受攻击观测至少 40 个去空白字符、含 RootWebArea 标签或带括号元素标识、并含归一化标记或至少 60% 的长 token；它只查结构与文本，不保证任务控件存活。这套机制的核心直觉是：课程让任务始终落在执行器能力边界上，成功翻转奖励让攻击者只学「真正翻盘」的注入，而历史攻击重放防止已失效的注入被遗忘。

实验总评：作者在固定表单任务的冻结世界模型内，按第一阶段（能力）与第二阶段（鲁棒）的检查点序列，评测清任务与学习对手攻击下的完成率，并以托管的大模型作为参照；另做真实浏览器迁移（仅能力检查点，确定性严格检查）、未见过的外部前沿对手、以及去掉第一阶段的消融。总体结论是：第一阶段主要买来能力（清任务与模拟器到浏览器的迁移），第二阶段在攻击下买来额外鲁棒性且清任务无净损失；对训练外对手仍保持增益，但鲁棒性证据只是同一世界模型内的裁判判定，最终清-攻差距仍大，且消融未能把课程单独归因。

1. 主结果显示清任务完成率从基线的 74.89% 提升到最终的 81.33%，三个学习对手下的完成率从 48.07% 提升到 57.48%。

   AdvSim2Real raises clean completion from 74.89% to 81.33% and completion under the three learned adversaries from 48.07% to 57.48% ( Table 1 ).

2. 对未参与训练的前沿模型 Kimi-K3，完成率从 23.00% 提升到 30.72%，相对增益 33.6%。

   Against Kimi-K3 , a frontier model that took no part in training, completion rises from 23.00% to 30.72%, a 33.6% relative gain ( Table 3 ).

3. 第一阶段的技能增益迁移到真实浏览器，严格提交成功从 25.56% 提升到 44.44%，且不调用世界模型。

   The capability gain of the first stage carries over to a real browser, where strict success on the submitted form rises from 25.56% to 44.44% without any world-model call ( Table 2 ).

4. 去掉课程阶段后，最终智能体清任务下降 4.67 个百分点，但受攻击完成率只差 0.44 个百分点。

   without the curriculum stage, the final agent loses 4.67 clean points but only 0.44 points of attacked completion ( Table 7 ).

5. 第一阶段总体把清任务完成率提高 4.44 个百分点。

   Stage 1 raises clean completion by 4.44 points.

6. 第二阶段在无清任务净损失的情况下把受攻击完成率提高 3.14 个百分点。

   Stage 2 raises attacked completion by 3.14 points without a clean trade-off.

7. 外部前沿对手把基线清任务完成率压到 23.00%，而训练使其在此外部对手下增加 7.72 个百分点。

   A frontier-model adversary lowers Base to 23.00% and training adds 7.72 points.

8. 按技能分层，Robust iter 3 相对 Base 在条件策略和联合选择任务上增益最大，关系连接增益最小。

   By skill stratum, Robust iter 3 gains most over Base on conditional-policy ( + 14.3 +14.3 points) and conjunctive-selection tasks ( + 12.8 +12.8 ) and least on relational joins ( + 1.6 +1.6 );

9. 联合选择层在真实浏览器严格检查下，各检查点的 60 个 episode 中通过数均为零。

   Conjunctive selection passes the strict check in none of its 60 episodes at any checkpoint

10. 最终 4B 检查点在受攻击下与托管 9B 模型打平，并在清任务上反超。

    The final 4B checkpoint matches the hosted 9B under attack and beats it clean.

11. 最终检查点仍保留 23.85 个百分点的清任务到受攻击任务的完成率差距。

    A 23.85 23.85 -point clean-to-attacked gap remains at the final checkpoint.

12. 一次记录的第一阶段迭代占用两块 96 GB RTX 6000 Pro GPU 共 20 小时 46 分钟，即 41.54 个分配 GPU 小时。

    One recorded Stage-1 iteration reserved two 96 GB RTX 6000 Pro GPUs for 20 h 46 min, or 41.54 41.54 allocated GPU-hours ( Section C.6 );

Novelty：新颖性中等偏上。真正的新贡献有三项：任务课程与攻击者、执行器在同一冻结世界模型内共同演化；「成功翻转」奖励通过重放已接受的干净运行、只在延续失败时给对手信用，避免把执行器自身错误算给攻击者；以及带保护字段、禁止控件与确定性浏览器检查的基准。但课程奖励直接沿用 R-Zero 的不确定奖励，策略优化是 GRPO 的简化（去掉似然比与裁剪），可学习攻击者的对抗训练已有 ARLAS、DMAST、CoER 等先例；相对这些，本文的增量主要在于任务也随执行器演化、以及把世界模型用作可重放的红队环境。 Soundness：严谨性总体尚可但有关键弱点。方法、指标、奖励定义写得很具体，并给出逐种子计数、历史执行记录与失效分析；作者也主动披露裁判会误标算术、世界模型可能显示执行器从未输入的值、以及消融并未隔离课程单独作用。但核心鲁棒性证据依赖单一世界模型内的裁判判定，未在浏览器端验证；三个种子只测一次训练的单检查点、无训练方差与置信区间；去掉第一阶段是联合移除且不匹配算力；三个设计机制没有被逐项隔离。这些削弱了因果结论的强度，但论文对这些局限大多有说明，属于诚实的弱结论。 Significance：意义值得关注。若成立，它表明在冻结世界模型内与适应性对手共演化，能同时买到能力与鲁棒性，且能力增益可迁移到真实浏览器、鲁棒性可泛化到训练外的前沿模型；4B 检查点在攻击下追平托管 9B 并在清任务反超，也降低了部署成本。公开代码、基准与检查点有利于复现与后续红队评测。但最终清-攻差距仍大、鲁棒性未在可执行环境验证，因此对实际部署安全性的直接意义有限，更多是方法方向上的推动。

论文自身承认的局限包括：世界模型可能显示执行者从未输入的值、裁判可能接受错误计算，因此被裁判认可的鲁棒性增益还不等于可执行任务完成增益，只有能力检查点在浏览器中验证过；训练对手从初始页提议，而评测对手对轨迹做出反应，匹配对手检查点不等于匹配同一次攻击；不验证注入后任务是否仍可行。消融方面，去掉第一阶段是联合移除执行器与课程的初始化、且不匹配算力，因此它比较的是两条流水线而非单独归因课程；三个设计机制（课程不确定奖励、成功翻转奖励、历史攻击重放）都没有被隔离验证。统计上，每个检查点只有一个训练适配器的三个 rollout 种子，只测 rollout 方差，无训练方差与置信区间；托管 9B 的权重与原始轨迹不可得，Kimi-K3 只跑两个种子且服务版本可能变化。另有关键现象：第一轮对抗更新会同时降低清任务与受攻击指标，之后才恢复；最终清-攻差距仍大，且所有鲁棒性数字都是同一世界模型内的裁判判定。裁判奖励误差的案例被确认存在但频率未知。

后续工作可以沿几条线展开：其一，把鲁棒性评测搬到真实浏览器并用可执行任务检查器验证，同时在注入后显式验证任务可行性，避免裁判误判掩盖真实完成率。其二，做逐机制的消融（课程不确定奖励、成功翻转奖励、历史攻击重放各去掉一项）和计算匹配的组件控制，以厘清能力与鲁棒性的来源。其三，用真正反应式、且能针对已训练智能体再做适应的对手评测，而不是只用训练外前沿模型的一次性攻击；配合盲测人工审计。其四，把课程与浏览器严格检查对齐，因为联合选择层在裁判下被接受却在严格检查中全部失败，说明裁判与可执行成功之间存在系统偏差。其五，扩充到未见网站、视觉观测与更真实的 HTML/DOM，并报告多次训练运行的方差与置信区间。最后，针对前沿对手造成的大幅清-攻下降，研究攻击多样性、多注入预算与更强防御，缩小训练内外对手之间的泛化缺口。