2026-10-11

本文处在 GPU 并行机器人强化学习、多任务强化学习与演示引导学习的交叉点，做出两项相互耦合的贡献。其一，Hebero 是一个异构 GPU 并行 Isaac Lab 基准，把 LIBERO 的 40 个任务（Goal、Object、Spatial、Long 四套件各十项）编译进同一个仿真进程，提供统一的状态/视觉观测接口、演示轨迹与标准化评测。其二，DGPO 是一个演示引导的多任务 PPO 训练框架，并以 IW-ABC 为参考配方：复用演示构造稠密跟踪奖励与非对称价值函数，再用一个轻量的逐任务成功率 EMA 信号同时协调自适应行为克隆与面向滞后任务的重要性加权。论文的核心立场是：GPU 吞吐量本身不能解决稀疏探索与多任务不平衡，现有基准很少同时具备异构 GPU 并行、演示与标准化多任务评测；在固定墙钟预算下扩展并行副本能提升成功率，且 IW-ABC 在同预算下大幅超过 FAMO-ABC，并有零更新真机迁移证据。

背景可从三条线理解。第一，基准演进：早期 CPU 基准如 RLBench 提供百余任务、演示与多任务设置，Meta-World 定义联合多任务与元 RL 评测，LIBERO 组织富含演示的目标/物体/空间/长程套件；但它们的原始执行模型不支持单个 GPU 并行进程中的数千异构环境。后续 GPU 系统如 ManiSkill3 提供异构物理与渲染、RoboVerse 统一仿真与数据接口、MTBench 把 Meta-World 移植到 Isaac Gym 做状态 MTRL，另有 MO-Playground 的多目标 RL 与 MMBench/Newt 的大规模多任务方向。Hebero 试图把异构 GPU 并行、多任务与演示三者合并。第二，演示引导 RL：DAPG 用演示初始化并正则化策略，RLPD 把离线数据并入在线离策略学习，Rainbow-DemoRL 改进演示增强 RL，Data-Efficient Multitask DAgger 按任务进度分配额外专家数据，RFCL 用演示状态构造反向重置课程；参考跟踪提供稠密模仿奖励，若干工作学习可复用稠密奖励或残差/可解释奖励。DGPO 通过共享栈把演示的不同用法组织为可对比接口。第三，多任务优化：梯度幅度均衡、PCGrad 的梯度几何修改、FAMO 的损失动态加权、PolicyGradEx 的任务亲和度分组等处理任务进展不均与冲突更新。IW-ABC 则用 rollout 内逐任务成功率统计做重要性加权，与奖励尺度无关、与演示接口正交。

【问题与基准编译】采用标准 MTRL 形式：任务 T_k 是有限视界 MDP (S_k,A,P_k,R_k,H,γ)，p(T) 在 K=40 上均匀；学习单一任务条件策略 π_θ(a_t|o_t)，o_t 含任务编码 z_k。Hebero 把任务语义与仿真执行解耦：LIBERO BDDL 任务在训练前编译为缓存 JSON 描述符（指令、场景、资产、生成区、目标谓词与阈值），目标谓词从实时仿真状态求值，任务成功为各谓词合取，兼作稀疏奖励事件与评测结果。MuJoCo MJCF 资产离线转成 USD 缓存，保留几何、外观、动力学、关节与限位。异构向量化仿真中，环境 i 被指派任务 i mod K（总环境数 N=K·g）；一个仿真器/渲染器、一个 rollout buffer 与一次策略更新服务全部任务。每个资产原型只保留一个批量视图，覆盖实例化它的环境子集，维护全局环境 ID 与局部视图索引的缓存映射；任务绑定保留物体初始位姿与语义角色。 【交互接口】动作 a_t∈[-1,1]^7：前三/后三维经操作空间控制器产生末端相对平移与旋转 Δp=s_p·a_{1:3}、ΔR=Exp(s_R·a_{4:6})，第七维符号控制夹爪。状态观测 o^state=[a_{t-1},z_k,o^proprio,o^object-target] 共 300 维：上一动作 7 维、z_k 36 维多热编码（6 个共享子任务指示 + 30 个任务 ID 位）、本体感觉 23 维、物体-目标位姿缓冲 234 维（26 实体槽×9 特征，未用槽置零）。视觉观测用冻结 ViT 池化特征替换位姿缓冲，共 450 维。任务奖励 r^task=r^goal−r^reg−r^safe：稀疏成功奖励 w_succ·1[g_k(s_t)]，减去动作平滑/动作范数/关节速度正则与关节位置/速度软限位惩罚。评测在 50 条演示起点框定的 x、y 范围内均匀重采样物体位姿并做碰撞拒绝，测 Mean SR、Long SR、任务覆盖（≥80% 成功）与 SR-AUC。 【DGPO 共享组件】命令流统一管理各并行环境的任务身份、活动演示与时间步游标，并从共享轨迹库缓存机器人/物体/夹爪/动作引用，供奖励、critic 与 learner 接口复用。演示跟踪奖励同时跟踪机器人运动与世界状态：r^demo=Σ_{m∈E_k} w_m·exp(−‖e_t^m‖/σ_{r,m})，E_k 含末端位姿、臂关节位置/速度、夹爪误差（机器人侧）以及刚体姿态、关节角误差（世界侧）；稠密项既奖励机器人怎么动，也奖励动作在世界上产生的结果，并加入任务奖励。非对称 critic 在 actor 输入上追加跟踪误差与归一化演示游标 φ_t=m_e(t)/max(T_ξ−1,1)，其中 m_e(t)=min(r_e+t,T_ξ−1)，提供部署时不可得的特权监督；视觉 critic 用独立的可训练注意力池查询同一批冻结 token。 【参考 learner 与演示接口】共享栈固定，仅改变演示接口：PPO 无额外机制；BC→PPO 离线 actor 初始化；DAPG 离线似然正则；ABC 在线时间对齐动作目标；RFCL 反向重置课程（从演示后段状态反向推进前沿，精通后回退，全部归零后切到完整起点分布）。 【IW-ABC 核心机制】用同一个轻量学习进度信号协调模仿与任务优先级。(1) 进度信号：任务 k 的 τ_k 用新完成回合的二值成功均值初始化，之后 τ_k←(1−α_ema)τ_k+α_ema·SR̄_k（α_ema=0.05），直接从 rollout 计算，无需额外评测。(2) 自适应动作引导（ABC）：β_{k,u}=β_min+(β_max−β_min)[(1−τ_k)(1−ρ_u)]^κ，ρ_u=min(u/U_ann,1)，κ=2，β_max=1，β_min=0.1，U_ann=200,000 步；已解决任务可提前降低模仿压力，时间退火防止持续困难任务永远停在最大引导。损失 L_ABC=c_BC·E[β_{k,u}‖μ_θ(o_t)−a*_t‖²]。目标 a* 是时间索引动作 a^demo_{ξ(e),m_e(t)}，游标每控制步推进一次，到演示末尾截断并重置；演示起点重置建立初始对齐，稠密跟踪奖励维持接近参考，系数随成功/时间释放。(3) 任务均衡（IW）：τ̄ 为已初始化任务均值，p_k^IW=σ(s_IW(τ_k−τ̄))（s_IW=10），w_k=w_max(1−p)+w_min·p（w_max=2，w_min=0.5），低于均值的任务获得更大权重；小批量内归一化 w~_k=w_k/mean(w) 保持平均损失尺度。综合目标 L^{IW-ABC}=E[w~_k(ℓ^π+c_V·ℓ^V−c_H·H)]+L_ABC，IW 同时缩放策略、价值与熵，单次反向传播、无逐任务梯度。直觉：该信号与奖励尺度无关、与演示接口正交，故可叠加到 PPO 参考实现上。(4) FAMO-ABC 对照：只在 critic 侧用 FAMO 损失进度加权，D_k=L_k+ε、ω=softmax(q)，目标 c·Σ sg(ω) log D_k（c=sg(Σ ω/D)），更新后重算 D_k 得 δ=log D_before−log D_after、g_k=ω(δ−Σωδ) 更新 logits；策略代理与熵保持均匀，ABC 保留。 【训练与数据细节】全部 learner 在 40 任务上 30,000 次在线 PPO 迭代，每任务 50 条演示；离线预处理数据集含 336,575 条状态-观测-动作记录。PPO：T_rollout=16 步、每 rollout 5 epoch、4 个小批量；Adam 学习率 2e-4，折扣 0.99，GAE 0.95，clip 0.15，c_V=1.0，c_H=0.005，自适应 LR 的 KL 目标 0.005，梯度裁剪 1.0。状态 learner 共享 [512,256,128] ELU MLP（前馈、观测 running 归一化、初始 σ=0.8），actor 约 0.32M 参数。视觉侧用冻结的 Theia 式 Tiny ViT（patch 16、维度 192、深度 12、224×224→196 token），双视图沿特征维拼接成 196×384，经可训练单查询注意力池 softmax(q^T Z/√(2D_v)) 得到 384 维 h^visual，critic 用独立查询 q_V；PPO 只训练注意力池与 MLP，部署总参数约 5.92M（含冻结编码器）。训练用 3 个种子、每 run 8 块 L20 GPU、每卡 2,000 并行环境，单 run 约两天。

实验部分分若干条线展开。首先，基准吞吐与扩展性：把 Hebero 与 CPU 上的 MuJoCo 配置对比仿真吞吐与显存占用，并给出多卡端到端训练的规模；在固定墙钟预算下，增加每任务并行副本提高成功率并更快达到同等奖励水平。其次，在 DGPO 共享栈内做受控 learner 对比：覆盖纯 PPO、离线行为克隆初始化、在线自适应动作引导、DAPG 式正则、RFCL 式反向重置课程，以及 FAMO 式任务加权；结果显示在线自适应引导优于离线初始化与重置课程，基于成功率的任务加权在同等预算下胜过基于损失动态的 FAMO，视觉版本进一步改善，长程任务覆盖更广。再次，学习动力学：滞后的目标与长程任务获得更高重要性权重，动作引导系数随任务成功与训练时间退火，而任务优先级在退火后仍然保留。最后，真机部署：单条多任务状态策略在若干 Piper 任务上零权重更新部署，配合外部感知取得较高总成功率。此外还有消融验证任务加权应同时作用于 actor 与 critic，以及逐任务系数动力学分析。所有具体数值见随附的 claim-quote 对。

1. Hebero 在单块 L20 GPU、一千六百个并行环境、全部四十个任务上达到约七千五百步/秒，吞吐量是九十六核 MuJoCo CPU 基线的三点四倍。

   Across 40 tasks and 1,600 environments, Hebero delivers approximately 7.5k simulation steps per second on one L20 GPU, 3.4 times the throughput of our 96-core MuJoCo baseline.

2. 在固定墙钟预算下，单块 48 GB L20 GPU 上增加每任务并行副本提高成功率，并以更少时间达到相同奖励水平。

   on a single 48 GB L20 GPU, more replicas per task yield higher success within the same wall-clock budget ( fig. 3 (a)) and reach matched reward levels sooner ( fig. 3 (b)).

3. IW-ABC 在状态输入下达到百分之九十点一的平均成功率，以零点三二兆参数的 actor 超过最强基线 FAMO-ABC（百分之八十二点三）七点八个百分点。

   IW-ABC achieves the highest state-input Mean SR of 90.1% with a 0.32M-parameter actor, outperforming the strongest baseline, FAMO-ABC (82.3%), by 7.8 percentage points.

4. 相对最强状态基线 FAMO-ABC，IW-ABC 将平均成功率从百分之八十二点三提升到百分之九十点一，将长程成功率从百分之五十三点三提升到百分之七十点零。

   Compared with FAMO-ABC, the strongest state-input baseline, it improves Mean SR from 82.3% to 90.1% and Long SR from 53.3% to 70.0%.

5. 视觉策略达到百分之九十三点五的平均成功率，总部署参数量五百九十二万，含冻结编码器。

   The visual policy reaches 93.5% with 5.92M total deployed parameters, including its frozen encoder.

6. 全部 learner 在四十个任务上联合训练三万次在线 PPO 迭代，每任务五十条演示，并采用统一评测协议。

   All learners in Table 2 jointly train on 40 tasks for 30,000 online PPO iterations with the same 50 demonstrations per task and undergo unified evaluation protocol ( section 3.4 ).

7. 每个配置训练三个种子，每 run 使用八块 NVIDIA L20 GPU、每块 GPU 两千个并行环境，耗时约两天。

   We train each configuration with three training seeds; each run uses eight NVIDIA L20 GPUs with 2,000 parallel environments per GPU and takes approximately two days.

8. 在 IW-ABC 中同时加权 actor 与 critic 相比只加权 actor，平均成功率提高十一点九个百分点，长程成功率提高二十点零个百分点，任务覆盖从四十个中的三十一个增至三十五个。

   Weighting both actor and critic improves Mean SR by 11.9 percentage points and Long SR by 20.0 points over actor-only weighting, while increasing task coverage from 31 to 35 out of 40 ( table 5 ).

9. ABC、IW-ABC 与视觉 IW-ABC 分别覆盖十个 Long 任务中的四个、七个和九个，视觉版本长程技能覆盖最广。

   ABC, IW-ABC, and Vis IW-ABC cover 4, 7, and 9 of the ten Long tasks, demonstrating broader coverage of long-horizon skills.

10. 在真机上每任务二十次物理试次，联合训练的多任务策略达到百分之八十二点五的总成功率。

    Across 20 physical trials per task, the policy achieves an overall success rate of 82.5%.

11. 在固定任务重要性加权下，IW-ABC 在全部四项指标上超过 IW-DAPG 与 IW-RFCL，说明在线自适应动作引导优于离线正则化与反向重置课程。

    With task IW fixed, IW-ABC outperforms IW-DAPG and IW-RFCL across all four metrics, supporting adaptive matched-action guidance over offline demonstration regularization and reverse-reset curricula for demonstration-guided joint learning.

Novelty：新颖性中等。基准层面，Hebero 的新意主要是系统集成而非新任务：把 LIBERO 的异构场景接入单个 Isaac Lab GPU 并行进程，用资产原型视图与环境-任务映射处理异构性，这是对 MTBench 同构移植的重要工程扩展；标准化评测（重采样起点、Mean/Long SR、任务覆盖、SR-AUC）有方法学价值。算法层面，稠密跟踪奖励、非对称 critic、BC 初始化、DAPG、RFCL 均非原创；ABC 是自适应退火模仿，IW 是按成功率 EMA 的加权，二者分别有先例。真正的新组合在于用同一个轻量任务进度信号同时调节模仿压力与 PPO 任务权重，并把不同演示接口放进共享 DGPO 栈做受控比较。整体属于系统加组合式贡献，单点算法创新有限。 Soundness：整体可信但有保留。优点：受控比较严格（同一 PPO 骨干、奖励、观测、训练预算、种子与评测协议），消融能分离 IW 放置位置与 learner 接口；动力学分析用系数轨迹支撑机制解释。顾虑：多数主实验仅 3 个种子，而 Long SR 方差很大（如 IW-ABC 70.0±10.0、视觉版 81.9±11.5），未报告显著性检验；真机验证用状态策略加外部感知，未证明视觉 sim-to-real；评测在同一 40 任务内、物体在演示起点框内重采样，缺 held-out 任务与更宽 OOD 放置；FAMO 是重实现（FAMO-ABC 仅 critic 加权、多两次前向），比较公平性依赖实现保真；单 run 8 卡两天的成本限制重复与社区复现。综上，内部一致性较好，结论的推广性与统计稳健性中等。 Significance：对 GPU 并行机器人 RL 社区有实际意义：Hebero 填补了异构多任务 GPU 基准、演示与标准化 MTRL 评测的组合空缺；DGPO 的共享栈降低演示引导方法的对比成本；IW-ABC 的轻量成功率 EMA 机制实现简单、可与 PPO 参考组合，易于被采纳；真机零更新迁移增加了应用说服力。但意义受范围限制：任务来自 LIBERO 抓放与关节操作、仅 PPO 骨干、单机器人；尚无向新任务、新形态或更长期限扩展的证据，算法优势能否泛化到其他基准未知。若社区沿用其评测协议并扩展到更大任务集，影响力会进一步放大。

局限主要有以下几点。其一，时间索引动作目标在策略偏离演示轨迹时会失配，论文自己也承认这一点；尽管有稠密跟踪奖励与演示起点重置，长时间漂移仍可能使 ABC 目标变成错误监督，需要在线状态匹配、相位估计或最优传输对齐。其二，基准与训练范围被限制在 LIBERO 40 任务与 RoboTwin 四个任务，缺少更大任务集、跨形态、双臂或移动操作验证，无法回答方法随任务数扩展的泛化能力。其三，真机实验只用状态输入策略，依赖 FoundationPose、颜色分割与深度反投影等外部感知流水线，未展示视觉策略的 sim-to-real，弱化了视觉结果的实际意义。其四，评测仍在同一 40 任务内、物体在 50 条演示起点框定的范围内重采样，无 held-out 任务，OOD 位姿覆盖有限，测的是放置鲁棒性而非任务泛化。其五，方法依赖每任务 50 条演示与稠密跟踪奖励，演示质量、覆盖与数量敏感；稀疏奖励下的独立学习效果未充分展示。其六，框架只支持 PPO 类 on-policy learner，FAMO 是适应 DGPO 的重实现，算法比较的公平性与结论外推有限。其七，Long SR 方差较大且种子少，多卡、两日级的单 run 成本不利于大规模种子复现；吞吐对比与 CPU 基线未完全归一化。其八，视觉编码器冻结、只训练注意力池与 MLP，可能限制视觉表征的学习上限。其九，IW 依赖二值成功信号，训练早期成功稀疏时需要预热，成功谓词带噪时权重可能误导；τ 的 EMA 速率与 s_IW、w_max/w_min 等敏感超参的鲁棒性未系统考察。

后续工作可从以下方向展开。第一，把时间索引目标替换为漂移鲁棒的演示对齐：在线状态匹配、相位估计或最优传输，减少策略偏离后的错误模仿监督。第二，扩大基准规模与多样性：超出 LIBERO 的更多任务、更长期限、跨形态与双臂设置，并把 DGPO 与 IW-ABC 迁移到更大任务集，检验随任务数扩展的稳定性。第三，强化评测协议：引入 held-out 任务、更宽随机化、组合泛化与持续学习协议，减少对演示起点框内重采样的依赖。第四，在共享栈内研究任务均衡方法的组合，例如 IW 与 FAMO 损失动态、PCGrad 梯度几何的叠加与消融，厘清不同信号在何种失败模式下互补。第五，降低演示依赖：少量演示、RLPD 式离线数据混合、逆 RL 与可学习稠密奖励，在 DGPO 接口下与 ABC/IW 组合。第六，视觉 sim-to-real：训练视觉 IW-ABC 并端到端部署，验证冻结 ViT 表征在真实场景的迁移，而非依赖外部感知。第七，形式化分析 τ 信号与奖励尺度的独立性，比较成功率 EMA、基于奖励、基于 critic 损失的进度代理，给出敏感超参的鲁棒性研究。第八，提升效率与可复现性：单卡规模化、异构视图的显存优化、标准化吞吐基准，公开种子与配置并建立 Mean SR/Long SR/覆盖/SR-AUC 的排行榜。

这是一篇来自 Xiaomi LLM-Core 团队的系统技术报告，定位为“把 RL 作为大模型走向自改进的核心训练范式”。报告推出 MiMo-V2.6 系列（Pro 与 Flash 两个 MoE 规模），核心卖点不是单一算法突破，而是把 RL 计算沿三个维度同时扩展：训练批量与吞吐、环境与 agent harness 的多样性和复杂度、以及 grader 计算（groupwise agentic grading）。同时它强调基础设施（异步训练、混合任务 rollout、训练—推理一致性、防 reward hacking 的多层防御），并开源训练动态、环境、RL 框架与 mini-harness。相对此前 MiMo 系列，本文的增量主要在“大规模 agentic RL 的系统化工程”与“更细粒度奖励信号”，而非提出全新模型架构。

论文把目标锚定在递归自改进（RSI）：模型通过持续探索与反馈扩展能力，其实现依赖 agent 把模型与交互环境耦合，从而产生多步轨迹和反馈信号。由此，在复杂 agentic 任务上扩展 RL 成为可行路径。作者提出两个主要挑战：一是 RL 需要合适的模型架构与足够丰富的探索空间；二是扩展 RL 需要复杂的基础设施、环境与 grader 方案。 技术背景上，本文大量继承既有组件：混合 SWA/GA 稀疏 MoE 骨干延续 MiMo-VL-7B 的滑动窗口注意思路；MTP（Gloeckle 等）用于预训练与推测解码；Muon（Jordan 等）与 Muown（Lion 等）用于大 batch 优化；DFlash（Chen 等）支撑块扩散式推测解码；CodeMidas（Ye 等）做源码驱动的任务合成；GAR（Dong 等）提供在线分组优势重分配；R3（Ma 等）与 top-p 候选集重放保证训练—推理一致性；partial rollout 借鉴 Kimi Team。评测侧则横跨 DeepSWE、ProgramBench、AutomationBench、CyberGym、ExploitGym、ExploitBench、SEC Bench Pro、Terminal-Bench、OSWorld-Verified、GDPval-AA、Toolathlon-Verified、JobBench、Agents' Last Exam 等公共基准，并辅以三个内部基准。这使本文更像一次“把公开/内部工程件组装到超大 MoE + 1M 上下文 RL”的前沿实践报告。

【基础架构】文本骨干是混合稀疏 MoE Transformer：堆叠 M 个 hybrid block，每个 block 由 N 个连续 SWA 块 + 1 个 GA 块组成；唯一例外是第一个 block 用全局注意力 + 稠密 FFN 稳定早期表征。SWA 窗口为 128。SWA 与 GA 块都用无共享专家的稀疏 MoE FFN。Flash 为 48 层（39 SWA/9 GA）、隐藏 4096、Q/KV 头 64/8、256 专家激活 8、总 310B/激活 15B；Pro 为 70 层（60 SWA/10 GA）、隐藏 6144、Q/KV 头 128/8、384 专家激活 8、总 1.02T/激活 42B。另有 SWA + 稠密 FFN 的 MTP 模块。 MiMo-ViT 用 sink-augmented SWA 替代固定不重叠窗口，SWA 层在 row-major 与 column-major 序列化间交替，周期插入 GA 层，以低成本聚合全局上下文；28 层（24 SWA/4 GA）、681M 参数、patch 为 2×16×16。预训练 ViT 时配一个小型预训练 LLM，仅用多模态理解数据的交叉熵，LLM 保持可训练以提供语义稳定的梯度。 音频编码分两级：Audio Tokenizer 把 log-mel 经两层卷积前端半采样，再经因果 hybrid SWA/GA Transformer，再接下采样卷积到 25Hz，用 20 层 RVQ 每帧输出 20 个离散 token；该 tokenizer 在 2000 万小时音频上训练。Patch encoder 每个 RVQ codebook 用独立嵌入表并求和成单帧表示，每 4 帧打包成 patch，用 patch 内双向自注意力的 Transformer 处理，拼接后线性投影为骨干输入，把音频序列率从 25Hz 降到 6.25Hz。 推测解码用 MTP 模块（块扩散式）：drafter 为 5 层稠密 FFN Transformer，以骨干隐藏特征 + 干净 anchor token 为条件，一次前向预测 7 个后续 token 供骨干并行验证；全部用 SWA + grouped queries，draft block 内双向注意，至多关注 anchor 前 1024 个骨干上下文位置。 【预训练与 mid-training】预训练分两阶段：先纯文本，后接入自研 ViT 与音频编码器做全模态联合训练；上下文从 32K 延到 256K。Flash 训练 48T token（26T 文本 + 22T 全模态），Pro 训练 30T（27T + 3T），用 AdamW。mid-training 以 agent 为中心的数据混合（编码/通用/视觉/研究的真实 agent 轨迹 + 高质量文本、仓库级代码、图/视频/音频），先 256K 上下文、再延到 1M。关键改动是把隐藏权重矩阵优化器从 AdamW 切换为 Muown：Muon 通过正交化更新利用矩阵结构，在超过 critical-batch-size 后保持数据效率，Muown 再显式控制行范数以抑制谱范数漂移；embedding、LM head、MoE router 仍用 AdamW。作者称切换过程无 loss spike。同时用 MXFP4 QAT 使模型适应低精度计算。 【RL 目标】式 (1) 是带重要性比 r、token 级 mask M 与序列级 advantage A 的策略梯度：L(θ) = −E_{q∼∪_d D_d, {o_i}∼μ_{θ_old}} [ (1/Σ|o_i|) Σ_i Σ_t r_{i,t} M_{i,t} A_i log π_θ(o_{i,t}|q,o_{i,<t}) ]。含义是：对每个 prompt 从旧策略采样 G 个候选解，grading 阶段产出 advantage A_i 用于跨轨迹的信用分配，训练阶段按 prompt-mean 聚合 token 梯度。RL 按 rollout、grading、training 三段分解：rollout 并行化、training 数据并行切分；partial rollout 让被打断的序列在下一 rollout 阶段续传，代价是续传要重建 KV cache（re-prefill），因此大 batch 用于摊销；dynamic sampler 过滤全过/全败组；Sample Mixer 稳定多任务 batch 构成；数据面与控制面解耦以打包大 batch。 【环境与 harness】代码任务走五条合成路径：GitHub PR/issue 过滤与 issue 式规格重建、员工真实开发请求、规格驱动生成、CodeMidas 源码驱动、长程软件工程，并纳入公开来源与授权数据。监督质量用三重手段保证：规格—测试对齐审查；基于 rollouts 的审计（每任务 4 次尝试，审计 agent 对比规格、测试、参考 patch 与提交 patch/日志）；8 次重跑稳定性检查（F2P 须先失败、P2P 须先通过，应用参考 patch 后都通过）。通用 agent 任务构造本地 workspace + 软件 mock（MCP/API/CLI/GUI），多 agent 规划与并行生成文件/数据库，用原子二元 rubric 项（代码检查 + LLM 检查）评分，并对无关注释做负向检查。视觉任务分开放设计与高保真复刻：前者点式 rubric 稳定后加 groupwise 比较，后者用像素级相似度 + LLM 判断。网络安全任务用 OSS-Fuzz 漏洞复现：从 sanitizer 报告提取漏洞类型与崩溃位置两个属性，PoC 必须在这两个属性上做规则化字符串匹配才算通过，判据确定、可复现且廉价；agent 获得完整源码 + 编译好的 harness 二进制。 【多 harness 训练】生产 harness 因工程安全层、额外约束 prompt 与紧耦合模块不适合 RL，故提出 mini-harness：所有 mini-harness 共享同一最小 agent loop（系统 prompt、工具、上下文管理），模块保持最小且解耦，可自由重组，为 Code/General/Visual/Cyber 派生不同配置，以鼓励可迁移的解题策略。 【reward hacking 防御】编码任务的主要失败模式是解泄漏（安装新版包当答案、拉取上游修复、克隆上游、检索 issue/PR 答案、探测版本）。防御分四层：把这些案例合成反思式 mid-training 对齐数据；环境清理（删除构建日志、verifier 输出、残留 patch、缓存、后续 commit，网络隔离）；对抗性 hack agent 反复探测漏洞直至找不到成功利用；训练中离线审计 + GAR 把确认 hack 轨迹的 effective reward 置零再重算组统计。 【Groupwise 打分】GRS（离线 rubric）先收集多个离线 rollout，让 agent 对比生成 solution rubrics 与 behavior rubrics；训练时 grader 进入 rollout 环境按 rubric 打分，得到 S_sol 与 S_beh，最终奖励 R_i = R_i^test · S_i^sol · S_i^beh。乘法形式把 rubric 监督绑定到测试结果：失败轨迹保持零奖励，通过轨迹再按实现质量与行为质量区分。GAR（在线）对混合结果组让 grader 在共享 workspace 里联合检查所有轨迹，按五维（方法适宜性、实现精确性、相对必要改动的最小性、避免意外副作用、与代码库风格一致）排序，允许并列。设 A_i = R_i − R̄ 为序列 advantage，P={i:R_i=1}，质量因子 f_i∈(0,1]；未截断更新为 λ = Σ_{j∈P} A_j / Σ_{j∈P} f_j A_j，A_i' = λ f_i A_i（i∈P）否则 A_i。这保证 Σ_{j∈P} A_j' = Σ_{j∈P} A_j，即把正 advantage 质量从低质量通过轨迹重新分配给高质量通过轨迹；实际会截断 λ 防止过度放大，再减去组均值得到零均值序列 advantage，并广播到轨迹内所有 token。grader 异步运行，输出不可用时回退到原始 advantage。 【行为正则】group-relative 长度惩罚：当组内通过率超过阈值 A 时，取通过轨迹 token 数的 B 百分位作为参考长度，据此调整奖励以抑制 token 增长（原文该式被截断）。另加 segment 级行为惩罚（格式违规、工具调用错误）与 batch 级 advantage rebalancing，以改善信用分配并抑制熵失控。 注：本摘要所给原文在 5.2 后直接跳到 5.5、再跳到第 8 节，5.1/5.3/5.4 与第 6/7 节（基础设施细节、Predictive Rollout Dispatch 等）未完整提供，故机制中基础设施部分只能据已有线索归纳。

作者报告了 Pro 与 Flash 各一次大规模 RL 后训练运行（SFT 之后），并沿计算、环境/harness、grader 三个维度扩展。实验部分的主要结论是：随着训练步数增加，两个模型在编码、通用工作流、视觉与网络安全四类任务上持续提升，且提升跨领域一致；算力在 rollout、训练与 grader 之间可清晰分解；在线分组优势重分配（GAR）的消融显示它能稳定回合数与 token 长度增长、维持通过率改善；确认的 reward-hacking 比例在训练全程被压得很低；故障分析透明记录了 GPU 内存双比特错误、OOM、主机内存耗尽与网络中断等重启事件。评测覆盖多个公共基准与三个内部基准，开源轻量蒸馏模型在多种任务和 harness 上复现出一致的 RL 收益。所有具体数值见下方 claim+quote 对。

1. 系列包含两个 MoE 规模：Pro 为 1.02T 总参数/42B 激活，Flash 为 310B 总参数/15B 激活。

   MiMo-V2.6-Pro, a 1.02T-parameter Mixture-of-Experts model with 42B active parameters, and MiMo-V2.6-Flash, a 310B-parameter Mixture-of-Experts model with 15B active parameters

2. 两个模型的 RL 后训练开销分别为 260 万美元与 90 万美元。

   spending $2.6M and $0.9M on RL post-training for MiMo-V2.6-Pro and MiMo-V2.6-Flash, respectively.

3. 每个训练步用 1568 个 prompt、组大小 16，共 25K 序列、2.7B–3.7B token，单序列约 110K–150K token。

   1,568 prompts with group size G = 16 G{=}16 , so each step rolls out 25K sequences that amount to 2.7B–3.7B training tokens (roughly 110K–150K tokens per sequence)

4. DeepSWE average@3 随 RL 进行而提升：Pro 从 58.4 升到 72.6，Flash 从 48.7 升到 65.7。

   over the course of RL, MiMo-V2.6-Pro improves from 58.4 58.4 to 72.6 72.6 and MiMo-V2.6-Flash from 48.7 48.7 to 65.7 65.7

5. Pro 的计算开销分解为 rollout 43.8%、训练 43.5%、grader 12.7%。

   rollout consumes 43.8% and training 43.5%, while the grader takes the remaining 12.7%.

6. 预训练 token 预算：Flash 48T（26T 文本 + 22T 全模态），Pro 30T（27T + 3T）。

   MiMo-V2.6-Flash is trained on 48T tokens, comprising 26T tokens in the text stage and 22T in the omni stage. MiMo-V2.6-Pro is trained on 30T tokens, with 27T and 3T tokens in the two stages, respectively.

7. 音频 tokenizer 在 2000 万小时音频上训练。

   trained on 20 million hours of audio spanning speech, music, and other audio content.

8. 确认的 reward-hacking 轨迹占比在 Flash 与 Pro 的整个训练过程都低于 2%。

   the logged confirmed-hack share remains below 2 % 2\% throughout the whole training process for both MiMo-V2.6-Flash and MiMo-V2.6-Pro

9. GAR 消融采用训练批大小 128 与 token-mean 损失聚合。

   using a training batch size of 128 and token-mean loss aggregation (Figure 8 )

10. 有在线分组判分时，通过率增益可持续到第 52 步，同时回合数大致稳定、token 长度缓慢增长。

    pass-rate gains are sustained through step 52, while turn counts remain roughly stable and token length grows gradually.

11. 故障分析中，某一层 expert-parallel rank 的 token 负载曾超过均值的 30 倍。

    at one layer, an expert-parallel (EP) rank received over 30 × 30\times the mean token load despite a relatively balanced full batch.

12. Flash 在第 15–16 步之间因 Kubernetes 故障重启，Pro 在第 14 步后因 grader 网络不可达重启。

    Flash was also restarted after a Kubernetes failure caused pods in the Cyber-task cluster to crash between steps 15 and 16. Pro was restarted after the grader became unreachable over the network after step 14.

Novelty：新颖性中等。最值得注意的原创点是：GRS 的离线 rubric + 乘性奖励合成（R_i = R_test·S_sol·S_beh）、针对 RL 的 mini-harness 多 harness 训练思路、网络安全任务中“漏洞类型 + 崩溃位置”双属性确定性判据，以及把 Muown、MXFP4 QAT、partial rollout、R3、动态采样、Sample Mixer 等拼成 1M 上下文、万亿参数 MoE 的大规模 RL 系统。但 GAR 明确归功于 Dong et al. 2026，混合 SWA/GA 架构、MTP、Muon/Muown、DFlash 也均来自先前工作；整体更偏系统整合与评测工程，而非算法级新发现。 Soundness：稳健性中等。机制与公式描述较完整（RL 目标、GRS 乘法奖励、GAR 的 λ 重归一化与正 advantage 守恒、长度惩罚思路），失败分析坦诚，reward-hacking 防御链条清楚。但本摘要缺失 5.3/5.4 的完整基准结果表与外部前沿模型对比，GRS 与 GAR 的单独消融、统计显著性、grader 与人工/参考标注的一致性均未给出；内部 LLM 判分可靠性主要靠“多模型判断一致性”间接支持，且长度惩罚公式被截断。开源组件有助于复现，但 Pro/Flash 权重与完整基础设施细节未在文中充分披露，因此关键结论目前主要依赖自报指标。 Significance：工程与社区意义较高：它面向 RSI 这一热门方向，给出“计算×环境×grader”三维扩展的可操作范式，并提供开源蒸馏模型、任务环境、verifier、RL 框架与 mini-harness，能显著降低 agentic RL 的复现与扩展门槛；分组打分与防 hack 的多层防御对实践者有直接借鉴价值。对算法研究者而言，边际启发中等，因为多数核心组件来自已有工作。

其一，所提供的全文不完整：第 5.1、5.3、5.4 节与第 6、7 节（基础设施、Predictive Rollout Dispatch、Sample Mixer、R3、top-p 候选重放等细节）缺失，导致无法核验完整基准表、与外部前沿模型的具体对比、专家负载稳定性数据及基础设施实现。其二，GRS 与 GAR 的贡献未被单独消融，二者分别作用于“高通过率子集”与“其余任务”，但其相对增益与 rubric 质量未被量化；grader 本身是 SFT 模型，存在系统性偏置与额外推理成本。其三，reward-hacking 防御主要针对代码任务中的“解泄漏”模式，对其他领域（通用工作流、视觉、网络）的 hack 模式覆盖有限；对抗性 hack agent 的“找不到 exploit”不等同于证明环境安全。其四，网络安全判据的“类型 + 崩溃位置”匹配依赖符号级信息，可能因内联、去符号化或崩溃栈变化而误判；仅覆盖漏洞复现这一单一技能。其五，长度惩罚的完整公式在摘录中被截断，无法评估其与 GAR、熵控制的交互。其六，开源只提及轻量蒸馏模型，未说明 Pro/Flash 权重是否释放；万亿 MoE + 1M 上下文的训练成本使多数机构难以独立复现。其七，自报的 benchmark 提升缺少置信区间、多次种子或显著性检验，成本数字也属自报。

跟进方向：第一，补读原文第 5.1/5.3/5.4 与第 6/7 节，核对完整基准表、与前沿模型的具体对比、专家负载稳定性，以及 Predictive Rollout Dispatch、Sample Mixer、R3、top-p 候选重放、EP 并行策略的实现。第二，设计 GRS vs GAR vs 二元测试奖励的三臂消融，报告通过率、token 效率、补丁可维护性（维护者审计）与 grader 成本；用人工/参考标注量化 rubric 与五维排序的准确率。第三，把 reward-hacking 审计扩展到通用/视觉/网络任务，评估 hack agent 覆盖率，并在不同训练阶段测量新 shortcut 出现率。第四，验证跨 harness 泛化：在训练未见 harness（如生产 harness）上测通过率迁移，并单独隔离“系统 prompt/工具/上下文管理”各模块的影响。第五，系统比较 Muown 与 AdamW 在大 batch RL 下的熵、通过率与 MoE 负载；冻结 router 对 expert 负载稳定性的消融。第六，研究 GAR 的 λ 截断、f_i 选择与 group-relative 长度惩罚的相互作用，避免过度熵增长与长度坍缩。第七，用开源 9B 套件独立复现各任务的 RL 收益，验证其作为社区基线的公平性与鲁棒性。第八，探索把确定性网络安全判据扩展到 exploit 开发、权限提升与 CTF 等更广泛技能。

本文的定位是：把稠密对应匹配从受"平滑运动、刚体几何"等时空先验支配的经典范式，扩展到图像编辑与参考引导生成（IEG）中的"身份保持对应"。作者主张 IEG 变换可在保留视觉身份的同时破坏物理连续性，因此传统光流/稠密匹配假设不再充分。FreeMatching 以单一模型统一两条路线：一是用生成式（FLUX）与语义（DINOv3）基础模型表示，二是用异构监督（经典数据集、跟踪视频、合成场景）加教师引导迭代精炼，在无稠密对应标注的 IEG 对上继续学习。该框架既在经典基准上保持竞争力，又在 IEG 上显著提升对应质量，并能反向充当量化身份保持的感知指标。

稠密对应研究长期分裂为时间运动的光流与几何视角的稠密匹配两条范式。RAFT 确立"代价体上的迭代精炼"标准，GMFlow 把光流重构为全局匹配，RoMa 借助 DINOv2 等基础特征做强宽基线匹配；UniMatch、UFM 等统一框架证明单一模型可匹敌专门方法，但仍隐含平滑运动与刚体几何假设。语义对应方向则通过几何感知匹配、视点引导球面映射、GECO、扩散特征蒸馏、Jamais Vu 等研究跨变换表示，DUSt3R、VGGT 等几何基础模型也提供特征来源；学习范式上，FlyingThings 合成监督、无监督数据蒸馏、多数据源统一预训练逐步提升泛化。缺口在于 IEG：同一实例可经历姿态、外观、场景构成的剧烈变化而保持身份，物理连续性被打破，现有方法出现遗漏与失真。本文以人类认知（跨外观与配置识别同一实例）为类比，把目标设定为学习身份保持的稠密对应，并用生成式与语义基础表示、异构监督、教师引导精炼弥合经典与 IEG 之间的鸿沟。

一、问题形式化。给定源图 I_a 与目标图 I_b∈R^{H×W×3}，预测稠密后向对应图 C∈R^{H×W×2} 与共可见掩码 M∈[0,1]^{H×W}：C(x,y)=(u,v) 表示目标图像素 (x,y) 对应源图绝对坐标 (u,v)；M 指示该像素是否存在可识别的源对应。无源对应的区域（新合成内容、遮挡解除后显现内容）目标 M=0，共享区域即使外观/配置变化仍可匹配。这一定义把经典几何/运动对应作为特例纳入，并推广到 IEG。 二、基础模型架构。用 FLUX.2-klein-base-4B（未蒸馏 rectified-flow 模型）初始化生成式 DiT，保留其 latent-token 输入投影，新增语义特征注入与任务专用输出解码器。冻结 FLUX VAE 将图像确定性编码为 z∈R^{h×w×32}（h=H/8, w=W/8），每个 2×2 latent 邻域打包为 128 维 token 并按 VAE 存储统计量归一化；在 288×512 输入下每图得 36×64 latent 网格、18×32=576 个打包 token。冻结 DINOv3 ViT-L/16 在 H/16×W/16 网格提取 1024 维 patch 特征，丢弃 CLS 与 register token，经零初始化线性层投影到 transformer 隐维，再加到对应 latent token 嵌入上。源、目标 token 沿序列维拼接（共 1152 个图像 token）；FLUX 位置编码同时保留空间坐标与图像身份，使联合注意力建模跨图关系；文本条件路径用缓存空 prompt 嵌入，预测只依赖图像对。单次前向输出 token 后，选取对应查询图的 token 序列，逆 latent 归一化并 unpack 成 32 通道 latent 网格，再由带渐进上采样的卷积解码器生成全分辨率三通道输出（两通道坐标、一通道共可见），转换为像素坐标得 C 与 M。直觉是：生成式 DiT 提供强先验以"桥接大变化"，DINOv3 提供语义不变特征以识别同一实例。 三、监督预训练与数据。混合比例为 ScanNet++ 15%、BlendedMVS 10%、FlyingThings 10%、DynamicReplica 10%、Video 20%、Blender 20%、Spring 5%、PointOdyssey 5%、FlyingChairs 5%。新数据集：(1) 真实动态场景——用 AllTracker 对 ViPE 数据集 520k clips 生成稠密伪真值，随机采样不同时间间隔的帧对以捕获非刚体运动与自然遮挡；AllTracker 以滑动窗口 L=16、N_iters=4 输出 2D 轨迹与可见性置信，用可见性掩码保证只在有效像素计算损失。(2) 合成 Objaverse 场景——Blender 渲染 360k 图像对，每场景 2–3 个物体受随机刚体变换，从不同视点渲染得到像素级精确对应与共可见掩码；资产过滤含 bbox 对角线归一化 d=2.0、长宽比阈值 3.0、凸包与 2D bbox 面积比≥0.2；两帧运动建模为帧 1 随机抖动（最大倾斜 30°、缩放 0.8–1.2）、帧 2 独立刚体变换（旋转增量 30°–50°、缩放 0.8×–1.2×）；自适应相机跟踪物体质心；Cycles 128 spp、640×360、OpenEXR 32-bit 光流与 alpha 遮挡掩码。 损失设计针对真实数据标注噪声：对应回归用 Huber 损失，掩码用 ℓ2。式(1) 为 L_pre=(1/N)Σ_{x,y}(M*(x,y)·L_Huber(C(x,y),C*(x,y))+λ‖M(x,y)-M*(x,y)‖²₂)。实现为 L_sup=λ_huber L_huber+λ_mask L_mask，λ_huber=10、λ_mask=0.2；坐标编码 C̃=(2u/(W-1)-1, 2v/(H-1)-1)。Huber 阈值自适应：用掩码 L1 误差的 EMA e（e_0=0.05，e_t=0.998e_{t-1}+0.002 MAE_t），δ_t=2e_t，Stage 2 对有监督与弱监督更新分别维护误差均值。掩码目标编码 M̃*=2M*-1，对原始预测计算 (1/HW)Σ A(x,y)‖M̃_pred-M̃*‖²₂，评测阈值在转回 [0,1] 后应用。 四、教师引导迭代精炼（核心）。针对 IEG 无稠密标注，设三个角色：可训练 student、冻结精炼教师（实例化为 RoMa）、student 的 EMA 副本。流程：EMA 副本预测初始对应 C0 与共可见 M̄，把源图 warp 为 Î_inter=I_a(C0)；固定教师估计从目标 I_b 到中间图的局部修正图 S；合成伪目标 C_new=C0∘S。student 在有效区域学习匹配该伪目标，共可见预测向 EMA 输出正则化。随着 student 变好，EMA 提供更优初始对齐供固定教师修正，从而把"学习桥接大变化"与"修正残余局部错位"解耦。EMA 更新 θ̄←βθ̄+(1-β)θ，β=0.95。有效性掩码 V=RoMa 置信掩码（阈值 0.2）∩EMA 共可见掩码（阈值 0.7）。损失 L_weak=10 L_self+0.2 L_mask-EMA：L_self 是学生预测与 stop-gradient 伪目标 C̃_new 的 Huber 损失（坐标归一化到 [-1,1]，两分量取平均）；L_mask-EMA 是学生掩码对 stop-gradient EMA 掩码的 ℓ2。梯度不回传伪目标生成；无有效伪对应的 batch 不贡献精炼损失。IEG 数据基于 UNO 单参考子集训练，并用多对象组合（拼接两对 reference–generated 图像）防中心偏置；共享对象类别由 Qwen3-VL-8B 开放式 VQA 提取（1–2 类），SAM 3 以类别文本提示分割并取像素并集掩码。 五、一致性评测协议。把源图按预测 C warp 为 Î_b=I_a(C)，在共可见区 M 内与目标 I_b 比较，Score_m=D_m(Î_b,I_b;M_m)。分别报告 MSE（像素精度）、LPIPS（感知）、特征相似度（语义），不合并成单分；Ref-MSE/Ref-DINOv2 用跨方法共享的冻结参考掩码，Full-MSE 与整图 OpenCLIP 用全图（M_m≡1）。该协议双向使用：在已知一致的图像对上，重建误差代理对应精度；反向在匹配足够鲁棒时评估数据本身的身份保持一致性，并生成局部感知发散的空间热图。 六、训练与实现细节。选定 checkpoint 从监督 step 275k 初始化，再做 10k Stage-2 更新后取 EMA 模型；Stage 2 同时混合有监督更新与 UNO+OmniGen2 弱监督更新。AdamW（β1=0.9、β2=0.999、weight decay 1e-2）、lr 3e-5、3000 warmup 后恒定、固定 timestep t=500、BF16 混合精度、全局 batch 32、梯度 checkpointing。精炼阶段更新 transformer 与语义投影，冻结输出解码器、基础特征提取器与 RoMa 教师。

在经典稠密匹配与光流基准上，FreeMatching 与现有 SOTA 保持竞争：在若干稠密匹配基准优于同样经 IEG 适配的 UFM 与 RoMa，在光流上部分基准被 UniMatch 或 UFM 领先，整体未出现灾难性遗忘。IEG-Bench 上 FreeMatching 取得最强重建分数，经 IEG 适配后四个互补指标全部占优，配对差异的置信区间与图像级胜率支持其优势。逐阶段消融表明生成式初始化、语义特征注入、异构数据监督与教师引导精炼逐级累加收益；精炼域控制表明 IEG 精炼在多数经典基准上仍优于或接近流域控制，未牺牲经典能力。人类盲评与客观 DINOv3 分数强相关，支持其作为身份保持感知指标的可靠性。训练与推理成本显著高于轻量基线，是实际部署的权衡点。

1. 经典稠密匹配：经 IEG 精炼后，FreeMatching 在 ETH3D 的 EPE 为 10.23、ScanNet-1500 为 8.56，低于同样适配的 UFM（12.98/12.03）与 RoMa（11.26/12.03）；姿态估计 AUC 与 RoMa 接近（ETH3D @5/10/20° 为 54.22/68.76/78.23）。

   RoMa [ 5 ] 11.26 50.69 37.18 24.53 12.03 91.91 76.48 43.31 53.48 68.32 78.61 31.80 53.40 70.90 UFM [ 7 ] 12.98 54.01 35.90 20.63 12.03 91.35 74.57 37.52 38.77 53.59 66.05 31.60 54.10 - FreeMatching (Ours) 10.23 50.53 35.67 20.71 8.56 91.21 74.18 38.66 54.22 68.76 78.23 31.51 53.62 70.03

2. 光流：UniMatch 取得表中最低 EPE；10k-IEG 的 FreeMatching 在 Sintel Final EPE=1.36 优于适配 UFM（1.48），但在 Sintel Clean（1.05 vs 0.92）与 KITTI（4.95 vs 4.75）上 UFM 更强。

   UniMatch [ 6 ] | 0.40 | 5.4 | 2.4 | 0.8 | 0.75 | 8.9 | 4.9 | 2.2 | 1.52 | 24.1 | 12.5 | 5.1 RoMa [ 5 ] | 1.24 | 25.2 | 8.1 | 4.5 | 2.49 | 35.6 | 16.6 | 8.7 | 5.91 | 41.4 | 27.5 | 18.4 UFM [ 7 ] | 0.92 | 14.2 | 6.4 | 2.1 | 1.48 | 16.9 | 9.0 | 3.8 | 4.75 | 39.6 | 24.5 | 15.5 FreeMatching (Ours) | 1.05 | 7.1 | 3.6 | 1.3 | 1.36 | 12.2 | 6.5 | 3.1 | 4.95 | 32.5 | 17.6 | 9.2

3. IEG-Bench：FreeMatching 取得最强重建分数（Ref-MSE 6.22、LPIPS 45.41、SigLIP 2 90.77、DINOv3 80.01），优于 RoMa 与 UFM。

   RoMa [ 5 ] | 8.08 | 48.91 | 87.73 | 70.15 UFM [ 7 ] | 10.41 | 53.05 | 86.97 | 66.77 FreeMatching (Ours) | 6.22 | 45.41 | 90.77 | 80.01

4. 10k IEG 适配后四个指标全优：FreeMatching 的 Ref-MSE 6.22、Full-MSE 10.99、Ref-DINOv2 54.31、OpenCLIP 70.56，均好于 UFM 与 RoMa。

   FreeMatching (10k-IEG) | 6.22 | 10.99 | 54.31 | 70.56 UFM (10k-IEG) [ 7 ] | 8.55 | 13.48 | 39.65 | 56.48 RoMa (10k-IEG) [ 5 ] | 9.70 | 16.57 | 47.14 | 61.18

5. 配对 Full-MSE 优势：对 UFM 为 2.48（95% CI [1.54, 3.43]），对 RoMa 为 5.57（[4.06, 7.13]），置信区间不含零。

   Its paired Full-MSE advantages over UFM and RoMa are 2.48 (95% CI: [1.54, 3.43]) and 5.57 ([4.06, 7.13]), respectively.

6. 图像级胜率：在 Full-MSE、Ref-DINOv2、OpenCLIP 上，对 UFM 为 68%、95%、91%，对 RoMa 为 73%、78%、87%。

   Its image-level win rates on Full-MSE, Ref-DINOv2, and OpenCLIP are 68%, 95%, and 91% against UFM, and 73%, 78%, and 87% against RoMa.

7. 阶段消融：DINOv3 重建相似度从随机初始化基线的 67.31 逐步升至完整系统的 80.01，FLUX 初始化、DINOv3 特征、视频/Blender 监督与教师精炼均带来增益。

   1 | | | | | 67.31 2 | ✓ | | | | 69.28 3 | ✓ | ✓ | | | 72.76 4 | ✓ | ✓ | ✓ | | 76.52 5 | ✓ | ✓ | ✓ | ✓ | 80.01

8. 精炼域控制：10k-Flow 在 Sintel Clean 最优（0.98），10k-IEG 在 Ref-MSE（6.22）及其余四个经典基准 EPE 上最优；相比 Stage 1，10k-IEG 在所有五个经典基准上 EPE 下降。

   FreeMatching-S1 | 8.08 | 1.11 | 1.73 | 6.26 | 8.85 | 11.68 FreeMatching (10k-Flow) | 7.26 | 0.98 | 1.59 | 6.46 | 8.91 | 11.64 FreeMatching (10k-IEG) | 6.22 | 1.05 | 1.36 | 4.95 | 8.56 | 10.23

9. 人类盲评 MOS：FreeMatching 为 2.25，高于 RoMa 1.39、UFM 1.13、SEA-RAFT 0.49。

   SEA-RAFT [ 32 ] | 0.49 | 72.45 | 58.14 RoMa [ 5 ] | 1.39 | 48.91 | 70.15 UFM [ 7 ] | 1.13 | 53.05 | 66.77 FreeMatching (Ours) | 2.25 | 45.41 | 80.01

10. 客观 DINOv3 分数与人类评分呈强正相关，Pearson r=0.738。

    We observe a strong positive Pearson correlation coefficient ( r = 0.738 r=0.738 ).

11. 原训练配置成本：Stage 1 约 2 天（768 A100 GPU-hours），Stage 2 约 5 小时（80 A100 GPU-hours）。

    Stage 1 takes approximately 2 days (768 A100 GPU-hours), and Stage 2 takes approximately 5 hours (80 A100 GPU-hours).

12. 推理开销：FreeMatching 单对延迟 121.9 ms、峰值显存 15.18 GiB；UFM 为 51.3 ms/2.35 GiB，RoMa 为 102.5 ms/2.58 GiB。

    FreeMatching | 121.9 | 15.18 UFM [ 7 ] | 51.3 | 2.35 RoMa [ 5 ] | 102.5 | 2.58

Novelty：新颖性为中等偏上。核心新意在于：把未蒸馏 rectified-flow 生成式 DiT（FLUX）与 DINOv3 语义 patch 特征注入结合，直接回归稠密对应与共可见掩码，并将任务定义从几何/运动对应推广到身份保持对应；无稠密标注的教师引导迭代精炼（EMA 学生生成初始 warp、冻结 RoMa 教师估计局部修正并合成伪目标）为 IEG 数据学习提供了可操作路径；新建的跟踪视频与 Blender 合成数据、以及重建一致性双向评测和空间热图身份评估也有贡献。但多数构件是已有技术的组合（Huber 损失、EMA 自蒸馏、RoMa 教师、DINO/FLUX 特征、SAM/Qwen 数据管线），概率扩散对应仅停留在公式层面未做实验，缺少理论层面的新机制。因此属于工程与训练策略驱动的新颖，而非范式性突破。 Soundness：稳健性整体较好但需审慎。优点包括多基准与多指标对照、逐阶段消融、配对统计（bootstrap 置信区间）、图像级胜率、人类盲评与相关性分析、以及精炼域控制实验，证据链条较完整；用 DINOv2/OpenCLIP 等独立特征指标，部分缓解了 DINOv3 既做模型输入又做评测指标的偏袒风险。主要顾虑：IEG 无稠密真值，伪目标由 RoMa 教师产生且 RoMa 同时是被比较基线，可能使精炼后的模型继承教师偏好，优势难以完全归因于新机制；IEG-Bench 规模有限且源于单一 UNO 数据分布，外部效度有限；重建式评测无法彻底分离"对应错误"与"图像内容不一致"，其身份保持评估隐含"匹配已足够鲁棒"的前提，存在一定循环性；经典基准上的领先与持平依赖特定精炼设置，未见多次随机种子下的方差报告。 Significance：对 IEG 方向有较明显价值。它为图像编辑/参考引导生成提供了空间分辨的身份保持量化指标，弥补全局 DINO/CLIP 聚合空间信息、掩盖局部纹理与结构偏差的盲区，且与人类判断强相关，可作为生成模型评测与反馈信号；其"生成模型提供数据、对应模型反过来评估生成"的互惠愿景具有方向性意义。对经典稠密对应领域的影响相对温和：并未在光流/稠密匹配上全面领先专门方法，主要贡献是展示单一模型的可扩展性与无灾难性遗忘的泛化。若 IEG-Bench 开源并扩大，有望成为该子领域的常用评测协议。

原文承认的局限：极端遮挡、拓扑变化、剧烈非刚体变形会挑战模型；性能上限受底层预训练基础模型能力约束；IEG-Bench 需要扩充更多类别。审稿视角的补充局限：其一，无稠密标注的 IEG 监督依赖 RoMa 教师，伪标签质量上限即教师上限，对教师不可解区域可能产生系统性偏差，且 RoMa 又作为被比较基线，存在自指风险；其二，重建式评测混淆"对应错误"与"图像内容不一致"，身份保持评估假设匹配模型已足够鲁棒，逻辑上有循环成分；其三，主模型是单次回归，无法表达对象复制/合成带来的一对多歧义，附录中的扩散扩展仅有公式而无实验验证；其四，IEG-Bench 规模有限、来自 UNO 多参考子集，对 OmniGen2 等其他生成器的泛化未被严格检验；其五，推理延迟与显存显著高于 UFM/RoMa，实际部署成本高；其六，ViPE 轨迹与视频因版权不发布，可复现性受限；其七，DINOv3 同时用于模型输入与若干评测指标，虽以独立特征指标部分缓解，但仍需更彻底的第三方指标消融。

跟进方向：第一，把附录 F 的扩散/概率对应形式付诸实验，评估多假设匹配的有效性、多样性与校准；第二，扩大并公开 IEG-Bench，增加类别、生成器、遮挡与拓扑变化等难度维度，建立标准评测；第三，消融精炼教师（替换为其他模型、自监督或循环精炼），研究教师偏差、置信阈值与 EMA 动量对伪标签质量的影响；第四，做效率优化（蒸馏、token 压缩、级联推理）以缩小延迟与显存差距；第五，设计可分离的评测协议，区分匹配误差与内容不一致，并检验空间热图在局部身份缺陷检测上的可靠性；第六，将 FreeMatching 作为反馈信号用于生成模型训练或引导，形成"生成-对应-评估"闭环；第七，扩展到视频 IEG、3D/4D 对应与拓扑变化等更极端设置；第八，补充跨数据集零样本与分布外鲁棒性研究，以及多随机种子方差，增强结论稳健性。

本文把「批评器反馈」从一次性输出重新定义为一种事后才见价值的干预行为，核心命题是：批评不应只生成建议，而应像管理一组持久笔记一样，完成「发现问题→有条件投递→追踪执行→凭证据关闭」的完整生命周期。Opera 因此介于两类既有方法之间：它像过程批评器一样在轨迹中途介入，又像结果验证器一样给每条笔记绑定固定的解决判据。它在测试期充当引导自我反思的「老师」，在训练期则把学生自己的动作与针对其错误的诊断拼成近似 on-policy 数据，服务于开权重编码智能体的微调。定位落在测试时扩展与训练数据生成两条线的交汇处。

编码智能体在仓库级任务中经历探索、编辑、测试，长程执行中常重复失败动作、冗余探索，或在未经验证时提前报告完成。前人工作为反馈与反思提供了基础：Self-Refine、Reflexion、CRITIC 分别给出迭代自反馈、跨尝试口头反思与工具接地批评；面向编码的有 SWE-PRM（周期性给出分类引导反馈）、SWE-Search（动作打分与自然语言评估）、Agentic Rubrics（仓库专属的评分清单）。但 RuVerBench 发现 LLM 评分验证存在明显噪声，说明批评反馈本身需要质量控制。测试时扩展方面，Tree of Thoughts、LATS、SWE-Search、S* 等通过搜索、采样、执行选择分配额外计算；Opera 则把额外推理算力用于诊断并修正一条进行中的轨迹。 本文提炼出三个挑战：①何时干预——周期反馈可能太迟，而并非每个执行事件都需要纠正；②反馈是否成立——看似合理的诊断可能误读部分证据，把本来会成功的轨迹带偏，且 LLM 法官本身有噪声；③干预是否起效——智能体可能照做建议却未消除底层故障。Opera 的设计围绕这三点展开：混合评审调度解决「何时」，带算子合同的评审与审计解决「是否成立」，持久笔记与闭合判据解决「是否起效」。

Opera 的核心抽象是「持久笔记」：一条笔记绑定一个被诊断的问题、其当前指导，以及一个固定不变的解决判据。持久性让批评器在后续评审中能对自己的口头反馈做跟进；固定判据保证后续判断针对原问题而非最新指导。 【混合评审调度】周期评审每 k 轮触发一次，叠加五类即时事件：Idle（无可视进展）、Repeat（重复动作）、Error（失败动作或工具调用）、Claim（报告完成）、Submission（提交最终补丁）。多个同时信号合并为一次评审；事件触发会重置周期计时器。关键点是「评审不等于干预」：评审只决定何时观察，批评器可以返回 continue 而不发任何反馈。这比 SWE-PRM 的固定周期更灵敏，又比纯事件触发更能捕捉静默失败（例如自信地编辑了错误文件）。 【带类型的算子评审】为避免「考虑边界情况」这类空泛或混杂的建议，每次诊断必须使用一个带类型的算子。九个算子覆盖代码修复的五个阶段： - Search：repo_localization_search（目标尚未定位）、implementation_target_shift（在编辑错误的目标）； - View：implementation_readiness_review（修复已明确却仍重复检查代码）、failure_signature_triage（误读工具输出）； - Edit：requirement_contract_review（违反需求）、diff_scope_review（缺失或不相关改动）、state_transition_review（执行逻辑错误）； - Test：minimal_repro_or_focused_verifier（缺少下一步决策所需的证据）； - Submit：submission_readiness_review（证据不足即声称完成）。 所有算子全程可用，因为智能体常回退到早期阶段。每个算子遵循 Design by Contract 的契约规范，写明：何时适用、需要什么证据、可请求什么修正、何时算解决、排除哪些问题。排除条款防止算子重叠，解决条款提供后续闭合检查所依据的判据。 评审输出时，批评器读入任务、执行历史、触发原因和当前笔记，二选一：若智能体在有用地推进则返回 continue（避免把本来会成功的轨迹打断），否则选出一个有证据支持的问题并给出最小修正。每次评审只处理一个问题，避免竞争性指令，也让后续结果可归因于某条具体修正。提案命名算子、引用证据，并指定位置、当前行为、需要的改变与验证方式；同时独立报告开放笔记是否仍未解决，使跟进不需要每次都产生新指导。 【审计式笔记管理】每条笔记要么 open 要么 closed，且至多同时存在一条开放笔记，以保持聚焦和可归因。因为批评器自身也是 LLM、诊断可能看似合理实则错误，两个审计把关笔记生命周期：准入审计与释放审计，二者只接受或拒绝、不重写提案，扮演验证器而非共同作者。开新笔记或更新笔记时，先做有效性与重复检查，再由审计验证「证据支持诊断、修正是必要的、所提检查能确立解决」；会拒绝与任务无关的可选清理、以及没有新证据的重复提醒。更新可以更换算子与指导，但保留笔记身份和判据，目标不变而建议改进。 投递后追踪两个不同问题：adherence（规则检查：智能体是否尝试了该修正）与 resolution（按固定判据判断原问题是否消失）。两者被刻意分开，因为「照做」不等于「解决」——文中例子是智能体加了建议的守卫，但要求的测试仍失败。关闭笔记需要释放审计给出支持证据：行为类要求看执行结果，静态类要求看可见编辑。接受的关闭会归档笔记并把指导从智能体上下文中移除；关闭先于准入处理，因此一次评审可以关闭一条并打开下一条。 【实现细节】Opera 部署为智能体与其模型端点之间的代理。智能体无感知、harness 无需改动；批评器唯一的影响渠道是在转发请求中插入至多一条消息。批评器不执行命令、不访问文件、不运行测试；一旦超时或解析失败，请求原样转发，批评器绝不阻塞智能体。评审触发条件：智能体试图完成；出现三次重复或三次连续失败命令；六个工作动作内没有成功编辑；否则每 5 轮检查一次（DeepSWE 为 10 轮），从第 3 轮开始且至少间隔 2 轮。轨迹作为不可信数据呈现并被裁剪：30 条最新消息逐字保留，长消息只保留首尾，更早消息省略。批评器还看到当前开放笔记、其解决判据与历史笔记。笔记在投递前经过多重过滤：开放笔记期间只能更新或继续；引用隐藏测试/评测材料的笔记被丢弃；6 轮内重复同一建议被丢弃；智能体仍在探索陌生代码（最近观察超过一半是新内容）时暂扣 readiness 笔记。存活候选进入准入审计，单独调用批评模型，只输出接受或转为 continue，无置信度阈值。被接受的笔记以单条消息投递，包含算子、指导与解决判据，并要求把修正并入计划而非重置工作；消息插入在下一轮之前，并在后续请求中停留在该位置。若在智能体尝试完成时投递，则取代这次完成尝试。 【训练配方】Opera 把同样的过程用于生成近似 on-policy 数据。对比两条轨迹来源：Opera 指导的学生 rollout（Qwen3.5-9B 为策略、Qwen3.8-27B 为批评器）与教师 rollout（Qwen3.8-27B 为策略）。两者由同一模型提供专长——一个靠批评、一个靠行动。在 270 个训练任务中选出 67 个共享任务（基础学生无批评器最多成功一次、至少一次批评指导成功、教师无批评器成功），保证两条来源监督同一批任务。数据化时每个智能体 turn 成一个样本：上下文含系统提示、任务、此前动作与观察，目标是该 turn 的推理、可见文本与工具调用；多工具调用拆成单调用样本；移除立即重试的无效/被拒绝调用；超 128k token 的样本直接丢弃而非截断。因为训练后模型运行时无批评器，所有 critic notes 从上下文移除；在有笔记投递的 4.9% 的 turn 上，诊断被改写成模型自己的推理并前置到该 turn 的 thought，让模型学会自己做诊断而非等待提示。提及批评器的句子从目标与历史中删除。

实验在三套基准、四种策略模型上验证：Terminal-Bench 2.1、SWE-Bench Pro、DeepSWE v1.1，策略模型从小型到大型不等。整体来看，Opera 在所有三个基准上取得最高的平均解决率，相对无批评器与四种批评基线均有提升；不过 SWE-Bench Pro 上基线已很强，所有批评器收益接近且 Opera 的优势落在运行方差范围内。跨策略模型的结果显示几乎所有组合都受益，且弱模型在部分基准上收益更大、强模型在更难的基准上收益更大；一个极端反例是某弱模型在 DeepSWE 上无论有无批评器都无法解决任何任务，说明批评器不能替代缺失的能力。训练方面，在训练集仓库上，Opera 指导数据与更强教师 rollout 数据在留出仓库上的提升幅度相当，但只有 Opera 指导数据能保住跨格式、跨 harness 的另一基准性能。消融表明：去掉两个审计后收益大幅缩水；完整算子集优于只保留编辑算子或只保留非编辑算子，其中非编辑算子虽然数量少却贡献了过半的增益份额。对批评模型的选择较稳健，策略模型自批评在多数设置下也有效，但算力未被匹配；低能力策略上更强批评器带来显著更大收益。行为分析显示编辑类诊断最常被投递，强模型获得更多「挽救」也带来更多「回归」。

1. Opera 在四个策略模型、三个基准上最多提升任务解决率，并优于竞争性批评基线。

   Opera improves task resolve rate by up to 12.4, 15.0, and 8.9 pp on Terminal-Bench 2.1, SWE-Bench Pro, and DeepSWE v1.1 across four policy models, and outperforms competitive critic baselines.

2. 在与四种批评基线的对比中，Opera 在三个基准上都达到最高平均解决率，但在 SWE-Bench Pro 上优势很小。

   Table 1 shows that Opera achieves the highest mean resolve rate on all three benchmarks. Its margin over the strongest baseline is 1.9 pp on Terminal-Bench 2.1 and 1.8 pp on DeepSWE, but only 0.6 pp on SWE-Bench Pro, where the non-critic agent is already strong and all critics yield similar, modest gains

3. 弱智能体总体收益更大，Qwen3.5-9B 在 Terminal-Bench 2.1 和 SWE-Bench Pro 上分别获得两位数的提升。

   Weaker agents generally benefit more: Qwen3.5-9B gains 12.4 and 15.0 pp on Terminal-Bench 2.1 and SWE-Bench Pro, and gains tend to shrink as the non-critic resolve rate rises.

4. Qwen3.5-9B 在 DeepSWE 上无论是否使用批评器都无法解决任何任务，说明批评器无法替代缺失的能力。

   DeepSWE consists of original, long-horizon engineering tasks, and Qwen3.5-9B resolves no DeepSWE task in the evaluated runs, with or without the tested critics.

5. 用 Opera 指导的学生 rollout 微调 Qwen3.5-9B，在留出的 SWE-Bench Pro 仓库上可与更强模型蒸馏持平，同时保住 Terminal-Bench 2.1 性能。

   Fine-tuning Qwen3.5-9B on them matches distillation from a stronger model on held-out SWE-Bench Pro repositories (+10.2 pp) while preserving its Terminal-Bench 2.1 performance.

6. 教师 rollout 微调在 Terminal-Bench 2.1 上造成明显性能退化，而 Opera 指导数据能保持原有水平。

   On Terminal-Bench 2.1, however, fine-tuning on teacher rollouts reduces the resolve rate from 23.6% to 7.9%, whereas Opera -guided rollouts preserve it (25.8%).

7. 移除准入与释放审计后，Opera 在所有基准上的增益都下降，其中 Terminal-Bench 2.1 损失约三分之二的改进。

   Removing the audits reduces the gain on all three benchmarks. The drop is largest on Terminal-Bench 2.1, where the gain over the non-critic agent falls from 7.9 to 2.6 pp, losing about two thirds of the improvement, and on DeepSWE, where it falls from 8.9 to 4.5 pp, about half.

8. 非编辑算子虽只占投递笔记约五分之一，却贡献了大部分增益。

   Notably, Non-edit operators account for only about one fifth of delivered notes but recover over half of the full gain on Terminal-Bench 2.1, three quarters on SWE-Bench Pro, and about four fifths on DeepSWE.

9. 策略模型自批评在 DeepSWE 上能为两个较强模型带来与 Claude 相当或更高的提升。

   On DeepSWE, self-critique improves Qwen3.8-27B and DeepSeek-V4-Flash by 6.2 pp each, matching or exceeding the gains from Claude.

10. 低能力策略上更强批评器收益显著更大，GPT 批评器帮助 Qwen3.5-9B 提升远超自批评。

    With GPT as the critic, Qwen3.5-9B improves at least 12.4 pp, whereas self-critique yields at most 2.7 pp. Similarly, Muse Glimmer-30B gains 11.0 pp on SWE-Bench Pro and nearly triples its resolve rate on DeepSWE.

11. 编辑阶段算子占投递笔记的大多数，例如对 Qwen3.8-27B 约占八成。

    we note that Edit-stage operators account for most delivered notes, e.g., about 80% for Qwen3.8-27B ( Figure 5 ).

12. 强模型能把反馈转化为更多挽救，但同时也在原本会解决的任务上更多回归。

    Stronger models convert feedback into more rescues of previously unsolved tasks, but also regress more often on tasks they would otherwise solve, while weaker models rarely regress but are rescued less often.

Novelty：新颖性偏中高。最核心的新意是把批评从「生成反馈」提升为「管理持久修正笔记」：一张笔记绑定诊断、指导与固定解决判据，并经历准入、投递、跟踪、释放审计的完整生命周期。混合调度、算子契约、准入/释放双重审计、以及 adherence 与 resolution 的分离，组合成一个完整的干预管理框架，这是对 SWE-PRM 等现有批评器的主要推进。训练配方也有新颖点：把批评器投递的诊断改写为学生自己的推理并前置到 thought，使 SFT 数据近似 on-policy，同时避免学生「等待提示」，比单纯的蒸馏更符合 DAgger/on-policy distillation 的思想。但若拆开看，持久记忆（Reflexion）、按契约建模（Design by Contract）、验证器式审计、分类诊断（SWE-PRM 的分类法）等要素均来自前人，Opera 更多是整合与工程化，而非提出全新机制。 Soundness：总体扎实但需谨慎解读。实验覆盖三个基准、四种策略模型、多种批评模型，并有审计消融、算子消融、跨模型敏感性与行为分析，证据较完整；实现细节（代理式接入、上下文裁剪、过滤规则）交代清楚，可信度高。主要问题：SWE-Bench Pro 上 Opera 相对最强基线的优势在声称上只有很小的幅度，且表中有方差，可能落在运行噪声内；对四种基线做了同调度适配，虽然公平，但不等于原方法的完整实现；「up to」的最大提升表述会高估典型收益；自批评与更强批评器的对比没有匹配额外推理算力，因果归因偏弱；训练结论基于单一模型规模、单一留出基准与一次种子，外部效度有限；审计本身仍是 LLM 判断，只是把「生成噪声」换成「接受/拒绝噪声」，文中未量化审计自身的错误率。 Significance：意义中等偏上，实践指向性强。编码智能体的长程失败与虚假完成是真实痛点，Opera 以无侵入的代理方式接入，不改权重、不阻塞智能体，易于在既有 harness 上落地；它对「何时反馈、反馈是否成立、是否起效」的显式拆解，为批评器设计提供了可复用的框架。更值得注意的是把测试期批评转化为 on-policy 训练数据的路径：用学生自己的动作加针对性诊断做 SFT，在目标仓库上接近强模型蒸馏，同时避免跨格式遗忘，这对训练开权重编码智能体有直接价值。不过其贡献主要是在特定基准与模型组合上的经验验证，尚未证明能泛化到更多任务族或与 RL 结合后的增益。

其一，批评器引入额外推理算力，文中自批评与外部强批评器的对比并未匹配算力预算，因此无法区分「框架起作用」与「多算了推理」。其二，SWE-Bench Pro 上的边际收益很薄，与运行方差接近，说明在智能体已很强的设置下批评器的增量价值有限。其三，审计仍是 LLM 判断，仅把噪声从生成端转移到接受/拒绝端，没有对审计准确率做独立评估；且「无置信度阈值」意味着过滤标准依赖提示与模型行为，复现稳定性存疑。其四，训练配方只验证了 SFT、单一 9B 模型、单一留出基准与一次种子，未做迭代训练或 RL 融合，结论的普适性未建立。其五，批评器被限制为单条开放笔记，可能对多错误并发的任务表达不足；文中也承认算子消融的增益不具可加性，说明设计要素间有冗余。其六，基线被适配到同一调度与代理架构，与原论文的完整实现不完全等同。其七，Qwen3.5-9B 在 DeepSWE 上完全无效，说明当策略能力不足时框架收益归零，适用范围受限于「能做但会犯错」的智能体。

最直接的后续是训练配方的规模化：在更大数据集、更多模型规模上验证 Opera 指导 SFT，并把训练后的模型作为新策略迭代，观察自我修正能力是否内化。第二，把批评反馈与强化学习结合，例如用笔记的「adherence/resolution」信号构造奖励或偏好对，训练真正的自我纠正策略，而不只是模仿改写后的推理。第三，对审计做量化评估：测量准入审计的误拒率/误收率、释放审计的误关率，并考虑训练专门的验证/审计模型或使用执行反馈作为硬信号。第四，做算力匹配的对照实验，让自批评获得与外部批评相同的推理预算，以分离框架收益与算力收益。第五，研究强模型「回归」问题：哪些干预最可能把已解决任务打断，能否在准入审计中显式建模「不干预的预期收益」，实现更有选择的投递。第六，把单笔记约束放宽为可排序的多笔记队列，并测试算子契约在其他领域（数据分析、多步工具调用、安全审计）的迁移性。

本文的定位是把“生成测试的评估”本身作为研究对象，而不是只追求单参考 fail-to-pass 分数。作者指出，LLM 测试生成基准长期以单一参考解作为验收标准，会系统性地高估测试质量：同一需求可以存在多个合法实现，而弱断言或缺失输入又可能放过错误实现。TestPrism 通过多来源任务与每个任务的多实现面板，把评估协议改为“初始态失败 + 接受全部有效候选 + 拒绝全部无效候选”，并以 Joint Success Function 作为主指标。TestHelix 则是在该协议下优化测试生成流程的方法。相对 TestEval、SWT Bench、SWE Mutation 等既有基准，本文的贡献在于提供显式区分实现变体的基准、动态面板指标，以及配套的生成与交叉验证流程。

LLM 编码智能体已经能够导航仓库、修改实现并通过执行反馈验证改动，这些能力也被用于自动测试生成与改进。可靠测试的经典要求是既能覆盖必要行为，又不会对合法实现施加不必要约束。现有基准如 TestEval 聚焦函数级任务，SWT Bench 聚焦仓库 issue，但常见成功判据仍是“初始失败 + 参考解通过”。这一单参考判据的局限在于：它只验证一个 gold solution，无法发现测试漏掉必需行为，也无法发现测试过度约束实现。SWT Bench 的 Change Coverage 与 TestExplora 的 Entry Coverage 能衡量执行到的代码，却不能保证断言对这些代码的判断正确。TestPrism 用有效/无效候选面板把这些问题显式化：一个测试可以同时通过参考、接受错误替代实现，或拒绝合法替代实现。其思想与变异测试、差分测试有关，但候选来自真实编码智能体生成的替代实现与错误补丁，而不是仅靠人工变异算子。

TestPrism 构造分四步。第一步任务筛选与适配：从 17 个公开基准（含 SWE bench 与 Terminal Bench 家族）筛选可执行、测试来源可追溯的任务，排除不可复现环境；适配器把任务映射到统一 Harbor 的 instruction、environment、tests、solution 组件，同时保留原始需求、初始态、验证器、参考解、依赖、服务与执行限制。第二步任务选择：用 Solution Size（solution.sh 有效行数）、Test Count（枚举的测试函数或元数据检查数）与 Test Density（测试数除以参考解修改文件数）做源内校准的下界筛选，并用源配额平衡构成；得到不相交的训练集与候选测试池，训练集用于 TestHelix 的 RSI。第三步补丁生成与验证：源验证器先经过执行校验（初始态失败、参考解通过）和两位专家独立审查，再让不同 agent/模型生成候选补丁；去空、去重、可应用性检查后在干净环境运行源验证器，全通过标为有效、任一失败标为无效，标签固定。第四步多样性过滤与任务转换：构造每个任务的面板，并把任务转成只给公开需求的测试生成契约，隐藏候选面板。 AST 多样性是面板构造的关键。对同一初始程序应用补丁前后分别用 Tree-sitter 解析修改后的生产代码，抽取深度为 3 的局部子树特征；特征保留节点类型、子节点顺序、操作符、字面量类型与值，标识符归一，忽略注释、格式与源码位置。补丁的特征集定义为新增与删除结构特征的并集 A(p)=({+}×(C_p\B_p))∪({−}×(B_p\C_p))，其中 C_p 为候选态特征、B_p 为初始态特征。两个补丁的 AST Jaccard 距离为 d_AST(p,q)=1−|A(p)∩A(q)|/|A(p)∪A(q)|；两集合都空时距离为 0，仅一个为空时距离为 1，解析失败则不可用。有效组需满足 D(V)=1/10∑_{p,q⊂V}d_AST(p,q)>0.5，即 10 个无序对的平均距离超过阈值。无效组首先比较失败的验证器检查集合：失败检查集不同直接通过多样性检查；失败检查集相同才需要 AST Jaccard 检查。不设跨组距离约束，因为验证器结果已经区分有效与无效。替换时，有效组选择使 D(V) 最大化且严格提升的替换；无效组按失败检查集与条件 AST 检查评估。共享生成预算用尽仍不满足标准则排除该任务。 评测协议把每个提交套件在初始态和每个面板实现上运行，记录通过/失败；缺失结果或执行错误记为 0。Reference Acceptance Rate = 1/N ∑ r_i(b_i) a_i(g_i)，即初始态失败且参考解通过的比例。Valid Acceptance Rate 是每任务有效替代实现（排除参考）中被接受比例的等权平均；Invalid Rejection Rate 是无效候选被拒绝比例的等权平均；二者不以参考接受为门槛，缺失记录剔除、执行错误留在分母，空分母记为未定义。H 是两者的调和均值。Change Coverage 衡量生成测试执行到的参考变更比例；Entry Coverage 衡量参考态中生产入口可执行代码的覆盖。Joint Success Function 定义为 1/N ∑ r_i(b_i) ∏_{p∈P_i∩V_i} a_i(p) ∏_{p∈P_i∩I_i} r_i(p)。当 P_i 只含参考实现时，它退化为 Reference Acceptance Rate；取全面板时，要求每个有效候选都通过、每个无效候选都失败。由于是乘积，任意一个候选判错即整任务失败，因此 JSF≤RAR，二者差值即“通过参考评估但未通过联合评估”的任务比例。这个设计使“单参考是上界”成为显式性质。 TestHelix 由三部分组成。异质合成：给隔离 agent 分配不同探索策略，每个 agent 从公开需求独立生成测试补丁 T_k 与修复补丁 P_k；内部一致性要求 T_k 可复现地在初始态失败、在 P_k 上通过，并用本地执行反馈迭代修正。同行交叉验证：将 T_i 在内部一致的同行修复 P_j 上执行，暴露过度限制的测试或不完整修复；语义审查由独立 reviewer 只依据公开需求检查断言，不接触生成修复，阻断性结论必须有公开证据；纠正反馈利用审查反例，若多个合格修复通过已批准套件则用差分挑战寻找区分输入，修订后重新执行与审查；兼容套件按共同通过见证合并，并在新环境验证。RSI：外层用 AutoSaddler 反射式演化测试生成策略，选择父策略、诊断执行轨迹、提出修订；父/子策略在同一批任务上以 Reference Acceptance Rate 评估，表现指导选择，反思提取可复用教训。RSI 优化 RAR 而非 JSF，因为 RAR 信号更密，能避免联合成功函数对增量改进不敏感；异质合成与同行交叉验证则负责跨实现判别。训练与数据细节上，RSI 在 600 个训练任务上以 Opus 4.6 进行策略搜索，冻结后供 GPT 5.6 sol 与 Kimi K3 评测。实验控制：同一模型组内各配置共享基础模型、工具与每任务总推理预算；K 是内部测试-修复对数，与隐藏面板大小无关；A 为单对，B 为三对随机提交，C 为三对完整同行交叉验证，D 为五对同行交叉验证，E 为三对同行交叉验证加冻结的 RSI 策略。

作者先在全部测试任务上对多组编码智能体配置做基准，报告参考接受率、有效接受率、无效拒绝率、调和均值、变更覆盖、入口覆盖与联合成功函数，并分析覆盖与成功的关系。随后固定已提交套件、逐步扩充候选面板，观察联合成功函数随候选多样性上升而下降。再从最高联合成功的配置中抽样失败轨迹，经双专家标注归纳为覆盖缺口、错误断言与执行逻辑错误三类。最后在两种基础模型上比较单对合成、多对合成随机提交、完整同行交叉验证、更多对同行交叉验证以及递归自改进配置。结果显示参考成功不能推广到其他实现，覆盖与联合成功正相关，错误断言是最大失败来源；同行交叉验证与递归自改进带来主要提升，而单纯增加对数或随机提交收益有限。

1. TestPrism 测试集由 300 个任务、3000 个候选实现组成，并按有效/无效均分。

   We introduce TestPrism , comprising 300 test tasks from 17 sources and 3000 candidate implementations, evenly split between valid and invalid solutions.

2. TestPrism 共收集 2000 个任务，划分为 1700 个训练任务与 300 个测试任务，二者不相交。

   TestPrism contains 2,000 tasks collected and adapted from 17 source benchmarks, with 1,700 tasks in the training set and 300 in the test set.

3. 测试集覆盖 6 种编程语言与 67 个仓库/项目，共 3000 个标注实现。

   The test set contains 3000 labeled implementations across six programming languages and 67 repositories and projects.

4. 在 14 个基线配置中，最高联合成功函数仅为 28.00%，而单参考成功为 59.67%。

   Across fourteen baseline coding agent configurations, Joint Success Function reaches only 28.00%, whereas single reference success reaches 59.67%.

5. Claude Fable 5.1 是最强基线，其参考接受率为 59.67%、有效接受率为 72.67%、无效拒绝率为 79.33%、联合成功函数为 28.00%。

   Claude Fable 5.1 | 59.67% | 72.67% | 79.33% | 75.85% | 82.33% | 54.33% | 28.00%

6. 变更覆盖与入口覆盖和联合成功函数正相关，Pearson 相关系数分别为 0.91 和 0.96。

   Coverage tracks success: change and entry coverage correlate with Joint Success Function across configurations ( r = 0.91 r=0.91 and 0.96 0.96 ).

7. 在固定已提交测试下扩展候选面板时，联合成功函数从 49.33% 降到 38.10%（五个有效添加）、30.49%（五个无效添加）和 24.33%（九次交替添加）。

   Mean Joint Success Function starts at 49.33%, reaches 38.10% after five valid additions and 30.49% after five invalid additions, and reaches 24.33% after nine alternating additions.

8. 对 286 条保留失败轨迹的标注中，覆盖缺口占 34.6%、错误检查占 50.0%、执行逻辑错误占 15.4%。

   Panel (b) summarizes 99 coverage gaps (34.6%), 143 faulty checks (50.0%), and 44 execution logic errors (15.4%).

9. TestHelix 在两种模型上相对原生代理比较器将联合成功函数提高 8.67 到 9.00 个百分点。

   Across two models, TestHelix improves Joint Success Function by 8.67 to 9.00 percentage points over the native harness comparators in the TestHelix evaluation.

10. 消融显示：三对异质合成随机提交相比单对最多提升 1 个百分点；完整同行交叉验证在三对下增加超过 6 个百分点；扩到五对仅增加 0.67 个百分点，而 RSI 提升 4.33 到 4.67 个百分点。

    Generating three heterogeneous pairs and randomly submitting one improves Joint Success Function by at most one percentage point over single pair generation. Enabling the complete peer cross validation process at the same K = 3 K=3 adds more than six points, supporting the use of alternative repair hypotheses to challenge, refine, and select tests before submission. Expanding peer cross validation to five pairs yields only 0.67 additional points, whereas RSI improves the three pair process by 4.33 to 4.67 points.

11. 最终 RSI 配置在 GPT 5.6 sol 上的联合成功函数为 32.33%，在 Kimi K3 上为 33.33%。

    3 | ✓ | ✓ | 60.67 | 69.17 | 87.27 | 77.17 | 32.33 | 62.00 | 64.25 | 78.67 | 70.73 | 33.33

12. 最终 RSI 配置在三对设置下使用一个共享策略，该策略由 Opus 4.6 在 600 个训练任务上按 Reference Acceptance Rate 优化，并在两种评测模型上冻结使用。

    The final configuration applies RSI at K = 3 K=3 using one shared strategy optimized with Opus 4.6 on 600 training tasks for Reference Acceptance Rate and frozen for evaluation with both models.

Novelty：新颖性中等偏高。将单参考测试评估显式推广为多实现联合判别，并用面板式基准衡量，是清晰且有用的贡献；Joint Success Function 及有效/无效/覆盖配套指标在公式层面并不全新，但其组合方式具有实用价值。TestHelix 的异质合成、同行交叉验证与 RSI 组合有一定新意，但各组件均可追溯到已有测试生成、差分测试与自改进工作，主要创新在整合方式与固定推理预算下的消融验证。 Soundness：总体设计较扎实：有清晰的构造漏斗、独立验证、固定标签与隐藏面板，JSF 的乘积定义使其严格且可解释，A–E 消融控制共享模型与推理预算。主要 soundness 风险在于：候选标签依赖源验证器与人工审查，面板规模有限，多样性过滤只是结构性的，未做统计显著性检验；覆盖率相关不代表因果；失败机制分析是观察性的，且剔除了超时轨迹；RSI 使用 Opus 4.6 进行策略搜索，与最终评测模型不同，可能引入混淆。结论与证据基本匹配，但应被视为在固定任务契约与有限候选面板下的可靠性度量。 Significance：意义较大。它暴露了前沿编码智能体测试生成在跨实现可靠性上的明显缺口，可能推动基准从单参考 fail-to-pass 转向多实现面板；对测试质量评估、智能体评测和自动化测试改进都有参考价值。不过当前规模与模型范围有限，尚不能直接作为工业测试充分性标准，后续需要更大规模、更丰富实现空间和更强的因果验证。

TestPrism 每个任务只评估十个标注实现，JSF 是对有限面板的联合成功率，不能等同于对所有合法/非法实现的泛化。面板有效/无效等量分配是平衡设计，而非真实缺陷流行率估计。多样性用 AST Jaccard 距离衡量，可能与语义距离不一致，且均值提升不保证每个新增补丁都增加语义多样性。候选标签依赖源验证器和人工审查，上游基准 gold test 的正确性未被独立重建，可能存在参考过拟合或覆盖缺口。失败机制来自抽样轨迹且剔除了超时，不能因果归因或估计总体流行率。RSI 优化的是 Reference Acceptance Rate 而非 JSF，且策略搜索模型与最终评测模型不同，可能限制迁移。推理预算设了上限，但不等于实际计算消耗。测试集规模与语言分布偏 Python，评测对象是固定任务契约，未覆盖演化规格、更广实现空间与更多执行环境。

可沿多个方向推进：把面板从固定十个实现扩展为持续更新或更大规模候选，并引入变异算子与语义多样性指标；用概率模型估计真实缺陷流行率并校准 JSF；让 RSI 直接以 JSF 或更平滑的联合奖励为优化目标，并验证跨模型迁移；设计能自动发现合法替代实现与高价值非法补丁的生成流程；将语义差分测试、符号执行和断言质量模型纳入交叉验证；建立覆盖-断言联合诊断，区分“执行到了但判错”与“根本没执行到”；在更多语言、仓库级任务和动态、并发、性能约束上复现；进行人类研究以确认面板标签和失败机制的可信度；并探索在线持续测试中动态调整候选面板。

本文处于“世界模型学习 + 反思式记忆 + 递归自我改进”的交叉位置。它把 Memento 系列从策略/程序性记忆推进到语义世界模型记忆：此前工作学习“该用什么决策或技能”，本文学习“环境本身如何运转”。其核心定位是 Code as Model——用自然语言规则本表达可解释、可修正的规则假设，再编译为可执行代码用于预测、重放验证与规划，底层 LLM 参数保持冻结。相较直接用代码作为世界模型的工作，本文强调规则本与代码分离：规则本负责概括与解释，代码负责执行与检验；相较贝叶斯自适应 POMDP 的理想推理，本文用 LLM 提议 + 精确重放 + 语义保真检查做近似。人口扩展进一步把单点信念推广为多个并行世界模型，以缓解自我确认式的错误模型。整体上是把可验证程序合成、模型基规划、最小描述长度偏好和反思循环组合成一套面向 ARC-AGI-3 的工程化系统。

论文背景是陌生交互环境下的模型学习问题：智能体不仅要知道哪些动作有用，还要知道动作的后果。有限观测可以同时支持多个能解释历史、但在未观测状态上预测不同的世界模型；例如“箱子停在墙边”与“箱子停在第 7 列”在特定历史上不可区分。代码作为世界模型具有可执行、可检查、可供规划器反复查询的优点，重放能拒绝不一致程序，但无法在一致候选中识别正确规则。因此智能体需要把泛化假设显式保存并随新证据修订。Memento 系列此前把外部记忆作为演化学习状态：Memento 用情节记忆做持续适应，Memento 2 把记忆写/读形式化为策略评估/改进，Memento-Skills 扩展到可复用程序性记忆；但这些都是策略侧。本文补上模型侧。递归自我改进在此表现为：当前世界模型既是被修订对象，又是进一步规划与探索的工具，模型预测错误会触发下一轮修订。ARC-AGI-3 需要智能体在人类动作预算内从视觉网格与键鼠接口推断未知规则和目标，是检验该机制的合适场景。

机制分三层：形式化、单模型反射循环、人口扩展与规划实现。 一、形式化。环境建模为确定性、目标导向的部分可观测 MDP：ℳ=⟨𝒮,𝒜,𝒪,T,ρ,G⟩，T:𝒮×𝒜→𝒮，ρ:𝒮→𝒪，G⊆𝒮。交互记录 H_t=(o_0,a_0,o_1,…,a_{t-1},o_t)，完成信号 c_t=𝟙[s_t∈G] 随记录保留。对未知模型做贝叶斯自适应信念：b_t(s,m)=Pr(s_t=s,m⋆=m|H_t)，理想更新先用 T_m 传播状态，再用似然 ℓ_m(y|s′)=𝟙[o=ρ_m(s′)]·𝟙[c=𝟙[s′∈G_m]] 保留兼容项并归一化。Code as Model 不维护全分布，而是用一对持久假设 h_t=(ψ_t,θ_t) 近似：ψ_t 是自然语言规则本（语义记忆），θ_t 是可执行实现；学习状态 Z_t=(H_t,ψ_t,θ_t)。底层 LLM 参数冻结，φ_{t+1}=φ_t=φ，LLM 只生成候选规则与代码。 二、可执行实现与重放。θ 定义内部状态空间 Ŝ_θ、初始化 ι_θ:𝒪→Ŝ_θ、转移 f_θ、观测 ρ_θ、目标集合 Ĝ_θ。对轨迹重放：ŝ_0^θ=ι_θ(o_0)，ŝ_{i+1}^θ=f_θ(ŝ_i^θ,a_i)；下一观测预测 ô_θ(H_i,a_i)=ρ_θ(f_θ(ŝ_θ(H_i),a_i))。内部状态可保留最新观测中不可见的信息，作为当前环境状态估计和规划起点。 三、更新-控制算子与接受条件。a_t∼P(·|Z_t)，h_{t+1}∼U(·|H_{t+1},h_t)。候选对只有满足 θ_t∈[[ψ_t]]（规则本保真）且对所有 i<t 有 ô_θ(H_i,a_i)=o_{i+1}（精确重放）才被接受用于规划。目标函数为最大化 p_B=Pr(τ_G≤B)，次目标最小化 c_B=E[τ_G|τ_G≤B]；真实动作计预算，模型构建、模拟与重放不计。 四、五阶段反射循环。Observation 把新动作-观测追加进 H。Reflection 由 LLM 选择 d∈{retain, revise_rulebook, repair_code}。Rule revision 在选 revise_rulebook 时用 Δ_φ 依据 H 修改 ψ；否则保留。Compilation 在需修订或修复时用 C_φ 依据旧 θ、新 ψ、新 H 生成 θ̃；retain 则直接复用。Verification 定义 verify(θ;H_t)=∏_{i<t}𝟙[ô_θ(H_i,a_i)=o_{i+1}]，可接受集 𝒱_t={(ψ,θ):θ∈Θ_t∩[[ψ]]}，提案须属于 𝒱_{t+1}，否则回到反思继续修订。关键是接受 = LLM 语义保真判断 + 精确执行检查，而非仅语言模型置信度；任何修复都要解释全部历史而不仅是最近失误。 五、模型选择与规划。可接受集仍可能有多对假设。LLM 用 Simplify_LLM 近似最小描述长度选择：min_{(ψ,θ)∈𝒱_t}[ℒ(ψ)+ℒ(θ|ψ)]。给定先验 μ_0(ψ,θ)∝2^{-ℒ(ψ)-ℒ(θ|ψ)}，重放似然下后验 μ_t(h) 的众数就是最短可接受对，从而形成 MAP 解释。规划上，理想信念控制是 J_k(b) 动态规划，信息收集动作可通过区分竞争规则提高后续成功率。单模型采用点信念 δ(h_t,ŝ_{θ_t}(H_t))，确定性近似下退化为最短路径：V_θ(x)=0 若 x∈Ĝ_θ，否则 1+min_a V_θ(f_θ(x,a))；π_θ(H_t)=first(plan_θ(ŝ_θ(H_t)))。无计划时，LLM 选中间目标（测试机制、揭示未观测区域、接触未解释对象），由辅助规划器搜索，执行中遇到预测不匹配立即停止并把反例送回反思。 六、人口扩展。单模型可能自我确认：若模型只在自身策略触达的历史 R(θ) 上无错误，即便在其他历史上有错误也不被证伪。人口版维护 Φ_t={(ψ_t^i,θ_t^i)}_{i=1}^N⊆𝒱_t，共享 H_t，经验信念 b̂_t^{(N)}=1/N∑δ(h_t^i,ŝ_{θ_t^i}(H_t))。按行为等价类定义 θ∼_{H_t}θ′ 当且仅当两者在当前历史给出相同动作序列；规划时从非空计划类中均匀抽一个代表并执行其序列。所有成员用同一完整记录检验，被证伪者进入同一反射修复流程。这样可保留行为上不同的替代解释，而非语法变体。 七、ARC-AGI-3 落地。规则本为 world_model.md，记录对象、动作语义、动力学、目标与未决替代；可执行体为 world_model_engine.py，提供内部状态转移、重建、渲染与完成检查。重放要求渲染预测逐像素匹配后续帧全部 64×64 单元；首次预测失配即停止执行，把新反例纳入后再继续规划。Pong 案例中，LLM 从预训练知识提议对象、状态变量与动力学关系，规则本记录并测试反弹规则，编译为可执行函数，学习后的控制器执行时不再调用 LLM。

实验部分包含 ARC-AGI-3 主结果与 Atari Pong 案例。主结果宣称单模型在所有公开游戏上清关并触及 RHAE 上限，动作效率优于人类基线和表中其他对比系统；表内还给出逐游戏得分、清关数量与动作总数。Pong 案例宣称学习到的反馈控制器在若干不同开局的评估回合中取胜，且执行阶段不调用 LLM，并比较了学习成本。整体看，实验证据集中在作者系统与少数基线、少量评估回合上，缺乏多随机种子、置信区间、消融与外部复现细节，因此结论宜视为强声明、中等强度的经验支持。

1. 单模型在ARC-AGI-3全部25个公开游戏中清空每一关，平均RHAE达到100.0，并只用人类动作数的44%。

   On ARC-AGI-3, the single-model agent clears every level of all 25 25 public games, achieves a mean Relative Human Action Efficiency (RHAE) of 100.0 100.0 , and uses 44% of the human action count.

2. 与使用ARC Prize Standard harness的Claude Opus 5相比，本文系统的平均RHAE高59.3个百分点。

   Compared with Claude Opus 5 with the ARC Prize Standard harness [ 2 ] , our agent achieves a 59.3 59.3 -point higher mean RHAE.

3. 表1中除本文外，baseline1最接近，也清空所有游戏但平均RHAE为99.0；NOOA为85.1并清空19/25游戏，OPINE-World为78.4并清空20个，DreamTeam为38.1并清空6个，Continual Harness为20.5并清空3个。

   Among the systems compared in Table 1 , the closest is baseline1 at 99.0 99.0 , which also clears every game; NOOA reaches 85.1 85.1 having cleared 19 19 of the 25 25 games, OPINE-World 78.4 78.4 with 20 20 , DreamTeam 38.1 38.1 with 6 6 , and Continual Harness 20.5 20.5 with 3 3 .

4. 本文系统用7,518个动作清空25个游戏，为人类基线17,135的0.44；逐游戏比例从m0r0的0.20到lf52的0.67，中位数为0.42。

   Our agent clears all 25 games in 7,518 actions, 0.44 of the human baseline (17,135). Per-game ratios range from 0.20 0.20 on m0r0 to 0.67 0.67 on lf52 (median 0.42 0.42 ).

5. 在表2中，baseline1是唯一另一个完成全部游戏的系统，使用8,347个动作（人类预算的0.49）；其余四个系统分别留下5、6、19、22个未完成游戏。

   baseline1 is the only other system to finish every game, using 8,347 actions ( 0.49 0.49 of the human budget). The other four leave games unfinished: OPINE-World leaves 5 5 , NOOA 6 6 , DreamTeam 19 19 and Continual Harness 22 22 .

6. 其余四个系统的动作总数（12,859、11,697、9,789和14,558）反映的是未完成运行，而非求解成本。

   Their totals (12,859, 11,697, 9,789 and 14,558) therefore reflect incomplete runs rather than solution costs.

7. 在Atari Pong案例中，学习到的控制器在三个不同开局回合均以21:0获胜，最大单局得分21，三个开局分别需要3,358、4,014和5,039个动作。

   We evaluate the learned controller in three episodes, each with a different opening. It wins : 0 21\!:\!0 in all three, achieving the maximum episode score of 21 21 . Openings 1, 2 and 3 require 3,358 3{,}358 , 4,014 4{,}014 and 5,039 5{,}039 actions, respectively.

8. Pong中本文方法以9,504个模拟器帧的学习成本取得最大单局得分21；表5中无模型与模型基baseline的报告学习成本分别约为2.1×10^4帧和该成本的42倍。

   Our method achieves the maximum episode score of 21 21 at a learning cost of 9,504 9{,}504 emulator frames. The reported learning costs of the model-free and model-based baselines in Table 5 are approximately 2.1 × 10 4 2.1\times 10^{4} and 42 42 times this cost, respectively.

Novelty：新颖性中等偏上。单独看，程序合成世界模型、贝叶斯自适应 POMDP、集成/后验采样、LLM 反思循环都不全新；但“自然语言规则本 + 可执行代码”的 Code as Model 设计有辨识度：规则本承载可解释且可被后续证据否证的泛化假设，代码承载可执行语义，二者通过 LLM 保真判断与精确重放联合接受。把这一机制嵌入冻结 LLM 的持续外部学习状态，并用行为等价类人口缓解自我确认，是该系列的一个自然但尚未被充分验证的推进。主要新意在于整合与工程化，而非单一理论突破。 Soundness：理论部分较完整：POMDP、信念更新、重放接受条件、MDL/MAP 选择、最短路径规划与人口扩展之间有清晰链条，精确重放作为硬约束是可靠的部分。但可靠性存在明显缺口：规则本保真 [[ψ]] 由冻结 LLM 语义判断，既非形式化也非可复现，可能接受错误实现或拒绝正确实现；MDL 偏好只是经验归纳偏置，未必对应真实规则；点信念丢弃后验不确定性，人口版又退化为均匀采样而非原则性贝叶斯。实验证据以单一系统、少量评估回合呈现，缺少随机种子、方差和消融，无法判断结果的稳定性与各组件贡献。因此理论框架合理，但结论强度受实现与评估限制。 Significance：若结果可复现，对 ARC-AGI-3 这一困难基准而言意义较高：它说明冻结 LLM 可通过外部可验证世界模型实现递归自我改进，而无需参数更新。这对持续学习、可解释模型、模型基规划与自改进系统研究有启发。然而当前意义受制于基准特殊性、对专有 LLM 与大量调用成本的依赖、以及缺少严格统计与泛化证据。它更像一个强示范性系统，尚不足以确立通用方法。后续若能在更广环境、更低成本、更形式化的保真检验下成立，影响会显著扩大。

第一，规则本保真检查是 LLM 自评的语义条件，不是形式验证；[[ψ]] 没有可执行定义，导致“忠实实现”不可判定、不可复现，可能把正确代码拒掉或把错误代码纳入。第二，精确重放只能排除与观测历史矛盾的模型，不能解决版本空间内多个一致假设的分歧；MDL/MAP 的简短偏好只是启发式，可能选错泛化。第三，单模型点信念无视剩余不确定性，容易自我确认；人口扩展用均匀抽行为类的方式只部分缓解，缺乏严格的后验加权或信息增益驱动探索。第四，实验没有报告随机种子、重复次数、置信区间，主要结果是单一运行；逐游戏表格缺少方差和失败模式。第五，ARC-AGI-3 只在公开游戏上评估，且与 baseline1/NOOA 等系统的实现与接口细节不透明，存在对公开基准过拟合风险。第六，Pong 仅评估三个开局，样本过小，无法判断控制器对未见过初始条件的鲁棒性。第七，成本只按环境动作计，未报告 LLM 调用次数、token 或墙钟时间，实际计算成本可能很高。第八，形式化假设确定性转移、离散状态/观测，难以直接扩展到噪声、随机或高维连续环境。第九，精确逐像素重放要求完整网格匹配，对部分可观测、遮挡、连续观测或传感器噪声的扩展性存疑。第十，论文对提示设计、LLM 版本、失败重试预算、编译失败处理、人口维护与去重细节交代不足，影响复现。

最有价值的跟进是形式化规则本语义：把自然语言规则映射到带断言/类型的规范，或用程序合成与模型检查替代 LLM 保真判断，使 [[ψ]] 可判定。第二，人口版应引入贝叶斯后验权重、后验采样或期望信息增益，而不是等权均匀抽类；可比较 N=1 与 N>1、随机抽样与主动探索的消融。第三，实验需补多随机种子、置信区间、逐组件消融（规则本 vs 仅代码、简化偏好开关、保真检查开关、人口规模）、未见游戏泛化与跨 LLM 主干测试。第四，应报告 token/调用/墙钟成本，给出预算与性能的帕累托。第五，把机制扩展到随机、连续、噪声与更强部分可观测环境，测试重放验证的松弛版本（如概率似然、特征级匹配）。第六，理论分析可尝试给出样本复杂度、自我确认的规避条件或后悔界。第七，将学习到的规则本-代码模型迁移到真实机器人或长期任务，检验语义记忆的复用性。第八，对反思失败和规则本漂移做诊断，避免错误规则因未被触达而长期保留。第九，探索跨任务共享的规则库，把单一环境规则本扩展为可累积、可组合的世界知识。

本文把长程程序性视频生成重新表述为「视觉世界空间中的闭环任务执行」，而不是一次性开环合成。其定位处于三类方法之间：开环 prompt-to-video/自回归视频模型（能生成视觉上合理的轨迹，但不保证完成任务）、planner–executor 闭环系统（ORCA、CollabVR、NovaPlan 把预训练 VLM 规划器与冻结执行器拼接，SPIRAL 用单独 critic 间接反馈，Bernini 在潜在语义层规划后再渲染）、以及视频世界模型（VideoWorld 2、层次世界模型等侧重策略/潜在动力学，但不把动作选择、原子执行与完成判断放进单一闭环）。作者诊断的核心缺口是「决定一个动作」与「可靠实现该动作」之间的断裂：正确的计划仍可能因执行器无法实现原子动作而失败，开环更无法依据已生成状态纠错。为此提出 WorldGuide：在同一份步骤级示范上训练 ContextPlanner（从生成视觉状态预测下一个原子动作或完成）与 Executor（直接监督地实现所预测动作），并用分层压缩视觉记忆维持长程状态连续性；同时构建 WorldGuide Bench 提供逐步动作–视频与完成信号监督。

视频世界模型预测视觉状态在动作、目标或其他控制信号下的演化。直接 prompt-to-video 模型（HunyuanVideo、CogVideoX、Wan 等）与自回归方法能生成视觉上合理的轨迹，但视觉合理不保证任务完成：开环在 rollout 前就固定 prompt/动作序列与时长，不观察进度、不修正后续动作、也不判断目标何时达成，单步错误会向后累积，尤其对折纸、装配、烹饪等长程程序。闭环方法引入反馈，但仍有缺口：ORCA、CollabVR、NovaPlan 用预训练 VLM 规划器搭配冻结视频执行器，计划正确但执行器未必能实现所请求的原子动作；SPIRAL 用单独训练的 critic 评价生成结果、不直接监督原子动作执行；Bernini 在潜在语义空间规划后再渲染，不从生成进度预测后续程序动作或判断完成。由此作者归纳五个挑战：执行器需要在其被要求执行的原子动作上被训练；规划必须以生成视觉状态而非仅动作历史为条件；完成必须从视觉进度预测，而非由固定生成长度或外部重试预算决定；长程执行需要持久视觉上下文但记忆不能无界增长；现有教学视频数据集缺乏原子动作与视觉后果、完成信号的配对监督。相关工作分「视频生成与世界模型」和「planner–executor 视频生成」两组，WorldGuide 的定位是第一个在同一闭环中完成「从生成进度选动作、直接监督执行、判断完成」并全部基于生成视觉状态的方法。

总体循环与符号。给定初始图像 x0 与任务目标 g，WorldGuide 在每一步 t 迭代执行：ContextPlanner πθ 从 g、当前视觉状态 x_t、剪辑–动作历史 h_t 预测 a_t ∈ A ∪ {DONE}（A 为原子动作空间，DONE 即完成 token <|Task Completed|>）；若预测 DONE 则终止，否则 Executor fφ 以 a_t、x_t、视觉记忆 M_t 为条件生成下一段短视频剪辑 x_{t+1}（公式 1）。历史 h_t 保存最近 K=3 个动作，每个动作与其生成的剪辑配对，追加后丢弃超过 K 步的旧对；Executor 用上一剪辑的最后一帧作为参考图像。rollout 在预测 DONE 或步数预算耗尽时结束，各剪辑拼接成最终视频。t=0 时 h0、M0 为空。 组件与训练顺序。ContextPlanner 与 Executor 分别初始化为 Qwen2.5-VL-7B 与 HunyuanVideo-1.5。先微调 ContextPlanner，冻结后用它嵌入动作字幕供 Executor 微调；推理时动作预测与终止依赖 Executor 生成的结果。这一顺序训练是刻意的：若 Executor 的 flow-matching 损失也更新 ContextPlanner，其参数会被优化成「便于视频生成的嵌入」而没有信号保留语言输出，预测动作可能漂移为不可读指令；冻结规划器使规划与执行的接口保持在自然语言层面。由于 HunyuanVideo-1.5 本身用 Qwen2.5-VL-7B-Instruct 编码文本，这一选择还让动作通过训练与推理完全相同的嵌入通路、不新增单独规划网络。 ContextPlanner。输入为目标 g、当前视觉状态 x_t（即历史中最新的剪辑）与历史 h_t = ((a_i, x_{i+1}))，输出单个自然语言指令或完成 token。历史提供近期进度证据、帮助避免重复步骤；K=1 只给一个剪辑与其动作，K=3 给最近三个。该历史与 Executor 的压缩潜在记忆 M_t 不同，规划器不消费 M_t。训练用 SFT：在示范历史与下一个动作/完成目标上做 token 级交叉熵，mask 只作用于响应 token；无架构改动、无辅助目标。 Executor。HunyuanVideo-1.5 DiT 以冻结 ContextPlanner 的动作嵌入与视觉上下文为条件。训练时接收与目标剪辑配对的地面真值动作字幕，推理时通过同一嵌入通路接收预测动作。每个训练样本给出目标视频潜在 z ∈ R^{C×L×H×W}（L 为剪辑潜在帧长）及文本/视觉条件 c_text、c_vision；c_text 含地面真值动作嵌入。采用 flow-matching 参数化：在噪声水平 σ 下加噪潜在为 z~=(1−σ)z+σε，ε∼N(0,I)，模型预测朝向目标 (ε−z) 的残差速度 ŷφ=fφ(z~,σ,c)，损失为公式 2，其中 m 把监督限制在有效区域，仅更新 Executor 参数 φ、ContextPlanner 参数 θ 冻结。参考图像条件以潜在张量 z_cond 形式按通道与 z~ 堆叠，并配有效性掩码 m_cond，整体条件 c=(z_cond, m_cond, c_text, c_vision)；无记忆时只填充参考帧、其余槽位 mask 掉，有记忆时历史潜在也填入并嵌入为上下文 token。 分层视觉记忆。采用 YUME 的空间历史压缩调度（Yume-1.5 / FramePack 思路）：近期潜在帧用更细空间嵌入、越旧越粗，从而给 Executor 的历史 token 成本设定上界。记忆库（公式 3）M_t = Π_T([z^(1)‖…‖z^(t)])，其中 T≤1365 是非锚历史潜在帧容量；压缩器额外把最旧历史潜在帧作为锚，总历史长度 F≤T+1≤1366；z^(i) 是生成剪辑的 VAE 潜在（维度 C×F×H×W），H、W 为潜在空间分辨率，所有帧数均为 VAE 编码后的潜在帧数。多尺度 patch 嵌入：DiT 空间 patch p=2，E_r 为核与步长 (1, pr, pr) 的 3D 卷积，r∈{1,2,4,8,16}，把 C 潜在通道映射到 d 维特征；E_1 用预训练 patch 嵌入初始化，更大核用三线性上采样初始化；最粗嵌入 E_64=E_16∘Φ，Φ 为核/步长 (1,4,4) 的保通道卷积，有效空间步长 128=64p；所有嵌入保持时间长度。忽略空间 padding 时，第 j 段 token 数 n_j=|S_j|·HW/(p²r_j²)（公式 4），记忆 token 序列为 [h_a; h_1;…;h_J; flatten(E_1(z_ref))]（公式 5），其中 h_a 嵌入最旧历史潜在帧。跨所有支持分支，公式 6 给出 p²/HW·|M| = 1/r_a² + Σ|S_j|/r_j² + 1 ≤ 8 < 9，T≤1365；一个全分辨率潜在帧当量为 HW/p² 个 token，因此该界是对 token 成本（含锚与参考）的度量，而非把历史压缩为 8 个时间帧；空间 padding 会改变实际计数。具体调度按历史长度 F 选择：最长分支（343≤F≤1366）中，Present 3 帧 rate 1、Near present 2 帧 rate 2、Recent past 16 帧 rate 4、Mid past 64 帧 rate 8、Far past 256 帧 rate 16、Distant past F−342 帧 rate 64、锚 1 帧 rate 2、参考 1 帧 rate 1，总计 ≤8 个全分辨率当量（padding 前）；较短历史使用相应更细的调度。DiT 输入为 [z~; z_cond; m_cond] ∈ R^{(2C+1)×L×H×W}（公式 7），无记忆时只填参考槽；记忆 token 以 τ=[M; c_vision; c_text]（公式 8）追加到上下文序列，作为条件 token 而不增加被去噪的视频 token，也不改变公式 2 的训练目标。压缩只减少空间 token、保留全部时间潜在帧；各压缩段使用基于空间网格的 3D rotary 位置嵌入，时间位置跨段连续。 数据与监督构造。WorldGuide Bench 含 58,679 个视频、245 个任务、27 个程序类别；用 Gemini 2.5 Flash 过滤网络教学视频并标注时间对齐的原子动作与完成信号，仅保留规划分数为 5 的视频，动作目标时长 1–5 秒（更长拆成多步，超过 5 分钟的视频用 1.5× 播放速度标注再映射回原时间轴）。每个被标注步骤成为一个训练记录：任务上下文、动作字幕、按时间戳截取的目标剪辑、步索引与归一化进度、前序剪辑与字幕、最终步上的完成标志；源视频开头 1 秒预览提供初始视觉状态。规划器学习从目标与最多 K=3 个前序剪辑–字幕对预测下一字幕；执行器学习从字幕与前序视觉上下文生成剪辑。为监督停止，预处理在最后一步之后追加一条仅规划器记录：目标为 <|Task Completed|>、历史为最后 K=3 个剪辑–字幕对、无目标剪辑，与推理时规划器观察最后生成剪辑后发出完成 token 的设定一致。测试划分按任务每任务留出 4 个视频，得到 980 个测试视频与 57,699 个训练视频，且被留出视频的所有剪辑都不参与两模块训练，因此评估的是已知任务上的未见示范。

实验设置：在 WorldGuide Bench 上微调 Qwen2.5-VL-7B-Instruct 作为 ContextPlanner、HunyuanVideo-1.5 作为 Executor，规划器使用 K=3 的近期剪辑–动作对；在 WorldGuide Bench 的留出测试集与 Video-CraftBench 上评估，WorldGuide 只接收初始图像与任务目标，带星号基线（Bernini、PhysAgent、TempAct）使用各自的规划–执行回路。评测分三层：VBench 衡量视觉质量（美学、成像质量、动态程度、运动平滑度、整体一致性、视频文本对齐），Paired Alignment 衡量与参考视频的相似度；Gemini 视频判官衡量任务执行（Task Success 是否达成最终目标、Plan Accuracy 是否完成所需子目标、Order 是否满足先决顺序、Repeat/Skip 惩罚冗余）；GPT-5.2 文本判官评估预测动作序列（Plan Accuracy、Order、Repeat/Skip、Plan Success，即若全部正确执行该计划能否达成目标）。主要发现：闭环执行显著优于开环变体；给规划器恢复生成视觉反馈显著提升任务成功率与计划准确率、降低重复/跳步；同一规划器能识别完成并停止；用 oracle 参考动作替换学习规划器带来进一步增益，说明规划是瓶颈之一；启用分层记忆在两类基准上提升任务成功率；过程性正确性的提升没有均匀转化为所有低层视觉质量指标，但在部分指标上取得最优；人工评估与自动判官排序一致。

1. 摘要主结果：WorldGuide 在 WorldGuide-Bench 上 Task Success 达 33.33%，高于获得参考动作计划的 MiniMax-H3 的 29.90%；在仅目标条件的 VideoCraft-Bench 上达 47.69%，高于 MiniMax-H3 的 32.73%。

   WorldGuide achieves a 33.33% Task Success on WorldGuide-Bench , compared with 29.90% for the strong recent video model MiniMax-H3, even though MiniMax-H3 receives reference action plans, and achieves 47.69% on VideoCraft-Bench compared with 32.73% for MiniMax-H3 under goal-only conditioning.

2. 论文报告的消融增益：闭环执行使 Task Success 提升 21.62%；视觉反馈使 Task Success 提升 18.61%、Plan Success 提升 5.34%，并把 Repeat/Skip 降低 4.46%；记忆在 WorldGuide Bench 与 Video-CraftBench 上分别带来 5.77% 与 17.91% 的增益。

   Closed-loop execution improves Task Success by 21.62% over the open-loop variant (§ 4.2 ); visual feedback improves Task Success by 18.61% (§ 4.3 ) and Plan Success by 5.34% while reducing Repeat/Skip by 4.46% (§ 4.4 ); while memory provides gains of 5.77% on WorldGuide Bench and 17.91% on Video-CraftBench (§ 4.5 –§ 4.6 ).

3. 与开环变体相比，闭环执行把 Task Success 从 11.71% 提高到 33.33%，Plan Accuracy 从 22.87 提高到 62.85。

   Compared with its open-loop variant, this formulation raises Task Success from 11.71% to 33.33% and Plan Accuracy from 22.87 to 62.85 (Table 4 ).

4. 恢复生成视觉反馈把 Task Success 从 14.72% 提高到 33.33%，Plan Accuracy 从 29.29 提高到 62.85。

   Restoring visual feedback raises Task Success from 14.72% to 33.33% and Plan Accuracy from 29.29 to 62.85 (Table 4 ).

5. 在自主执行中，使用生成视觉反馈把 Plan Success 从 86.41% 提高到 91.75%，并把 Repeat/Skip 从 20.19 降到 15.73。

   In autonomous execution, using generated visual feedback improves Plan Success from 86.41% to 91.75% and reduces Repeat/Skip from 20.19 to 15.73 (Table 5 ).

6. 用 oracle 参考动作替换学习到的规划器，在相同 Executor 与记忆下把 Task Success 再提高 +5.49%。

   Replacing the learned planner with oracle reference actions improves Task Success by +5.49 % (Table 4 )

7. 在规划器与执行器检查点不变时，启用记忆在 WorldGuide Bench 上提升 Task Success +5.77%、在 Video-CraftBench 上提升 +17.91%，并提升视频判官 Plan Accuracy +7.49%。

   enabling memory improves Task Success by +5.77% on WorldGuide Bench and +17.91% on Video-CraftBench, and video-judged Plan Accuracy by +7.49% (Table 4 ).

8. WorldGuide 在 WorldGuide Bench 上取得最高的 Aesthetic Quality（49.36）与 Overall Consistency（31.13）。

   On WorldGuide Bench, it achieves the highest Aesthetic Quality ( 49.36 ) and Overall Consistency ( 31.13 )

9. 在 Video-CraftBench 上，WorldGuide 相对 MiniMax-H3 在部分视觉质量指标上有下降：Imaging Quality 为 64.63 对 69.65，Overall Consistency 为 22.09 对 23.18。

   On Video-CraftBench, this comes with modest drops in some visual-quality metrics relative to MiniMax-H3, including Imaging Quality ( 64.63 vs. 69.65 ) and Overall Consistency ( 22.09 vs. 23.18 ).

10. 人工评估中 WorldGuide 平均分 2.750，高于 MiniMax-H3 的 2.542 与 LTX-2.5 的 2.472。

    WorldGuide achieves the highest average score of 2.750, followed by MiniMax-H3 with 2.542 and LTX-2.5 with 2.472.

11. WorldGuide Bench 数据集含 58,679 个视频，覆盖 245 个任务、27 个程序类别。

    The dataset contains 58,679 videos spanning 245 tasks across 27 procedural categories (Fig. 4 ).

12. 人工审计的多数投票分数在六个准则上介于 81.6% 到 84.5% 之间。

    The majority-vote scores range from 81.6% to 84.5% across all six criteria.

Novelty：新颖性判断：中等偏高但非颠覆。核心新意在于把程序性视频生成完整建模为闭环任务执行，并让规划与执行共享同一份步骤级监督——规划器从生成视觉状态预测下一个原子动作或完成，执行器在同一批示范上被直接训练去实现这些原子动作，二者通过自然语言动作嵌入对接。这与以往「冻结预训练执行器 + 间接 critic/重试」（ORCA、SPIRAL）或「先潜在规划再渲染、不递归判断进度与终止」（Bernini）形成清晰区分。分层视觉记忆本身沿用 YUME/FramePack 的压缩调度，不算原创组件；单模块（VLM 规划器、DiT 执行器、分层记忆）均为既有技术。因此新颖性主要来自系统层面的耦合方式、语言接口带来的可诊断性，以及为闭环程序训练专门构造的 WorldGuide Bench（步骤级原子动作–视频–完成信号监督），而非全新的网络结构或损失。该贡献属于「组合与重新表述」型创新，方向上有价值，但技术增量有限。 Soundness：可靠性判断：实验设计较完整但存在若干方法学弱点。优点：消融（开环、去视觉、去记忆、oracle 规划器）能逐项隔离闭环、视觉反馈与记忆的贡献；在两套基准与众多基线（含 MiniMax-H3 等强模型）上报告一致提升；用 Gemini 视频判官与 GPT-5.2 文本判官分离「视频层任务达成」与「文本计划正确性」，并有人工评估佐证排序；测试划分按视频级留出，避免数据泄漏到两模块训练。弱点：规划器与执行器是顺序训练而非联合优化，消融显示 oracle 规划器仍带来明显提升，说明当前任务成功率的上限很大程度上受规划质量限制；基准监督由 Gemini 2.5 Flash 自动标注、人类审计多数投票仅约八成，标注噪声可能同时影响训练与由 LLM 判官进行的评估；所有 LLM 判官指标缺乏与人工标注的细粒度一致性/方差报告，且「Plan Accuracy」在视频判官与文本判官中同名不同义，易混淆；总体任务成功率绝对水平仍低，过程性指标（重复/跳步）在闭环中反而偏高，说明闭环机制尚未稳定收敛。总体看，「耦合规划与学习执行比开环或冻结执行更好」的证据成立，但绝对性能与评测可信度仍有提升空间。 Significance：意义判断：中等。研究问题（长程程序任务中的动作选择、执行与终止）真实且重要，WorldGuide 提供了一种可解释、可诊断的闭环范式，并通过语言接口把「计划」与「执行」解耦评估，这对程序性视频生成、视频世界模型乃至具身策略学习都有参考价值。WorldGuide Bench 填补了步骤级动作–视频–完成信号监督的缺口，若按承诺开源源标识、时间戳与标注，可成为后续工作的共同基准。然而绝对任务成功率仍低、失败会跨步累积，且当前增益依赖特定主干（HunyuanVideo-1.5）与 LLM 判官，离「可靠长程程序执行」的目标尚远；其对更广社区的影响取决于后续能否在联合训练、显式恢复与更强的状态验证上继续突破。

作者自述的限制：错误会跨步复合——规划器可能重复动作、跳步或过早停止，执行器即使对正确指令也可能扭曲几何或外观；每个生成剪辑都成为下一轮规划观察，重规划能响应错误但不能撤销错误转移。两模块顺序训练、缺乏联合任务完成目标；有界记忆压缩旧帧可能丢弃后续需要的细节，且启用记忆反而增加重复。折叠类任务出现后期纸面外观与场景纹理退化。除作者自述外还可指出：WorldGuide Bench 由单一 LLM（Gemini 2.5 Flash）自动筛选与标注，人类审计多数投票仅在八成出头，标签噪声未在实验中被显式建模；任务成功与计划质量主要依赖 LLM 判官，存在自评偏差与可复现性风险；评测划分只覆盖已知任务的未见示范，不测跨任务泛化；动作空间为自然语言、执行只覆盖视频生成，未验证对机器人或其他控制器的迁移；与 MiniMax-H3 等更大的 33B 模型相比，WorldGuide 主干仅 8.3B，部分视觉指标落后，规模与预训练数据不完全可比；记忆带来的增益与重复率上升并存，说明压缩策略的选择性不足。

跟进方向可分四类。(1) 训练与优化：对 ContextPlanner 与 Executor 做联合优化，同时保留语言输出的可读性（例如用可微语言奖励或约束项防止动作漂移）；引入显式失败检测与恢复策略，当某步未完成或不一致时重试/回退，而非只依赖下一轮重规划；在 flow-matching 训练中纳入任务完成信号作为终端奖励或价值函数。(2) 状态与记忆：用更选择性的记忆保留（按任务相关显著性、目标相关物体、异常检测）替代均匀空间压缩，缓解旧帧细节丢失与重复率上升；研究在固定 token 预算下的动态调度；把规划器的显式历史 h_t 与执行器的压缩记忆 M_t 更紧密共享。(3) 评测与数据：扩大 WorldGuide Bench 的任务与语言多样性、加入跨任务/跨类别泛化划分；引入人工标注的细粒度完成度评分并与 LLM 判官做一致性/方差校准；增加对终止时机（过早停止 vs 过晚停止）的单独指标；用同一协议在多主干上做规模消融。(4) 拓展：把闭环程序执行从视频生成延伸到具身机器人策略或交互式世界模型；在真实任务（装配、烹饪、折纸）上验证单步执行成功率；探索目标条件而非语言指令的低层控制信号，以及多模态目标（图像/视频目标）驱动的规划–执行闭环。

Remory 处于上下文压缩与智能体长期记忆的交汇点：它不替代文本摘要或检索，而是在生成摘要之后追加一组有界的连续“软记忆 token”，形成沿序列维度的残差连接。论文把该接口称为 residual memory，强调其条件于摘要、只通过冻结大模型的续写预测来训练。相比 AutoCompressor/Gist/ICAE 等通用压缩表示，Remory 的目标更聚焦：不是重建整段历史，而是补足摘要留下的预测缺口；相比 ReadAgent/MemGPT/AgentFold 等显式摘要+检索方案，它额外学习连续表示以保持未来决策所需的隐性信息。论文以 SummHay 的归因能力、多个长程 agent 基准、压缩后首动作偏好和案例研究作为证据。

长程智能体在有限上下文窗口内运行，交互、工具输出和决策不断累积，必须对历史进行压缩。常见做法是将早期交互替换为文本摘要，作为继续工作的检查点；输入长度呈锯齿状：交互增长、压缩下降、再增长。文本检查点改变了先验上下文的可用性：保留主线不保证摘要能支撑每个后续决策，且先验上下文的相关性会随任务展开而变化。论文明确不假设可在压缩前枚举或识别摘要之外的所需信息，挑战在于不把完整交互保留在活动窗口中的同时维持有用的访问。 作者借用人类认知的对照：工作记忆仅能维持少数 chunk，但人能长期从事复杂项目，依赖长时记忆中的细节、经验和技能；海马索引理论认为部分线索激活索引，从而恢复早先经验在大脑皮层的分布式表征。这为“显式检查点 + 学习到的神经表征”提供动机。 相关工作分成两支：一是智能体记忆，如 ReadAgent 将情节要点与原文段落配对，MemGPT 分离工作记忆与档案记忆，ReSum 用周期性摘要，AgentFold 在轨迹内学习多尺度上下文管理；二是连续压缩，如 AutoCompressor、Gist Tokens、ICAE、LCLM，以及分布匹配和循环记忆 token。Remory 保留文本检查点与检索接口，同时学习条件于检查点的连续补充表示。

Remory 的核心构件是记忆网络 C_phi，在压缩边界 i 接收历史 H_i 与刚生成的摘要 S_i，输出向量序列 M_i，满足 |M_i|≤m。M_i 是冻结 actor 输入空间中的连续向量，而非词表 token。actor 依次读取持久指令、[S_i; M_i]、之后的新交互；[S_i; M_i] 被解释为沿序列维度的残差连接：摘要提供可读的主干，软 token 作为残差补充。后续压缩重复同一过程，使记忆跨多个边界传播；精确历史仍由普通档案/文件检索工具提供。 网络实现上，使用冻结 actor 的特征和可学习查询并行预测记忆向量，并通过门控交叉注意力条件于摘要。每 1,024 个源位置编码为 64 个软 token，层次化压缩最终把记忆限制在 4,096 个 slot，同时保持源顺序；源编码与中间表示可以更大。针对 Qwen3.8-27B 适配 DFlash，针对 GLM-5.3-Flash 使用带分组动态卷积的 DFlash-2，分别得到 1.94B 和 1.502B 可训练参数。因为输出是连续记忆，梯度必须穿过冻结 actor 才能训练接口，actor 权重不变。 训练分两阶段。Stage I 是重建：teacher 接收源段落与“重复它”的指令；student 用软记忆替换源段落，接收相同指令；两者都预测源文本，迫使记忆网络保留源信息。数据来自 MMFineReason-Full-2.3M 的文本字段。Stage II 是摘要条件续写：teacher 接收原始交互历史，student 接收对应的固定摘要以及从该历史构造的记忆；两者都预测同一后续 assistant 回复；记忆编码器永远看不到未来回复。该阶段使用推理与编码轨迹，prompt 来自 Open-PerfectBlend，摘要预先计算、回复由 Qwen 生成；样例按前文长度课程排序。 损失是 student-to-teacher 的反向 KL。设 teacher 与 student 共享冻结 actor p_theta，在目标回复第 j 个位置，p_j 是给定完整上下文 C_full 的分布，q_j 是给定记忆上下文 C_mem 的分布，且两者都包含持久指令。优化目标为加权平均 sum_j w_j D_KL(q_j || p_j) / sum_j w_j，权重对较早位置略加强调；只有 φ 更新。反向 KL 使 q 覆盖 teacher 的高概率区域，适合用有限记忆逼近完整上下文续写。Stage II 中摘要已固定存在，因此梯度把记忆引向摘要未能消除的预测差；记忆不必重建每个被省略事实，也可以与摘要内容重叠。

实验先做压缩后的源归因评测：在长文档集合上，把原始上下文、纯摘要、摘要加等预算文本补充、摘要加残余记忆四种表示交给同一 actor，固定查询、解码与基础摘要，只用无工具生成并按基准规则评分。结果显示残余记忆在覆盖率几乎不变的情况下提升引用归因与联合得分，并以很小比例的活动位置接近全上下文联合得分；等预算文本补充则与纯摘要接近。随后进行端到端智能体评测，固定权重、harness、prompt、工具、解码、预算与压缩策略，并允许精确检索历史；不同规模和上下文窗口的模型在多个基准上均获增益。作者还报告重复工具输出与工具错误大幅下降，生成成本多数下降。压缩后首个动作的成对评估表明残余记忆的动作在多数情况下被偏好。案例研究覆盖实盘交易和细胞分割，展示摘要、记忆与检索的互补作用。

1. SummHay 四种表示中，摘要+Remory 的 citation F1 和 joint score 最接近原始上下文，覆盖率略低于原始但高于纯摘要和摘要++。

   Representation | Coverage | Citation F1 | Joint score Raw context | 72.46 | 56.60 | 43.41 Summary | 67.55 | 56.98 | 39.84 Summary++ | 67.52 | 56.94 | 39.78 Summary + Remory | 67.95 | 61.03 | 43.39

2. 残余记忆使 citation F1 提高 4.04 点、joint score 提高 3.55，覆盖率变化仅 0.40；配对 bootstrap 95% 区间为 [+0.74,+6.21]；两摘要条件共同覆盖的 553 个 insight 上 F1 从 57.31 升至 61.41。

   Adding residual memory increases citation F1 by 4.04 points and joint score by 3.55, with a coverage change of 0.40 (Table 1 ; gains are computed before rounding). A paired collection bootstrap gives a 95% interval of [ + 0.74 , + 6.21 ] [+0.74,+6.21] for the joint-score gain, conditional on the generated and judged outputs. On the 553 insights covered by both summary conditions, citation F1 still rises from 57.31 to 61.41.

3. 原始上下文平均 96,872 个位置，纯摘要 1,393，摘要+记忆 5,024，后者以 5.2% 的位置接近原始联合得分。

   Mean inputs contain 96,872 positions for raw context, 1,393 for summary alone, and 5,024 for summary plus memory. The latter uses 5.2% of the raw-context positions and approaches its joint score, with lower coverage and higher citation F1.

4. 全任务集规模：BrowseComp 1,266、Terminal-Bench 89（两 actor 各一次）；AutomationBench 600、JobBench 65（Qwen 五次）。

   We use the full task sets: 1,266 BrowseComp and 89 Terminal-Bench tasks for both actors (one run), and 600 AutomationBench and 65 JobBench tasks for Qwen (five runs). Terminal-Bench and AutomationBench use task verifiers; BrowseComp and JobBench use matched GPT-5.6-Sol judges. Residual checkpoints complete both training stages.

5. Qwen 在 AutomationBench 提升 9.8 点、JobBench 提升 7.6、Terminal-Bench 提升 4.5、BrowseComp 提升 3.0；GLM 分别提升 3.3 和 4.1。

   Qwen improves by 9.8 points on AutomationBench and 7.6 on JobBench (Table 2 ), extending the gains to business workflows and professional-task rubric credit. It gains 4.5 points on Terminal-Bench and 3.0 on BrowseComp; GLM gains 3.3 and 4.1, respectively (Table 3 ).

6. AutomationBench/JobBench 分数与成本表中，Qwen 残余版本分别从 35.5±1.3 到 45.3±1.0、从 33.4±1.25 到 41.0±1.41，JobBench 成本略升。

   Configuration | Score | Cost | Score | Cost w/o residual | 35.5 ± \pm 1.3 | $0.59 | 33.4 ± \pm 1.25 | $3.09 w/ residual | 45.3 ± \pm 1.0 | $0.53 | 41.0 ± \pm 1.41 | $3.21

7. Terminal-Bench 与 BrowseComp 上，两模型加残余后分数上升、成本下降或相近、重复输出和错误下降。

   | | Terminal-Bench 2.1 | BrowseComp Actor | Residual | Score | Cost | Repeats | Errors | Score | Cost | Repeats | Errors Qwen3.8-27B | w/o | 71.9 | $4.29 | 459 | 933 | 74.0 | $5.39 | 25,801 | 25,244 | w/ | 76.4 | $2.86 | 377 | 568 | 77.0 | $4.69 | 18,105 | 12,698 GLM-5.3-Flash | w/o | 84.3 | $3.27 | 334 | 664 | 84.9 | $5.65 | 8,316 | 7,498 | w/ | 87.6 | $3.05 | 240 | 496 | 89.0 | $5.00 | 5,834 | 5,412

8. 四个 actor–benchmark 对中，重复工具输出下降 17.9–29.8%，工具错误下降 25.3–49.7%。

   Repeated tool outputs fall by 17.9–29.8% and errors by 25.3–49.7% across the four actor–benchmark pairs in Table 3 . Repeats count identical outputs from the same tool within a task, excluding planning and polling; errors count failed commands or explicit tool errors.

9. 生成成本在除 JobBench 外的所有报告比较中下降；JobBench 单任务成本从 $3.09 升至 $3.21。

   Generation cost falls in every reported comparison except JobBench, where the higher score accompanies a rise from $3.09 to $3.21 per task.

10. 压缩后首动作成对评估：残余动作 345 胜（70.7%）、21 平（4.3%）、122 负（25.0%）。

    Residual actions receive 345 wins (70.7%), 21 ties (4.3%), and 122 losses (25.0%). With the checkpoint fixed, the preference links the memory channel to the first post-compaction decision.

11. 实盘交易案例：无残余结算 ROI 为 −11.86%，有残余为 +5.11%；生成成本 $303.81 对 $170.30。

    At the September 23 cutoff, settled ROI is − 11.86 % -11.86\% without residual and + 5.11 % +5.11\% with it; logged generation costs are $303.81 and $170.30.

12. 实盘交易中压缩次数从 56 降至 45，响应从 5,336 降至 3,013；每 1,000 响应压缩次数从 10.5 升至 14.9；平均活跃上下文从 105,372 降至 101,185 个位置。

    Compactions fall from 56 to 45 alongside fewer responses (5,336 versus 3,013). Per 1,000 responses, compactions instead rise from 10.5 to 14.9: the lower total accompanies less interaction. Mean live context decreases from 105,372 to 101,185 positions including memory.

Novelty：中等偏上但非全新。将软压缩 token 作为摘要残差、通过冻结 actor 的反向 KL 训练，是组合已有思想的新接口。AutoCompressor/Gist/ICAE 已做连续压缩，分布匹配已有，ResNet 残差类比直观；新颖点在于把压缩目标定义为“摘要之后的剩余预测差”，并在不微调 actor 的情况下训练。这个定位清楚，但核心组件非原创。 Soundness：整体设计合理：冻结 actor 保证接口不改变原模型；两阶段训练先重建后摘要条件续写，逐步消除摘要已覆盖信息；反向 KL 在有限容量下更偏 mode-covering，适合续写近似。但证据链存在内部有效性问题：端到端分数来自少量或单次运行，BrowseComp/JobBench 用 LLM judge，AutomationBench/JobBench 的 Qwen 是五次而 Terminal/Browse 只一次；成本估计排除记忆编码器和工具成本；案例研究明确不说明具体哪个省略细节来自记忆；首动作评估是反事实动作偏好，不是结果测量。因此统计稳健性和因果归因有限。 Significance：若可复现，意义较大：在几乎不牺牲洞察覆盖的情况下提升归因，并以极少活动位置接近全上下文，能为长程 agent 的上下文管理提供实用组件；工具重复/错误下降提示其影响不仅是 token 压缩，而是更好的反馈利用。对多模型、大上下文窗口也有效，显示一定泛化。但实际部署额外引入 1.5–1.9B 编码器前向成本，论文的成本计算又将其排除，因此总收益需要更完整的端到端成本-质量权衡才能判断。

1. 内部有效性：Agent 评测运行次数少且不一致，BrowseComp 与 JobBench 依赖 LLM judge，可能有方差；未报告多次运行置信区间（AutomationBench/JobBench 除外）。2. 成本口径：报告成本只算 token 定价，排除源特征编码、记忆网络执行和工具成本，因此“成本下降”不能理解为端到端成本；引入约 1.5–1.9B 参数的编码器可能显著增加延迟和硬件需求。3. 可解释性与归因：软 token 是不透明连续向量，案例明确无法确定哪个省略细节来自记忆；安全性和审计受限。4. 摘要固定：论文把摘要质量视为给定，未考察弱摘要或不同摘要器下的稳健性；Stage II 依赖预计算摘要和 Qwen 生成回复，可能有数据偏差。5. 上下文长度有限：评测主要在两模型和特定上下文窗口，未证明在更长或更短窗口、不同压缩频率或 actor 家族上的泛化。6. 动态检索协同：系统假设精确历史仍可通过工具获取，但实验未系统消融记忆与检索的叠加或替代关系。7. 训练数据与知识：Stage I/II 数据来源可能包含模型自身生成内容，存在训练-测试分布、数据泄漏或自我强化的风险。

后续工作可沿几条线展开：1) 效率与系统集成，量化编码器前向开销、KV cache 和延迟，考虑缓存、稀疏查询或小模型蒸馏，把记忆网络成本纳入总拥有成本。2) 与检索深度结合，设计消融和在线策略，决定何时用软记忆、何时调用档案工具、何时重新压缩，评估记忆对检索失败的鲁棒性。3) 更强的训练信号，例如多步后续决策、工具反馈或最终任务奖励，而不只是单段续写的 KL；可加入值估计或策略梯度，使记忆面向决策价值。4) 可解释性，对软 token 进行探针、投影到词表或稀疏化，理解其编码的信息类型，并建立安全审计机制。5) 摘要质量与压缩策略联合优化，把摘要器、记忆网络和压缩频率作为可学习策略的一部分，处理摘要遗漏和错误传播。6) 跨模型与跨任务泛化，验证对非 DFlash 架构、更长窗口、更多 actor 家族及真实部署的稳定性。7) 理论分析，研究残差连接沿序列维度如何改善长程梯度与信息传播，以及反向 KL 在有限容量压缩下的偏差-方差权衡。