2026-09-30

本文把自己放在视觉骨干从 CNN→ViT→SSM→TTT 的演进线上：计算越来越依赖输入，但“如何适应”的规则仍由训练好的骨干固定。作者据此提出 VisionHOPE，把骨干重构为一种自修改学习系统：在一个图像内部，不仅存储内容被更新，学习率、保留率、键值生成也随上下文共演化。它继承 Nested Learning（NL）的自指构造，主要贡献是：(1) 稳定性匹配的步长控制及其非膨胀证明；(2) 将 NL 的 chunk 形式适配到四方向扫描，形成可实例化的层级/plain 骨干。定位上，这属于 TTT/SSM 之后“让学习规则本身随输入演化”的一类尝试。

视觉骨干设计经历了多次信息聚合方式的改变。CNN 用共享局部核提供平移等变性与局部归纳偏置，现代 ConvNet 仍具竞争力；ViT 用内容相关全局注意力替代局部聚合，但注意力对 token 数呈二次复杂度。SSM 家族以循环状态提供线性复杂度的长程建模，Mamba 使状态转移依赖输入，从而选择性传播或遗忘信息；但每个 token 只是决定一个转移，token 到转移的映射本身在图像内不变。TTT 进一步把内层学习器当作循环状态，通过自监督目标在测试时更新；但视觉 TTT 通常只适配内层学习器的参数，表示映射与更新规则仍主要由外层参数固定。Nested Learning 则把模型描述为一组互相连接的学习过程，每个过程把上下文流压缩进内部状态，并通过自指构造让“存什么”和“怎么学”耦合。VisionHOPE 的工作基于这一自指原则：把 NL 的关联记忆、Delta Gradient Descent（DGD）与保留更新搬到视觉骨干中，并解决直接自指更新带来的不稳定问题。二维处理则沿用 VMamba 式四方向选择性扫描，但把扫描 chunk 与行列对齐。

一、在线学习视角与状态组成。VisionHOPE 的最小单元是 SRNL（Self-Referential Nested Learning）。它把一条图像扫描路径视为在线上下文流 x_t∈R^d，每步状态由五类记忆组成：S_t={M_t^m, M_t^k, M_t^v, m_t^η, m_t^α}。其中 M_t^m、M_t^k、M_t^v 是 d×d 矩阵，分别存储内容、生成键、生成值；m_t^η、m_t^α 是 1×d 行向量，分别生成学习率与保留因子。第 t 步由上一时刻记忆与当前 token 生成更新量：k_t=M_{t-1}^k x_t，v_t=M_{t-1}^v x_t，η_t=φ_η(m_{t-1}^η x_t)，α_t=φ_α(m_{t-1}^α x_t)。注意键、值、步长、保留因子都来自上一时刻被更新的记忆，这正是自指来源。 二、从 GD 到 DGD 再到 SR-DGD。对线性关联记忆 W_t，普通梯度下降以 g_t k_t^T 做秩一写入：W_t=W_{t-1}−η_t g_t k_t^T。DGD 在此基础上加入“当前响应校正”：求解 L2 回归加近端正则的目标，得到有效步长 η_t=λ_t/(1+λ_t‖k_t‖₂²)，闭式更新为 W_t=W_{t-1}(I−η_t k_t k_t^T)−η_t g_t k_t^T。这一项显式地以 W_{t-1}k_t 校正当前写入，适合高度相关的上下文流。保留版 DGD 再引入保留因子 α_t：W_t=W_{t-1}(α_t I−η_t k_t k_t^T)−η_t g_t k_t^T。 在自指版本中，每个记忆不共享 v_t 作为目标，而是用自己的当前状态生成目标 v̂_t^□=M_{t-1}^□ v_t；局部 L2 目标的输出空间梯度为 g_t^□=M_{t-1}^□ k_t−v̂_t^□=M_{t-1}^□(k_t−v_t)=M_{t-1}^□ δ_t，其中 δ_t=k_t−v_t。代入保留 DGD 后，五类记忆统一更新为：M_t^□=M_{t-1}^□(α_t I−η_t k_t k_t^T−η_t δ_t k_t^T)。这里第一项是保留/键相关校正，第二项是自指注入；若不控制，转移谱范数可大于 1，反馈会沿扫描复合放大。查询投影 W_q 留在自指循环之外：q_t=W_q x_t，输出 y_t=M_{t-1}^m q_t。 三、稳定性匹配的步长控制。把完整转移写成 T_t=A_t+B_t，A_t=α_t I−η~_t k_t k_t^T 是保留记忆转移，B_t=−η~_t δ_t k_t^T 是自指注入算子。为保证非膨胀，论文先对键做稳定 L2 归一化使 ‖k_t‖₂≤1，再联合两个控制：(1) 软注入上限。定义 r_t=√(‖δ_t‖₂²+ε²)+ε，η_t^inj=(1−α_t)/r_t，候选步长 η̄_t=η_t^inj(1−exp(−η_t/η_t^inj))。r_t 是比真实 ‖δ_t‖₂ 略大的稳定幅值；软 cap 使小步近似保持原值，大步平滑饱和到注入上限。(2) 谱钳制。η_t^spec=2α_t/‖k_t‖₂²，最终 η~_t=min(η̄_t, η_t^spec)。谱钳制保证 A_t 在 k_t 方向的谱值 α_t−η~_t‖k_t‖₂² 不小于 −α_t，因此 ‖A_t‖₂≤α_t；软注入上限配合 ‖k_t‖₂≤1 给出 ‖B_t‖₂=η~_t‖δ_t‖₂‖k_t‖₂<1−α_t。二者相加得 ‖T_t‖₂<1，进而所有记忆的 Frobenius 范数逐 token 不增。直觉上，α_t 越接近 1，记忆保留越多，留给自指反馈的谱余量越小；软 cap 限制反馈大小，谱钳制防止保留项过度收缩或翻转方向。 四、chunk 化与二维扫描。完全 token 级递归要求每步先更新五个矩阵再生成下一步量，串行开销大。chunk 化让每个 chunk 内使用固定的边界状态并行生成 token 依赖量，工作记忆仍按 token 顺序用 SR-DGD 累积，chunk 结束时将累计状态作为下一 chunk 边界。二维上，VisionHOPE 做四个方向 {→,←,↓,↑} 的序列化；行主序与逆序扫描的 chunk 长度等于 W，列主序与逆序等于 H，因此 chunk 边界与完整行/列对齐。每个方向有独立 SRNL 实例与独立初始记忆；四个方向输出恢复为同一特征网格后，用可学习逐通道权重 λ_r 加权求和。块结构为：Norm1→Proj_in→深度卷积→VisionHOPE 算子→Proj_out→残差，再接 Norm2→FFN→残差。 五、复杂度与训练/数据细节。理论复杂度中，DeiT 有 N 的二次交互项，而 VisionHOPE 为 5/4·ND²+232ND+1600D√N，随 token 数线性增长；激活内存为 O(BND)。外层训练学习查询投影 W_q、输入/输出投影、深度卷积、通道融合权重以及各方向的初始记忆；图像内记忆轨迹是显式可微递归，外层梯度可以直接穿过轨迹，不需要迭代内层求解器。训练数据方面：ImageNet-1K 含 1.28M 训练图、50K 验证图、1000 类，从零训练并报告 224×224 单裁剪 Top-1；COCO 用 ImageNet 预训练层级骨干迁移到 Mask R-CNN，在 val2017 上报告 1× 与 3× 计划，FLOPs 以 1280×800 计算；ADE20K 用 UPerNet 在验证集报告 mIoU，FLOPs 以 512×2048 计算。完整协议在附录 C.1、C.2。

论文在三个基准上系统验证：ImageNet-1K 分类覆盖层级与 plain 两种布局、多个尺度；COCO 上做 Mask R-CNN 的目标检测与实例分割；ADE20K 上做 UPerNet 语义分割。总体结论是 VisionHOPE 在各尺度上达到最优或并列最优，密集预测迁移稳定。消融显示耦合记忆与 DGD 更新均有贡献，移除软注入上限会导致训练早期数值发散，四方向扫描与逐通道融合带来提升。效率分析表明计算与内存随 token 数线性增长，且在高分辨率下相对 DeiT 有明显优势。

1. 在 ImageNet-1K 层级骨干中，VisionHOPE-T 以 27M 参数、4.9 FLOPs 达到 84.1 Top-1。

   VisionHOPE-T | NL | 27 | 4.9 | 84.1

2. 在 ImageNet-1K 层级骨干中，VisionHOPE-S 以 53M 参数、9.8 FLOPs 达到 85.2 Top-1。

   VisionHOPE-S | NL | 53 | 9.8 | 85.2

3. 在 ImageNet-1K 层级骨干中，VisionHOPE-B 以 91M 参数、17.3 FLOPs 达到 85.6 Top-1。

   VisionHOPE-B | NL | 91 | 17.3 | 85.6

4. 在 plain 布局中，P-VisionHOPE-T 以 6M 参数、1.2 FLOPs 达到 78.4 Top-1。

   P-VisionHOPE-T | NL | 6 | 1.2 | 78.4

5. 在 plain 布局中，P-VisionHOPE-S 以 22M 参数、4.7 FLOPs 达到 82.3 Top-1。

   P-VisionHOPE-S | NL | 22 | 4.7 | 82.3

6. 在 plain 布局中，P-VisionHOPE-B 以 88M 参数、19.0 FLOPs 达到 83.4 Top-1。

   P-VisionHOPE-B | NL | 88 | 19.0 | 83.4

7. 在 COCO 1× Mask R-CNN 下，VisionHOPE-T 达到 47.9 box AP 与 43.1 mask AP，FLOPs 为 266。

   VisionHOPE-T | 266 | 47.9 | 43.1

8. 在 COCO 1× Mask R-CNN 下，VisionHOPE-S 达到 49.5 box AP 与 44.2 mask AP，FLOPs 为 365。

   VisionHOPE-S | 365 | 49.5 | 44.2

9. 在 COCO 1× Mask R-CNN 下，VisionHOPE-B 达到 50.5 box AP 与 45.0 mask AP，FLOPs 为 516。

   VisionHOPE-B | 516 | 50.5 | 45.0

10. 在 ADE20K UPerNet 语义分割中，VisionHOPE-T 以 55M 参数、942 FLOPs 达到 49.4 mIoU。

    VisionHOPE-T | 55 | 942 | 49.4

11. 在 ADE20K UPerNet 语义分割中，VisionHOPE-B 以 121M 参数、1200 FLOPs 达到 51.8 mIoU。

    VisionHOPE-B | 121 | 1200 | 51.8

12. 消融中移除 soft injection cap 会令前向过程在训练早期数值发散，结果为 NaN。

    w/o soft injection cap | NaN

Novelty：新颖性属于“中等到较好但非根本性突破”。自修改学习原则、五类记忆耦合、关联记忆与 DGD 均来自已有 Nested Learning；VisionHOPE 的新意主要在于：首次把该原则落地为通用视觉骨干，识别出无约束自指更新在视觉训练中的不稳定问题，并提出软注入上限加谱钳制的步长控制与非膨胀证明，同时把 chunk 化适配到四方向扫描。作为审稿人，我会认为这是扎实的工程化与理论补强，但底层学习规则并非原创，单独看每一项技巧也较常规。 Soundness：理论推导整体自洽：转移矩阵被拆为保留项与注入项，分别给出互补谱界，逻辑上能推出非膨胀。实验覆盖分类、检测、分割与消融，基准选择较全面。但稳健性有保留：谱钳制消融中移除后精度不变，正文也提到其激活率极低，说明它可能主要承担理论保障而实际贡献有限；“保证非膨胀”仅约束记忆范数，不等同于优化稳定或性能提升。部分对比不是严格等参等 FLOPs，且精度提升多为小数点级，缺少多次运行的方差或显著性检验。 Significance：若“自修改学习系统”能成为实用骨干，方向意义较大：它比 SSM/TTT 更进一步地让学习率与保留率也随输入共演化，可能为视觉骨干提供新的设计维度。但从本文证据看，目前更多是概念验证：在强基线上的提升多为小幅，计算优势主要体现在相对 DeiT 的高分辨率场景，对现有 SSM 的吞吐与内存优势也不总是全面领先。真正重要性取决于后续能否在更大规模、更多任务和等成本设置下证明这类递归自修改模块的稳定扩展性。

第一，创新继承性较强。核心自指构造与 DGD 来自 NL，四方向扫描来自 VMamba，本文主要贡献是稳定性修正与视觉实例化，独立理论新意有限。第二，稳定性控制的经验证据不充分：移除谱钳制不改变精度，且谱钳制激活率极低，令人怀疑双控制中实际起作用的只是软注入上限；理论上的必要性尚未被实验充分验证。第三，性能提升幅度有限。ImageNet、COCO、ADE20K 上多为 0.1–0.3 级别提升，而部分对比模型参数量或 FLOPs 并不严格对齐，难以排除额外容量或计算预算的影响；论文也没有报告标准差或多次种子。第四，chunk 化与四方向扫描带来实现复杂度和隐藏常数：每方向有独立 d×d 记忆，d×d 写入与 chunk 边界状态更新仍有可观开销，四路扫描串行性可能限制训练吞吐；论文只给出理论复杂度，实际训练成本与超参敏感性披露不足。第五，理论保证范围有限：非膨胀只约束记忆范数，不保证前向过程不发散于所有数值条件，也不直接说明学习质量；chunk 化后的近似误差未量化。第六，缺少对关键超参（chunk 长度、记忆维度、ε、归一化形式、融合方式）的完整消融，主文仅在一个模型尺度上做有限消融。

后续工作可以沿几个方向展开：一是把 VisionHOPE 扩展到视频、3D 点云与多模态输入，验证自修改学习在更长上下文流中的稳定性；二是用更丰富的记忆参数化替代线性 d×d 矩阵，例如低秩、对角块或非线性键值记忆，降低每 token 写入成本；三是发展无扫描或统一二维递归，摆脱四方向串行处理，进一步缩小隐藏常数；四是深化理论，给出 chunk 近似的误差界、训练收敛性以及表达能力分析；五是做等参、等 FLOPs、等延迟的严格对照，并在更大规模 ImageNet-22K、长训练计划与更多下游任务上检验扩展性；六是把 η~_t 的空间模式与自修改动力学用于可解释性、异常检测或持续学习。

Unified multimodal models can both look at and render images, so in principle they can repair their own generations: diagnose what an image gets wrong, revise it, observe the result, and diagnose again. Whether a revision helps is known only after it is rendered, so the reflection text and the image generation must be learned jointly, over the whole loop. Supervised fine-tuning (SFT) on reflection trajectories gives a cold start but does not find the high-success repair paths, and naive RL that optimizes only the renderer or only one head leaves most of the gain untapped. We introduce UMM-Reflection, which applies reinforcement learning (RL) to complete reflection trajectories inside one unified model: sibling trajectories share one initial image, so the group-relative advantage compares reflection strategies, and one trajectory-level advantage updates both the reflection tokens and the flow-based revisions, avoiding the combinatorial blow-up of per-round credit assignment. Unlike sing

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文面向代码智能体的强化学习训练，处理“通过测试即同分”的奖励粒度问题。在 GRPO/Dr. GRPO 的组相对优势框架下，测试通过轨迹共享同一正优势，模型无法区分实现质量与任务贴合度。Gagar 提出在混合结果组内做组级智能体评审，把通过者按质量排序并映射为折扣因子，再以保和缩放把信用从低质量通过者重新分配给高质量通过者，同时保持正优势总和、失败侧优势与质量权重比不变。文章定位在 reward/credit assignment 与 agentic evaluation 的交叉点，并以工业级 MoE 模型规模验证其实用性，属于面向长程仓库级代码任务的工程化算法改进。

背景：可执行测试反馈让代码智能体 RL 能以二元奖励大规模训练，轨迹通过测试得 1、否则得 0。GRPO 用组内相对优势估计，配合动态采样丢弃结果一致组，已成为常见选择；但在这种设置里，同一组内所有通过测试的轨迹获得相同正优势，奖励只回答“是否通过”，不回答“通过得好不好”。实际通过同一组测试的补丁可能差异很大：有的聚焦根因、改动最小、遵循仓库惯例，有的引入无关重构、削弱校验或越出任务范围，直接影响可合并性与维护成本。仅靠二元结果无法强化更优实现。 相关工作可从三条线看。一是 LLM 智能体 RL 与过程/结果反馈：Agent Lightning、HiPER、GRPO、DAPO 分别处理执行解耦、规划-执行信用、组相对优势与均匀组过滤。二是奖励建模与塑形：ReCode 对通过解给候选级过程奖励，TRIAGE 给段级监督，CPO 与 GRRM 在对话/翻译中做比较评估，Agent-as-a-Judge 以 agentic 方式审查任务工件，Groupwise Ranking Reward 用单次文本评审器对通过的多模态推理排序；Gagar 与之不同处在于交互式审查代码轨迹、补丁与仓库并允许定向执行检查。三是信用分配与优势塑形：RUDDER、FACTOR 做时序分解，GiGPO/GraphGPO 依赖共享中间状态，而代码智能体轨迹常超百轮、仓库与执行状态发散，难以对齐中间态；PAPO 在通过子集内归一化做零和修正，EDAS 重塑失败侧优势，GTPO/GRPO-S 与 RL-ZVP 用熵引导塑形。Gagar 选择在混合结果组内用实现质量排名重加权成功侧优势，并保和再分配。

核心思路：Gagar 不改变二元结果奖励与组相对优势的框架，而是在混合结果组内，对通过测试的轨迹按其实现质量重新分配正优势，失败的负优势保持不动，且保持正优势总和不变（零和再分配）。下面按训练设置、组内评审、保和再分配、在线实现四部分展开。 训练设置。对每个任务 x，rollout 生成多条轨迹，最终 patch 经可执行测试得到二元奖励；基础设施失败轨迹被排除后，确认作弊按失败处理，有效奖励 R_i∈{0,1}。组统计在 n 条有效轨迹上计算。沿用 Dr. GRPO，使用均值中心化优势 A_i=R_i−R̄，其中 R̄=n^{-1}ΣR_j，不做奖励标准差归一化。采用动态采样（DAPO）保留同时含通过与失败的组，即 0<R̄<1。令 P={i:R_i=1}、F={i:R_i=0}，通过者一律得到相同正优势 1−R̄，这正是本文要打破的“无差别”。 组内智能体评审。评审器把同任务所有 rollout 放进共享工作区（任务说明、仓库、完整轨迹、提交 patch、测试输出）。组内联合比较能暴露单看难以发现的冗余改动与低效策略；失败轨迹提供反向上下文，但只有通过者参与质量排序。Flash 与 Pro 实验都用同一 MiMo-V2.6-Pro 的预 RL SFT 检查点作为在线评审器；早期用 Claude Opus 5 约 2000 s/组，训练侧换用 SFT 评审器后约 600 s，并与 partial-rollout 调度重叠以隐藏延迟。 证据收集不是一次性读取，而是 agentic 的：先看逐轮摘要定位需要细查的部分，再读相关轨迹片段，把 patch 与仓库代码、测试日志交叉核对，必要时跑定向检查；负向评价必须引用 patch 位置、轨迹事件或执行结果。 质量维度有五项：方案适用性、实现精度、改动最小性、意外副作用规避、代码库风格一致性。评审器先识别是否依赖泄漏/外部答案，确认者置零奖励并排除出排序；其余候选按维度打分（权重 0.30/0.25/0.20/0.15/0.10 计算加权分 W_i），并标记严重过程问题。据此分为三档：T1 为强实现且无严重过程问题或未解决回归；T3 为有重大质量缺陷；其余为 T2。档内先按加权分排序，可用证据支撑调整，证据不足则并列。档位与档内排名映射为折扣因子 f_i∈(0,1]：T1 第一名保留 1，其余 f_runner=0.9；T2 按并列组零基排名在 f_max=0.85 与 f_min=0.4 之间线性折扣；T3 固定 f_low=0.2；并列候选共享同一因子。 保和优势再分配。若只做降权，Ã_i=f_i A_i（i∈P），失败侧不动，则正优势被删去 D=Σ_{P}(1−f_i)A_i≥0，整组优势和变为 −D，负优势总量超过正优势，削弱对成功轨迹的正强化；实验显示这伴随熵与长度快速上升、评估不稳。Gagar 将删去的信用在通过者内部按质量权重重新分配。设 S+=Σ_{P}A_i 为原正优势总和，定义 λ=S+/Σ_{P}f_j A_j，通过者取 A*_i=λ f_i A_i，失败者取 A*_i=A_i。分母在保留组中恒正。 守恒性质：Σ_P A*_i=S+，失败优势不变，Σ_i(A*_i−A_i)=0，即对通过子集零和且整组保持零均值。由于通过者初始优势相同，该式等价于 A*_i=(1−R̄)f_i/f̄_P，f̄_P 为通过集因子均值。因此因子高于组均者获得信用，低于组均者让渡信用；所有通过者乘以同一 λ，保序且保持比值 A*_i/A*_j=f_i/f_j。若组内只有一个通过者或所有因子相等，则退化为原始结果优势。方法不需要跨 rollout 对齐中间状态。 为什么在优势空间做：均值中心化本身只能保证零和优势，不能同时保持原正优势总和、失败优势不变、以及质量权重比；本文的 λ 缩放正是为同时满足这三个约束。附录 A.3 给出等价的奖励变换：R'_i=A*_i+R̄，通过者为 R̄+(1−R̄)f_i/f̄_P，失败者为 0；因 Σ_P f_i/f̄_P=|P|，ΣR'_i=|P|、组均值不变，减去组均值即恢复 A*_i。直接对通过奖励乘 f_i（R̂_i=f_i）则会改变失败优势、改变通过者比值，且当 f_i<R̄ f̄_P 时会给通过者负优势，故不等价。 在线集成与实现保护。评审异步于 rollout 收集运行；使用前校验结果完整性（例如通过者是否全部进入排序），无效则回退到原始结果优势。确认泄漏/外挂先改奖励为 0 并重算组统计，再与质量再分配分开处理。最终序列优势广播到轨迹中的模型生成 token。 实际实现对公共缩放因子设上限 λ_bnd=min(λ,λ_max)，Flash 取 λ_max=1.5；先算 B_i=λ_bnd f_i A_i（通过）或 A_i（失败），再减去组均值 B_i−n^{-1}ΣB_j 得到训练优势。上限未激活时退化为精确保和形式；激活时仍恢复零均值与通过者排序，但原正优势总和与失败优势可能不再保持。若存在长度类奖励后处理使奖励非二元，则用 a_i=r_i−r̄ 与正部 a_i^+=max(a_i,0)，λ_bnd=min(Σ_P a_j^+/Σ_P f_j a_j^+,λ_max)，B_i=λ_bnd f_i a_i^+（通过）或 a_i（失败），再减组均值；分母为零则跳过缩放。此时通过者初始优势可不相等，最终排序由初始优势与质量因子共同决定。基础设施无效轨迹在组统计前掩码；确认评测损坏的组不参与训练；参考 patch 仅用于理解任务，不参与相似度评分、也不获得训练优势。

实验分四块：受控代码 RL 主实验用 Flash 从预 RL SFT 检查点初始化，对比二元奖励基线与 Gagar 在 DeepSWE 与 SWE-bench Pro 上的通过率、交互轮数与 token 长度；随后以盲审 rubric 评测实现质量与解题行为；再用消融比较“仅降权”与“保和再分配”，观察损失、熵、长度与评估稳定性；最后在 Flash 与 Pro 的工业级混合任务 RL 中验证可扩展性并与外部模型对照。总体显示 Gagar 在性能、效率、稳定性上优于二元基线，消融支持恢复正向信用。

1. 受控 Flash 实验中，二元基线在 step 28 因性能退化停止，Gagar 在 DeepSWE v1.1 于 step 28 达到 62.2%、比基线高 12.1 个百分点，并在 step 44 达到峰值 63.4%；基线则从 step 20 的 58.5% 降至 50.2%。

   its DeepSWE pass rate falls from 58.5% at step 20 to 50.2%. At step 28, Gagar achieves 62.2% on DeepSWE v1.1, exceeding the baseline by 12.1 percentage points. With continued training, Gagar reaches a peak DeepSWE pass rate of 63.4% at step 44.

2. SWE-bench Pro 上基线从 step 16 到 28 处于约 59% 的平台期，Gagar 继续提升至 step 52 的 62.5%。

   On SWE-bench Pro, the baseline plateaus at approximately 59% from step 16 through step 28, whereas Gagar continues to improve with further training, reaching 62.5% at step 52.

3. 效率上，Gagar 在 step 28 将 DeepSWE 平均轮数由 132.3 降至 111.6（降幅 15.6%），平均 token 由 191.9k 降至 172.9k（降幅 9.9%）。

   At step 28, it reduces DeepSWE's mean turn count from 132.3 to 111.6 and mean token length from 191.9k to 172.9k, reductions of 15.6% and 9.9%, respectively.

4. SWE-bench Pro 上平均轮数由 58.4 降至 54.6（降幅 6.5%），平均 token 由 79.9k 降至 68.6k（降幅 14.1%）。

   On SWE-bench Pro, mean turns decrease from 58.4 to 54.6 and mean token length from 79.9k to 68.6k, reductions of 6.5% and 14.1%.

5. 盲审质量评估中，Gagar 平均质量分 4.03 对基线 3.70，通过候选平均胜率 69.8%，并在 65.0% 的组中排第一（平分后）。

   Gagar achieves a mean quality score of 4.03 versus 3.70 for the baseline, with an average win rate of 69.8% among passing candidates. It ranks first in 65.0% of groups after splitting ties.

6. 消融中，仅降权运行在 step 1–30 的平均策略梯度损失为 0.0304，而完整保和再分配为 0.0021。

   The downweighting-only run has a consistently higher policy-gradient loss, averaging 0.0304 over steps 1–30, compared with 0.0021 for the full method.

7. 仅降权时策略熵从 step 1 的 0.359 升至 step 30 的 0.905，训练 rollout 平均长度从 47.1k 增至 114.1k token；再分配下熵从 0.358 升至 0.513，长度从 46.5k 增至 69.9k。

   Without redistribution, policy entropy rises from 0.359 at step 1 to 0.905 at step 30, while mean training-rollout length grows from 47.1k to 114.1k tokens. With redistribution, entropy increases more gradually, from 0.358 to 0.513, and mean length grows from 46.5k to 69.9k tokens.

8. 仅降权的 DeepSWE 通过率在 step 18 的 56.5% 与 step 20 的 48.8% 间波动、step 28 回升至 56.2%，低于完整方法的 62.2%；其轮数与 token 在 step 22 达 158.3 与 246.7k 峰值，step 28 仍为 143.5 与 236.0k，高于再分配的 111.6 与 172.9k。

   On DeepSWE, the downweighting-only pass rate drops from 56.5% at step 18 to 48.8% at step 20, then partially recovers to 56.2% at step 28, compared with 62.2% for the full method. Its mean interaction count and token length peak at 158.3 turns and 246.7k tokens at step 22. At step 28, these remain elevated at 143.5 turns and 236.0k tokens, versus 111.6 turns and 172.9k tokens with redistribution.

9. 工业级混合任务 RL 后，Flash 与 Pro 在 DeepSWE v1.1 的 avg@3 分别达到 67.9 与 71.9。

   After mixed-task RL, the DeepSWE v1.1 avg@3 scores reach 67.9 and 71.9 for Flash and Pro, respectively

10. Pro 在 SWE-bench Pro 上以 62.7% 超过 GPT-5.6 Sol 的 60.5%。

    It also surpasses GPT-5.6 Sol on SWE-bench Pro, scoring 62.7% versus 60.5%.

11. Flash 为 310B 总参数/15B 激活，Pro 为 1.02T 总参数/42B 激活。

    MiMo-V2.6-Flash, with 310B total and 15B active parameters, and MiMo-V2.6-Pro, with 1.02T total and 42B active parameters.

12. 评审延迟从 Claude Opus 5 的约 2000 s/组降至 SFT 评审器的约 600 s/组。

    Our initial implementation used Claude Opus 5, with an average end-to-end grading time of approximately 2,000 s per group. Since grading begins only after all rollouts in a group have completed, this added substantial latency to training. Our SFT-trained grader reduces average grading time to approximately 600 s while maintaining good accuracy.

Novelty：新颖性中等偏上。单看“对通过者排序”“agentic 评测”或“奖励塑形”都不全新：GRRM/CPO 做比较评估，Agent-as-a-Judge 做 agentic 审查，PAPO 在通过子集内归一化做零和修正，Groupwise Ranking Reward 做组内文本排序。Gagar 的新意在于三点组合：①把组内比较置于共享仓库工作区并允许交互式代码检查与定向执行，超越单次文本打分；②明确把质量排序映射为折扣因子后，用保和缩放恢复原正优势总和，同时保持失败优势不变与质量权重比，形成清晰的守恒约束；③在工业级 MoE 规模上做验证。整体属于工程化、系统化创新，理论贡献有限，但公式干净、目标明确。 Soundness：方法部分推导自洽，消融能对应机制假设（仅降权导致负优势占比过高），盲审质量评估与在线评审器分离降低循环验证风险。主要薄弱点：结果以单次运行、固定步点为主，未见误差棒或显著性检验；混合任务 RL 无同预算的无 Gagar 对照，难以把最终分数完全归因于 Gagar；实际实现含 λ_max 与长度后处理分支，与正文精确保和存在偏差，但正文已明确区分；质量审计仅 30 个任务，统计力有限。综合看，核心主张在受控 Flash 实验中证据较直接，工业级扩展结论偏展示性。 Significance：对代码智能体 RL 有实际意义：在测试二元奖励之外引入相对实现质量的训练信号，直接回应“通过即同分”的信用分配缺陷；效率指标（轮数、token）与训练稳定性改善对长程 repo 级任务尤其有价值。工业规模（310B/1.02T MoE）验证增强了落地可信度。但依赖在线评审器的成本与可靠性仍是部署瓶颈，rubric 与超参的手工设定也限制了直接迁移。总体是增量但实用的贡献，适合作为工程与算法结合的 baseline 改进。

一是统计稳健性不足：主实验与消融基本是单次运行、特定步点的对比，没有多随机种子、误差棒或显著性检验，无法判断性能差异是否稳健。二是评审器与模型存在潜在同源性：在线评审器使用 Pro 的预 RL SFT 检查点，Pro 实验相当于用同族模型给自己评分，可能引入自我偏好或循环验证；虽然离线质量审计改用 Claude Opus 5，但样本只有 30 个 DeepSWE 任务，覆盖面有限。三是评审成本仍然很高：即便从约 2000 s/组降到约 600 s/组，仍依赖异步调度与 partial-rollout 重叠，可能限制吞吐、在线训练节奏与可扩展性。四是 rubric、三档分层与折扣因子映射（f_runner/f_min/f_max/f_low、λ_max 等）偏手工设定，跨任务、跨模型、跨语言仓库的泛化未系统验证。五是精确保和与实际实现之间存在缝隙：λ_max=1.5 的上限在激活时不再保持原正优势总和与失败优势，长度惩罚等后处理又把二元奖励变成非二元，二者叠加后的行为只做了公式说明，没有充分消融。六是混合任务 RL 缺少同训练预算下的无 Gagar 对照，无法把 Flash/Pro 最终分数完全归因于 Gagar，与外部模型的比较也不是严格对齐的训练成本对比。七是泄漏/外挂检测依赖评审器判断，漏检会污染奖励；评测损坏组的剔除、基础设施无效轨迹掩码等清洗规则也可能影响组分布。八是动态采样只保留混合结果组，纯通过/纯失败组被丢弃，可能损失信息或引入采样偏差。

一是 token 级再分配：文中已提到同一守恒原则可用于 token，可在长轨迹上探索把质量信号更细粒度地分配到模型生成 token，与 FACTOR 类 token 级信用分配结合。二是更快、更可靠的评审器：通过蒸馏、并行证据检索、跨组仓库上下文缓存进一步降低约 600 s 的延迟，并研究评审器与策略同步训练或迭代自评，避免单一固定 SFT 评审器的偏见。三是对 bounded 分支做更细消融：量化 λ_max 激活频率及其对精确保和、训练稳定性与最终性能的影响，并系统研究长度惩罚、hack 修正与质量再分配的组合顺序。四是扩展到更多代码基准与真实仓库，检验五维 rubric 与 tier 规则的迁移性；尝试自动校准 f 映射超参，或学习从排序到优势权重的映射。五是做多运行统计检验与更长训练曲线，确认稳定性和显著性结论，并在混合任务中补同预算无 Gagar 的消融对照。六是把成功侧质量排序与失败侧的误差多样性（EDAS）或过程奖励统一起来，形成成功/失败两侧协同的信用分配。七是研究评审器对抗性鲁棒性与防作弊，评估奖励黑客、泄漏答案与恶意补丁在质量排序下的失效模式。

Most modern multimodal large language models (MLLMs) build on a pretrained visual encoder that provides a strong visual prior. Encoder-free MLLMs instead learn visual representations directly from raw pixels, offering a simple and unified architecture, but their scaling behavior has not been systematically characterized. To fill this gap, we compare scaling laws for encoder-free and encoder-based MLLMs and report three main findings: (1) Removing the visual encoder shifts the compute-optimal allocation for the multimodal objective toward larger models, while leaving that for text nearly unchanged. (2) The two architectures exhibit nearly overlapping loss--compute frontiers on the text objective, but diverge on the multimodal objective: encoder-free models underperform at small scales yet are predicted to catch up at around 10^{22} FLOPs, well within practical pretraining budgets. (3) Without a visual encoder, the language model learns to take over its role via vision-specific adaptatio

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文是一篇面向“xLong-horizon”LLM 智能体的在线强化学习系统论文。它把问题从常见的 SWE-bench 级长程任务推进到仓库生成、系统重实现、代码库级重构等单次执行可达数小时、数百次模型-环境交互、单 rollout 接近 1M token 的场景，并围绕两个工程瓶颈展开：一是 rollout 长尾方差造成的 GPU 空闲与固定分区/整体切换的低效；二是黑盒 harness 产生的非线性分支轨迹带来样本冗余与训练开销爆炸。文章提出的 QwenGyre 以“弹性调度器 + 轨迹处理器”的组合方案，试图在不中断活体执行、不重写 harness 的前提下，动态在 rollout 与训练之间重配 GPU，并把分支历史压缩为有界、去重、保留原始上下文的训练样本。其贡献更偏系统架构与训练管线工程，而非新的策略优化算法。

背景可从三个层面理解。第一，任务形态正在从“定位并修复单个 issue”的数十次交互，走向端到端软件开发：自然语言到仓库生成、系统重实现、全库迁移等。这些任务被称为 xLong-horizon，执行持续数小时，包含数百个相互依赖的模型-环境交互，跨请求累计约 1M token。第二，在线 RL 通常采用 group-relative 目标：每个 query 采样 N 条独立 rollout 组成一组，用组内标量奖励估计优势，避免学习价值函数；每步消耗 B 个组，burst 内连续 μ 步后再发布权重。此类目标要求组内所有 N 条 rollout 完成才能得到优势，因此个别 straggler 会阻塞整组训练。第三，调度上存在两种基线：Async 用固定 GPU 分区让 rollout 与训练并行，但深队列提高并发的同时会提高调度陈旧度；Colocate 让整个 GPU 池在 rollout 与训练之间阶段切换，训练必须等待 rollout 尾部完成。轨迹建模上，xLong harness 会压缩历史、委托子 agent、重试失败路径，使单次执行不再是线性轨迹，而是多上下文路径构成的树/图；若把所有路径展开为独立样本，共享前缀会被重复计入，训练开销急剧上升。黑盒接口只暴露模型调用和任务级评估，没有通用 checkpoint/resume 能力，因此调度必须保证执行期间的推理可达性。

QwenGyre 的核心设计是分离三个生命周期：harness 执行、GPU 角色、训练样本。harness 与 workspace 留在 GPU worker 之外，proxy 记录模型调用并在角色切换时重路由请求；执行记录独立保存，训练样本在需要时才物化。系统分为弹性调度平面和轨迹处理平面。 调度平面。资源被组织为 K 个“弹性单元 cell”加上可选的 standalone rollout 池。每个 cell 要么作为 rollout 引擎，要么作为完整训练 actor 副本；cell 之间共享训练并行布局，张量/流水线/专家/上下文并行组保持在单个 cell 内，优先放在高带宽互联上。core cell 持有权威权重并是唯一 optimizer 状态所有者，satellite cell 可以拉取参数快照并在一个 batch 进行中动态加入。rollout 容量为 C_R(t)=C_s+(K-k(t))C_e，其中 k(t) 是训练态 cell 数，C_e 是单个 cell 的 rollout 并发容量，C_s 是 standalone 池容量。 调度采用边界分发：记录 d(t)、p(t)、f(t) 三个累计计数，分别表示已分发、已启动、已终止执行；d-p 为排队，p-f 为运行，f 在完成/失败/超时/取消时恰好加一。初始分发量为 (φ+μ)NB，每个 burst 权重发布后再补 μNB。启动时若有空余容量，就启动 min{d(t)-p(t), C_R(t)-(p(t)-f(t))} 个排队执行。水位定义为 w(t)=d(t)-f(t)，在 burst 内单调不增。下一个 cell 进入训练的条件是 w(t)≤C_R(t)-C_e，即剩余 rollout 容量仍能覆盖未完成执行；同时还要满足供应检查：就绪且未分配组数至少覆盖当前 batch 所需 B 组的 ρ_min 比例并持续 τ 时间。cell 按 core 先、satellite 后串行切换，训练期间保持增长前缀。burst 结束后，satellite 回到 rollout 并恢复 SGLang，core 发布新权重；core 是否继续留在训练态取决于就绪组是否足够，以及 w(t)+μNB≤C_s+(K-1)C_e。 角色切换保护活体执行。proxy 重路由模型调用，而 harness、workspace、工具状态保持不动；源 cell 停止接新请求，调度器预留目标容量并更新路由，取消源引擎上的未完成请求后由 proxy 透明重试。目标选择优先 standalone 引擎，再按 cell 逆序选择 rollout cell，以减少同一执行在 burst 内被反复迁移。KV-cache 迁移方面，源端先 pin cache block，请求取消且缓存写停止后，目标通过 RDMA 读取，源在目标确认接管后才释放。随后 cell 卸载 rollout 参数、释放 KV cache 和临时缓冲，再恢复训练参数与 buffer；后端进程和通信组保持存活。 流式训练解决“cell 动态加入同一 batch”。core 在过渡到 burst 首步及后续每步前通过 Transfer Engine 暴露权威权重；satellite 注册后经 RDMA 拉取参数并加入训练。梯度累积期间权重固定，故加入者可读到一致快照；加入窗口在 optimizer 更新前关闭。K 个 cell 预建 K-1 组通信组，分别对应前缀 2…K 个 cell，按参与前缀选择集合。训练采用双缓冲：trajectory buffer 按 rollout group 存执行记录与奖励；stream packing buffer 按需物化所选轨迹，优先拉取最旧策略版本的 ready group，把轨迹物化为 token rows 并重排。它把数据切成 micro-step 发到共享队列，cell 原子认领不重叠的工作；更快/更早的 cell 消费更多 micro-step，使各 cell 尽量同时完成同一 batch。每个 cell 用连续 1F1B 流水线处理，数据暂缺时在一致调度点暂停并保留流水线状态，流关闭后排空；每个 cell 每 batch 有一次启动和一次最终 drain。 轨迹处理平面。第一步是 TITO 记录：proxy 保存每个模型调用的精确输入/输出 token ID、输出 token 的行为 log-probability 和元数据。proxy 还按 call ID 缓存原始 tool-call payload，在匹配后续请求历史前恢复这些 payload 并保留 incoming ID，从而避免 tool-call 重格式化导致的历史不匹配。这样即使后续 compaction 把某输出从 harness 历史中移除，训练仍保留其原始条件上下文。 第二步是前缀共享树。每个执行建一棵 trajectory tree，节点来自请求记录，存增量输入、记录输出与元数据；匹配已有路径时复用已存 token，仅编码新输入。分叉上下文成新分支，无匹配前缀的请求挂到根。候选轨迹对应“叶子 + 根到叶子前缀路径”，在选样前保持共享表示，避免对每条路径展开完整历史。 第三步是部分评分。执行关闭时，框架固定策略生成记录并评估保留的 artifact 状态；未完成但可评估的执行可获得有效分数。数据面不从耗时、轨迹长度或终止状态构造奖励，而是用可执行检查或任务专用评估器返回分数、有效性和被评估状态引用。评估失败可对同一状态重试，预算耗尽则排除该执行；有效零分与“未解决评估”被明确区分。完全没有可评估工作的罕见失败会插入零奖励 dummy trajectory 作为失败占位。 第四步是轨迹采样与目标掩码。只有 rollout 期间由策略生成的 token 才是可训练目标；系统提示、用户提示、工具结果、harness 注入的 assistant 内容均只作为条件上下文。候选叶子按角色优先级分类，Claude Code 下优先级为 main > main-summary > sub-agent > sub-agent-summary。每次从仍有未掩码可训练 token 的最高优先级类中，按未掩码 token 数成比例地抽一条叶子；该轨迹的目标固定为抽取时尚未掩码的 token，然后把整条 root-to-leaf 路径掩码。这保证共享前缀只训练一次，已固定目标不被后续抽取改变，剩余叶子按降低后的计数重新加权。重复直到无可训练 token 或达到 J_max。最终每条选中轨迹继承其执行的组相对优势，并保留执行身份、原始上下文、log-prob 和固定目标掩码。 损失归一化上，系统对每个执行内所选可训练 token 取平均，再对 batch 内执行取平均，避免“路径多/子路径多”的执行获得更大聚合权重。RL 算法使用 GSPO 的适配版本：token 级重要性加权配合执行级裁剪；具体组大小、批大小、burst 数、轨迹上限、学习率等设置在实验部分给出。训练数据方面，NL2RepoBench 训练时由独立评估器依据独立编写测试评分，DeepSWE 用仓库测试，TerminalBench 用任务专用 verifier，所有任务由 Claude Code harness 在容器化环境中执行。

实验在三个 agentic 基准上评估 QwenGyre，覆盖仓库生成、既有仓库软件工程和多轮终端任务，使用两个规模的模型。比较对象为 Async 与 Colocate，三者在相同 GPU 预算和匹配的调度陈旧度下运行，并采用相同的 GSPO 适配算法。主要结果包括端到端墙钟时间加速、训练分数曲线是否与基线匹配、旗舰模型的评估通过率变化，以及执行时长与超时分布。消融从 Async 和 Colocate 两条路径逐步加入流式训练、角色切换和细粒度弹性分配，还考察了 cell 粒度与轨迹采样上限的影响。总体结论是 QwenGyre 在保持训练分数的同时取得一致的端到端加速，并且轨迹采样上限能在训练质量与计算成本之间取得平衡。

1. 在旗舰模型 Qwen 3.8 2.4T 上，QwenGyre 在 NL2RepoBench 上 48 步训练带来 6.0% 的绝对通过率提升。

   Scaled to our flagship model, Qwen 3.8 2.4T, with 700K tokens per rollout, QwenGyre yields a 6.0% absolute gain on NL2RepoBench (52.5% → \to 58.5%) in 48 steps.

2. 跨评测工作负载，QwenGyre 相对 Colocate 的最高加速为 1.85×，相对 Async 的最高加速为 1.78×。

   Across our evaluations on diverse domains of training datasets, QwenGyre delivers up to 1.85 × 1.85\times and 1.78 × 1.78\times speedups over Colocate and Async, respectively.

3. 在 Qwen 3.6 122B 的 NL2RepoBench 上，QwenGyre 在两种陈旧度目标下相对 Async 加速 1.42–1.53×、相对 Colocate 加速 1.36–1.47×，且训练分数曲线可比。

   Figure 7 (a–d) shows that QwenGyre achieves 1.42 1.42 – 1.53 × 1.53\times speedups over Async and 1.36 1.36 – 1.47 × 1.47\times over Colocate after 48 training steps at both mean scheduling staleness targets.

4. 在 Qwen 3.8 2.4T 上，QwenGyre 完成 48 步训练耗时 75.42 小时，对比 Async 的 134.55 小时和 Colocate 的 91.47 小时，分别加速 1.78× 和 1.21×。

   As shown in Figure 8 (c,d), QwenGyre completes 48 training steps in 75.42 hours, compared with 134.55 hours for Async and 91.47 hours for Colocate, yielding end-to-end speedups of 1.78 × 1.78\times and 1.21 × 1.21\times , respectively.

5. Qwen 3.8 2.4T 的 NL2RepoBench 评估通过率从 52.48% 提升到 58.54%，训练分数与 Async、Colocate 匹配。

   Its evaluation passrate improves from 52.48% to 58.54% over 48 training steps (Figure 8 (f)).

6. NL2RepoBench 在 Qwen 3.6 122B 上平均每次 rollout 1.93 小时、每个 query 2.96 小时，9.51% 的 query 至少四小时；harness 超时率 6.25%，overall 超时率 0.87%。

   Figure 5 shows mean durations of 1.93 hours per rollout execution and 2.96 hours per query; 9.51% of queries take at least four hours. Figure 5 (b) shows harness and overall timeout rates of 6.25% and 0.87%, respectively.

7. Qwen 3.8 2.4T 的执行尾部更重：61.1% 的 query 至少四小时，其中 38.2% 的 query 最长 rollout 以 overall timeout 终止。

   Among queries with complete duration records, 61.1% take at least four hours, compared with 9.51% for Qwen 3.6 122B. In 38.2% of these queries, the longest rollout execution terminates with an overall timeout.

8. DeepSWE 与 TerminalBench 上，QwenGyre 在两种陈旧度目标下均取得一致加速：DeepSWE 相对 Async 最高 1.572、相对 Colocate 最高 1.824；TerminalBench 相对 Async 最高 1.430、相对 Colocate 最高 1.849。

   Dataset | 𝔼 ⁡ [ d ] \mathbb{E}[d] | ( φ , μ ) ({\varphi},\mu) | vs. Async | vs. Colocate DeepSWE | 1 | ( 0.5 , 2 ) (0.5,2) | 1.569 | 1.610 DeepSWE | 1.5 | ( 0.5 , 3 ) (0.5,3) | 1.572 | 1.824 TerminalBench | 1 | ( 0.5 , 2 ) (0.5,2) | 1.383 | 1.809 TerminalBench | 1.5 | ( 0.5 , 3 ) (0.5,3) | 1.430 | 1.849

9. 消融中，将 C2 的粗粒度固定拆分替换为八个独立切换的 4-node cell 后，E0 相对 C2 取得 1.19× 加速。

   E0 builds on C2 by replacing its fixed split of 28 colocated nodes and four standalone rollout nodes with eight independently switching 4-node cells, while retaining streaming and three training steps per burst. Training can thus start on a subset of cells and expand as data arrives while other cells continue rollout, yielding a 1.19 × 1.19\times speedup over C2.

10. 即便每 burst 只有一个训练步，E1 仍相对流式 Async A3 加速 1.24×、相对 C2 加速 1.08×，但比 E0 慢 10.9%。

    Although E1 takes 10.9% longer than E0, it still achieves a 1.24 × 1.24\times speedup over A3, which also uses streaming and one training step per burst, and a 1.08 × 1.08\times speedup over C2.

11. 将八个 4-node cell 重组为四个 8-node cell 后，E2 仅比 E0 慢 2.2%；E0 中 rollout 完全隐藏训练，仍有 20.85% 的 slack。

    It completes the 12 training steps in 16 hours 28 minutes (16.47 hours), only 2.2% longer than E0’s 16.12 hours. In E0, rollout fully hides training, with 20.85% slack remaining.

12. 轨迹采样上限为 5 时训练分数与全量轨迹相当，但前向-反向时间降至未截断基线的 74.8%，减少 25.2%；上限为 1 时降至 41.4%。

    Over the same window, mean forward–backward time per step with caps of one and five is 41.4% and 74.8% of the uncapped baseline, respectively. A cap of five therefore preserves comparable training scores while reducing forward–backward time by 25.2%.

Novelty：新颖性中等偏系统侧。单看“弹性调度”或“轨迹前缀共享”都不是首次出现，相关工作已有 TideRL、BiDiRL、DynaResize、Libra、ClawGym II 等。QwenGyre 的主要新意在于把两者耦合到同一个 xLong、黑盒 harness、无 checkpoint/resume 的设定中：cell 级角色切换必须在不中断活体 harness 执行的情况下完成请求重路由与 KV-cache 迁移；轨迹处理器则同时处理角色优先级、共享前缀去重、部分进度评分和 token 级 provenance 掩码。相比单纯提升单一组件，这是一种面向极长任务生命周期的端到端工程整合，但缺乏全新的理论或算法贡献。 Soundness：系统论证总体较扎实：它明确定义了边界分发、调度陈旧度、水位、容量和切换条件，并给出消融路径从 Async/Colocate 逐步加入 streaming、角色切换和细粒度分配，能较好归因各项收益。轨迹采样部分对“共享前缀只训练一次”和“执行级归一化”的解释清晰，且用训练分数与梯度范数佐证。但严谨性仍有保留：多数结果是单次运行或图曲线，没有方差/多次种子；训练分数“匹配”缺少严格等价性检验；DeepSWE/TerminalBench 只报加速比，缺少训练质量曲线；样本顺序对学习质量的影响未被隔离；部分结论依赖较大规模 GPU 集群，结论外推性有限。 Significance：工程意义较高：若 xLong-horizon 智能体训练确实成为主流，数小时 rollout 下的 GPU 利用率和轨迹冗余会直接决定训练成本与可行性。QwenGyre 提供了可操作的 cell 组织、水位控制、动态数据并行、TITO 前缀树与有界轨迹采样方案，对工业级在线 RL 训练平台有参考价值。学术意义上，它更多是把已知技术系统化并适配新工作负载，而非开辟新的算法方向；其影响可能体现在后续系统会采用“harness 保活 + 弹性 cell + 分支轨迹树”的组合设计。

论文自身承认两点局限。一是弹性调度需要多个可独立切换的 cell，且每个 cell 必须装下模型与训练并行状态，因此极小 GPU 预算下不适用；其评估只说明在固定 32-node 预算下从八个 4-node cell 变到四个 8-node cell 影响不大，未评估明显更小的总预算。二是当 burst 内多训练步时，流式训练会把 ready group 增量分配给不同 minibatch，无法在 burst 开始前做全局 shuffle；单步 burst 可避免跨 minibatch 切分，但论文只量化了时间代价，没有隔离样本顺序对学习质量的影响。 从审稿角度还可指出：比较基线只包括 Async 和 Colocate，未直接与同期的弹性/动态重配框架（如 TideRL、BiDiRL、DynaResize、Libra）对比，因此无法判断相对更先进系统方案的优势；DeepSWE/TerminalBench 的表格只有加速比，没有训练分数曲线、最终 passrate 或梯度稳定性；结果缺少多次运行的标准差或置信区间；黑盒 harness 被设定为不可修改，但评估又依赖 Claude Code 这一具体闭环系统，结论对其他 harness 的迁移性不明确；训练数据是内部构造的，外部可复现性有限；对 KV-cache RDMA 迁移、重路由失败、目标容量预留不足等异常路径只做了机制描述，没有压力测试；部分模型命名与数值呈现方式增加了结果核验难度。

后续工作可从四个方向展开。第一，扩展调度基线：在相同 GPU 预算和陈旧度约束下，将 QwenGyre 与 Libra、BiDiRL、DynaResize、TideRL 等近期弹性调度器做端到端对比，并分别报告训练分数、墙钟时间、GPU 空闲率、切换开销和故障恢复时间。第二，系统参数敏感性：系统性地扫 ρ_min、τ、cell 数、standalone 池比例、burst μ 与 φ 的组合，绘制“陈旧度-吞吐-训练质量”的帕累托前沿，尤其测试远小于 32-node 的预算以及模型无法装入小 cell 时的退化行为。第三，分离轨迹处理器的贡献：在固定调度器下单独消融 TITO、tool-call payload 恢复、部分评分、角色优先级采样、共享前缀去重和执行级归一化，报告最终 passrate、梯度范数、token 消耗与每步前向-反向时间；同时评估不同 J_max 和采样温度对训练质量的影响。第四，学习语义验证：比较全局 shuffle、burst 内流式分配和单步 burst 下的学习曲线，验证样本顺序是否影响策略质量；对 DeepSWE/TerminalBench 补充分数与方差；增加多次种子、置信区间和失败注入实验；并尝试在多个 harness（不仅 Claude Code）和公开可复现数据上验证结论。

本文将 WideSWE 定位为编码智能体评测从单仓库向跨仓库协调任务的一次扩展。不同于 SWE-bench 系列的"在单个代码库解决 issue"范式，它把一个共享的 feature 或 bug fix 视为一个整体任务，要求代理在至少两个目标仓库中同时完成实质改动并通过各自的隐藏测试。论文的贡献落在三个方面：提出跨仓库任务形式化与包含 120 个真实任务（60 个 bug-fix、60 个 feature，覆盖 41 个生态）的基准；提出"需求对齐的测试审阅"，以消除继承测试中实现特定约束与未要求功能的限制；以及在多种代理配置上做经验研究，并对比联合执行与逐仓库独立执行。其方法学继承 SWE-bench 的可执行测试与 F2P/P2P 计分框架，但把评分单位从单仓库提升为跨仓库的乘积式成功条件，核心新意在于"协调"而非单纯的代码生成能力。

背景可分两条线。第一条是编码代理评测的演化：从隔离代码生成（HumanEval 类）到仓库级真实 issue（SWE-bench、SWE-agent、Agentless、AutoCodeRover、OpenHands），再到更长周期与更广任务（SWE-Bench Pro、SWE-EVO、DeepSWE、ProgramBench、Multi-SWE-bench、SWE-PolyBench、SWE-bench Multilingual 等）。这些基准在语言覆盖和任务时长上扩展，但评分基本仍以单个代码库为单位。第二条是软件工程中对跨项目依赖与协调的长期研究：Reference Coupling 从开发记录中的跨项目引用识别技术依赖，Ma 等研究开发者如何跨项目追踪 bug 成因并协调上下游修复，Begel 记录维护相互依赖组件的团队如何协调接口变更与优先级。这些研究说明跨仓库协调在真实生态中普遍存在，但尚未被转化为可执行的代理评测任务。与之最接近的是 BeyondSWE 的 CrossRepo 任务，它要求代理利用外部仓库的代码与解决方案来修复目标仓库；WideSWE 的区别在于，相关仓库不仅是上下文，而且本身是必须被修改并验证的评分目标，任务成功要求所有目标仓库都通过测试。因此 WideSWE 的定位是把"跨项目依赖研究"与"编码代理评测"两条线索对接，提出可执行、可评分的跨仓库协调基准。

（1）任务形式化与评分。每个任务 c 给定请求 p_c 和历史工作区 W_c（含仓库集合 R_c）。目标集 T_c ⊆ R_c 且 |T_c| ≥ 2，由需要实质改动以满足请求的仓库组成；其余仓库 R_c\T_c 提供生态上下文，代理在目标仓库之外最多还可访问 20 个上下文仓库。代理可检查、修改工作区并产出补丁集合 Δ_c = A(p_c, W_c)，应用后得到 W'_c = W_c ⊕ Δ_c；参考补丁与隐藏测试不暴露给代理。对每个目标仓库 r，定义 F2P 测试（原始代码失败、参考改动后通过）与 P2P 回归测试（两种状态均通过）。定义 y_{c,r}(W'_c)=1 当且仅当 F_{c,r}∪P_{c,r} 中每个测试均通过且无缺失/无效结果；任务成功为 Success(c)=∏_{r∈T_c} y_{c,r}(W'_c)，即所有目标仓库同时成功才算解决。这种乘积式定义的直觉是：跨仓库协调的失败不能由单仓库成功弥补，从而暴露"仓库级进展与任务级完成"之间的差距。 （2）数据构建流水线。从 Gitstar Ranking 按总星数排序的前 200 个 GitHub 组织中选出 103 个活跃软件生态系统（支撑共同产品、平台或技术）。收集 2024-01-01 起合入、非归档仓库中的 PR，并识别同一生态内显式链接到其他仓库的记录：在 1,729,171 个 PR 中，109,233 条记录含此类链接。将链接改动跨仓库分组为候选；经过去重、PR 可用性检查、测试相关改动检查、Linux 兼容性检查后剩 4,437 个候选组。进一步聚焦最新 PR 在 2025-06-01 及之后合入的 2,188 组；人工审阅保留 635 组（针对单一 feature/fix 且跨仓库有实质改动）；可执行验证与最终审阅得到 192 个合格案例，要求每个目标仓库至少有一个 F2P 测试在参考改动前失败、改动后通过。为平衡任务类型，保留全部 60 个 bug-fix 案例，并从 132 个 feature 案例中按所需行为多样性选 60 个，最终 120 个任务覆盖 41 个生态。协调模式上，生产者–消费者依赖占 96 个（80.0%），并行传播（如多语言 SDK、provider、native/polyfill）占 24 个（20.0%）。 （3）提示与隐藏测试的构建。提示由原始 issue 和 PR 描述合并而来，尽量保留原文，澄清必要行为与边界情况，但不注入实现指令；记录每个段落的来源，并由一人构建、两人独立对照源材料审阅，分歧讨论解决。隐藏测试从参考补丁提取测试改动。作者发现部分继承测试施加了超出任务要求的实现特定约束或检查未要求的功能，因此采用两条审阅规则：一是"放松实现特定约束"，移除对私有辅助名、固定文件路径、精确错误消息文本等的要求，但保留必需行为与既有接口契约；二是"移除未要求的功能检查"，删除 issue/PR 与 prompt 均未要求、但参考补丁附带引入的附加功能测试。例如 TensorDict/TorchRL 案例保留无效参数抛 TypeError 的检查，但移除对错误消息 "generator must be" 的精确匹配；Nextcloud 案例移除对三组预设提醒扩展的检查，但保留 timed/all-day 默认提醒分离设置、存储传播、输入校验等要求。修订后的测试需验证仍在原始代码上失败、并接受参考解。 （4）历史快照与测试隔离。每个目标仓库取对应 PR 的 base commit，上下文仓库快照不晚于最早目标 base，防止未来信息泄露；Gold 补丁与隐藏测试不暴露。评估在干净 Base 快照上应用代理补丁，评估器自有测试单独提供。当隐藏测试补丁目标是代理也编辑过的公开测试文件时，评估器从干净 Base 物化隐藏版本并只覆盖补丁目标文件，使测试装配不依赖代理对公开测试的编辑；对重定位测试与重复声明冲突另有物化与重命名机制，补丁注入失败会被记录且不可能产生成功评估。 （5）联合 vs 独立执行的比较设计（RQ3）。在 89 个提示可原样适用两种设置的案例（29 个 bug-fix、60 个 feature）上，用 Codex CLI–GPT-5.6-sol 比较：Joint 把完整生态工作区暴露给一次运行；Independent 每个目标仓库各获得一次只暴露该仓库的运行。两者使用相同代理配置、工具权限和每次运行限制，但独立执行按仓库各消耗一次完整运行；作者明确此设计匹配的是每次运行预算而非任务总预算，目的是考察"逐仓库求解是否缓解跨仓库困难"，而不是在总预算相等下隔离执行范围效应。配对结果按 Both succeed / Joint only / Independent only / Neither 统计，并把 Joint 中失败的仓库按其最终 diff 是否已有修改分组，比较其在独立执行中的恢复率（描述性而非因果）。 （6）失败轨迹标注协议。对每个未解决运行采用两阶段分类：先检查所有目标仓库最终 diff，若均收到实质代码改动但仍未通过必需行为或回归检查，则归为"编辑后失败"；否则检查轨迹，若未能识别任何必需仓库或必需改动，归为"范围识别不全"；若明确识别必需工作但未交付对应改动，归为"识别未交付"。两人独立标注，一致率 91.2%（Cohen's κ=0.86），分歧经讨论解决。这一协议为 RQ1 的失败机制分析提供结构化依据。

作者在全部任务上评估多种代理配置（两种脚手架、多个模型），主指标是案例级成功，辅以仓库级成功、F2P 完成率、P2P 保留率与平均 API 请求数。总体结论是：没有任何配置能可靠地把同一共享需求贯彻到所有受影响仓库；最佳配置的完整任务成功率仍明显低于其"至少解决一个仓库"的比例，说明瓶颈主要在于跨仓库协调而非单仓库编码。通过两阶段轨迹标注，作者把失败归为范围识别不全、识别未交付、编辑后失败三类，发现多数配置以编辑后失败为主，而 Gemini 以识别未交付为主。固定模型换脚手架时，请求数更高并不带来更高完成率。任务类型、仓库数与语言多样性分析显示：三仓库任务的任务成功率普遍更低，但最佳配置通常仍覆盖并修改所有目标仓库，困难在于使多仓库改动联合满足需求；语言族数量单独不足以解释难度。在相同提示下对比联合与独立执行，联合总体略高，但对 bug-fix 独立执行更有利、对 feature 联合执行更有利；独立执行主要能补回被遗漏的未改动仓库，却很难纠正已经尝试但错误的实现，而联合执行能从相关仓库获得实现事实与行为参照来指导实现和验证。

1. 七种配置的完整任务成功率介于 10.83% 与 42.50% 之间，Codex CLI 配 GPT-5.6-sol 最高。

   full task success ranges from 10.83% to 42.50%, with the configuration pairing Codex CLI with GPT-5.6-sol achieving the highest rate.

2. 最佳配置完全解决 42.50% 的任务，其余配置为 10.83%–37.50%；但该配置在 83.33% 的任务中至少解决一个目标仓库，显示仓库级进展与整体解决之间存在差距。

   The best-performing configuration, Codex CLI–GPT-5.6-sol, fully solves only 42.50% of tasks; the other configurations achieve 10.83%–37.50%. Yet Codex CLI–GPT-5.6-sol solves at least one target repository in 83.33% of tasks, revealing a gap between repository-level progress and complete task resolution.

3. 在 69 个失败案例中，48 个至少有一个仓库通过全部 F2P 测试而另一个仓库未通过。

   In 48 of its 69 failed cases, at least one repository passes all its fail-to-pass (F2P) tests while another does not.

4. 对 Codex CLI–GPT-5.6-sol，未解决运行的失败类别占比分别为范围识别不全 37.68%、识别未交付 2.90%、编辑后失败 59.42%。

   For the Codex CLI–GPT-5.6-sol configuration, the shares in Table 3 are 37.68%, 2.90%, and 59.42%, respectively. Post-edit failure is most common.

5. Gemini 的失败中 52.34% 属于识别了必需工作但未交付，37.38% 属于范围识别不全；其中 82.14% 停留在调查、方案规划或预备检查。

   In 52.34% of Gemini's failures, it identifies the necessary work but leaves changes undelivered; another 37.38% involve incomplete scope identification. Within the former category, 82.14% remain in investigation, solution planning, or preparatory checks rather than implementing the requested behavior; 17.86% begin implementing in some repositories but leave recognized work in others undone.

6. 固定 GPT-5.6-sol 时，从 Codex CLI 换到 Claude Code 使任务成功率从 42.50% 降到 32.50%，而平均 API 请求从 86.7 升到 134.8。

   moving from the Codex CLI scaffold to Claude Code reduces task success from 42.50% to 32.50%, while mean recorded API requests per task rise from 86.7 to 134.8.

7. Qwen 在单语言族 feature 上为 37.14%，在多语言族 feature 上降至 12.00%，低于 GPT 与 Opus 的 28.00%。

   Qwen leads the Claude Code configurations on single-family features at 37.14%, but falls to 12.00% on multiple-family features, below GPT and Opus at 28.00%.

8. 对最佳配置，仓库成功率从双仓库任务的 63.08% 升到三仓库任务的 66.67%，而任务成功率从 42.99% 降到 38.46%；失败的三仓库任务中 87.50% 修改了所有目标、62.50% 解决了其中两个。

   repository success rises from 63.08% on two-repository tasks to 66.67% on three-repository tasks, while task success falls from 42.99% to 38.46%. Among its failed three-repository tasks, 87.50% modify all targets and 62.50% solve two of them.

9. 在 89 个相同提示的配对比较中，联合执行解决 40.45%，独立执行 35.96%，22.47% 的任务结果发生翻转；独立执行把 bug-fix 成功率从 34.48% 提高到 44.83%，但把 feature 成功率从 43.33% 降到 31.67%。

   Joint execution solves 40.45%, versus 35.96% when every independent repository run must succeed. Yet 22.47% of tasks change outcome in either direction (Figure 5 ). Independent execution improves bug-fix success from 34.48% to 44.83%, but reduces feature success from 43.33% to 31.67%.

10. 独立执行平均每任务 296.6 次 API 请求，联合执行 94.7 次，约 3.13 倍，但独立执行未提高总体任务成功率。

    Independent execution uses 296.6 API requests per task on average, compared with 94.7 for Joint, because each target receives a separate full run. Despite using 3.13 times as many requests, independent execution does not improve overall task success.

11. 在 Joint 中失败的仓库里，未被修改的仓库独立执行有 60.00% 成功，而已被修改的只有 9.43% 成功。

    Among repositories that fail in Joint execution, 60.00% of those left unmodified succeed independently, compared with only 9.43% of those already modified

12. 13.48% 的任务和 9.95% 的仓库只在联合执行中成功。

    Figure 5 shows that 13.48% of tasks and 9.95% of repositories succeed only in Joint execution.

Novelty：新颖性中等。把评测单位从单仓库提升到"跨仓库共享需求"是一个清晰且现实的问题扩展，WideSWE 提供了首个以"所有目标仓库同时通过"为成功条件的真实跨仓库基准，并系统化了需求对齐的测试审阅。但方法学层面（可执行隐藏测试、F2P/P2P、基于 PR/issue 的挖掘、现有脚手架）基本继承 SWE-bench 与 DeepSWE 的做法，联合 vs 独立的对比也更像消融而非新方法。真正的增量在于任务形式化、数据集与失败分类等经验发现，而非算法创新。 Soundness：总体较稳健，但属描述性基准研究。构造上有多重人工审阅、可执行验证、提示与测试的双人独立复核、失败标注的 Cohen's κ=0.86，评分定义清晰且隐藏测试不暴露给代理。主要顾虑：联合 vs 独立执行只对齐每次运行预算而非总预算（独立执行消耗约三倍请求），作者已声明但该混淆难以完全排除；模型间与执行方式间的差异多为描述性比较，未报告统计检验；任务样本较小、feature 子集经人工挑选，可能引入选择偏差；隐藏测试虽经需求对齐修订，仍源自参考补丁，存在对参考实现过拟合的残余风险；部分模型名称/版本与推理强度设定难以独立复现。 Significance：对编码代理社区有较高参考价值。跨仓库协调是真实软件开发的高频场景，论文证明了当前代理在"覆盖仓库"与"联合满足需求"之间存在显著落差，并把失败拆成范围、交付、编辑后三类，给出了可操作的诊断框架；联合执行可提供实现事实与行为参照、独立执行只能补回遗漏工作的发现，对后续脚手架与评测设计有直接启发。不过基准规模与平台覆盖有限，且尚未给出提升协调能力的方法，因此其意义更多是提出问题与基准，而非解决问题。

规模与范围：仅 120 个任务、每个任务 2–3 个目标仓库、只在 Linux 环境评估，不覆盖更多仓库依赖链或其他平台（论文附录亦承认）。配对比较的预算混淆：Joint 与 Independent 按"每次运行"预算对齐而非任务总预算对齐，独立执行总 API 请求约为联合的 3 倍，因此"独立不能提升总体成功率"的结论不能干净地归因于执行范围。样本与统计：RQ3 只含 29 个 bug-fix 与 60 个 feature，恢复率差异被作者标注为描述性；全文未报告置信区间或显著性检验，跨模型/脚手架比较的稳健性有限。选择偏差与主观性：候选筛选依赖人工审阅与可执行验证，feature 子集按多样性人工挑选，协调模式 80% 为生产者–消费者依赖，可能限制对并行传播等模式的代表性。隐藏测试风险：测试从参考补丁提取，虽经"需求对齐"修订，仍可能残留实现特定假设或对参考实现过拟合；测试修订只影响 88 个任务，且"放松约束"可能过度放宽真实需求。提示构建：尽管去除实现指令并双人复核，从 issue/PR 合并而来的提示仍可能因原文措辞而隐含实现线索。语言多样性：语言族标签基于参考生产代码改动，属观察性描述而非受控干预，无法据此作因果解释。可复现性：模型版本与推理强度依赖外部 API 可用性，结果可能随时间漂移。评价粒度：案例级成功为全有或全无的乘积指标，可能低估部分正确实现；P2P 与 F2P 的失败不区分严重程度。上下文仓库数量（0–20，中位数为 3）对结果的影响未系统研究。

扩展任务规模与拓扑：纳入 4 个以上目标仓库、依赖链或有向无环图结构，以及非 Linux 平台与移动/Web 生态，检验结论的泛化。预算对齐的对照实验：在总预算（token、API 请求、墙钟时间）相等下重新比较联合与独立执行，分离"执行范围"与"预算"效应。面向跨仓库协调的代理机制：显式仓库发现与依赖图构建、共享任务清单与跨仓库记忆、全局验证与接口契约检查，以降低范围遗漏与编辑后失败。利用相关仓库作为行为参照：把"跨仓库实现对比"固化为验证步骤（如对比对称 SDK 或生产–消费接口的契约一致性），可能改善联合执行的正确性。针对"识别未交付"模型的执行层改进：研究 Gemini 类代理的分析瘫痪，设计强制实施或进度检查点，避免识别后不落地。隐藏测试质量与需求对齐的元评估：系统研究测试修订对假阳性/假阴性的影响，或自动生成需求对齐测试，减少对参考补丁的依赖。语言多样性与协调模式的受控实验：在固定生态/任务上改变语言族组合，区分"语言切换"与"协调"难度。更细的跨仓库指标：引入范围识别的精确率/召回率、仓库级部分得分、编辑后回归失败的原因分类，补充全有或全无的成功率。长期与真实部署评估：把 WideSWE 任务嵌入多轮开发流程，评估补丁在真实 CI 与维护者验收中的可用性，以及漏洞/回归风险。数据集维护与防污染：公开隐藏测试与参考补丁后，需版本化与定期更新，避免未来模型训练数据污染导致分数虚高。

本文不是一篇以绝对精度领跑为目标的“大规模视频 SSL 榜单”论文，而是一篇受控设计研究。它提出一个明确的可检验问题：在数据、训练时长、编码器尺度、解码器容量都被固定下来的匹配配方下，哪些“架构 × 目标函数”组合会产生“运动优先”的表示——即在下游任务中，增益集中在帧间变化敏感的任务上，同时仍保留足够的外观信息。为此，作者做了 4 架构 × 6 目标的 24 格受控扫描，并把 TT-VidT（TT3D 编码器 + Diff Compression 目标）定位为该扫描中唯一进入强运动敏感区的组合。论文的自我定位很克制：它反复说明结论只适用于约 1.7M 片段、8 epoch、约 170–190M 编码器的小配方，不宣称普适排名，并用 HMDB51、IARD、EPIC-Kitchens 作为反例来界定主张边界。

视频理解若要真正区别于单帧理解，必须利用单帧中不存在的信息，作者称之为“运动”信息；但许多动作识别基准（HMDB51 等）存在强外观线索，对象、场景、人物、衣着、相机上下文常能预测标签，因此仅凭平均精度无法判断一个视频 SSL 方法是否真正学到了帧间变化。现有视频 SSL 主要分三支：掩码重建（VideoMAE 等）、潜变量预测（V-JEPA、V-JEPA 2 等）、运动感知训练（DisMo 等）。这些方法有效，但以往比较常常同时改变架构、目标、数据量、调度、尺度与解码器容量，难以把“运动导向行为”归因到某个具体选择。相关工作中的 DisMo 是最接近的对照：它在相近参数与数据规模下，通过外观增强降低身份泄漏，同时保留运动条件；其原生方案使用 DINOv2-B 帧编码器和 3D ViT-B 序列嵌入产生运动 token。VideoMAE、ARVideo 等掩码/自回归方法虽在 ViT-B 尺度上是近邻，但数据曝光量远大于匹配配方，只能做信息性比较而不能一对一控制。此外还有大量图像预训练基底加时序模块的路线（AdViSe、ST-Adapter、FRAME 等），作为“DINOv3 2D 路径 + 窄时序通路”的架构先例。评价基准本身也按运动需求排成“诊断阶梯”：Jester、SSv2、Diving48、ARID 偏运动；HMDB51、IARD、EPIC-Kitchens 偏外观或混合。本文的空白是：缺少一个在共享配方下隔离“架构-目标”交互的受控比较，以及一个逐片段检验表示本身是否随运动翻转而改变方向的探针。

TT-VidT 由两部分组成：一个 DINOv3 初始化的逐帧 2D 空间路径，加一个紧凑的 Temporal Transfer 通路，后者为每帧产生运动嵌入；实例化形式有 TT1D 与 TT3D 两种。预训练目标为 Diff Compression：解码器用第一帧外观锚点 z_1 与每个目标帧的运动 token m_t 重建该目标帧，迫使编码器把“锚点无法恢复的帧特定信息”放进 m_t。 记法与总体设置：输入 X=(x_1,…,x_T)，T=8，1-indexed；z_t=E(x_t)∈R^{N×d}，E 为 DINOv3 ViT-B/16，N=256、d=768；每帧有 K=8 个运动 token，m_t∈R^{K×d}；解码器为 D，逐帧损失为 ℓ。所有参数联合训练。 空间路径：标准 DINOv3 ViT 对每一帧独立应用，无跨帧混合。这样高容量空间流保留外观信息，不参与帧间推理，除非通过时序通路。 Temporal Transfer（TT1D）：给每帧拼接 K=8 个可学习运动 token 嵌入。Temporal Transfer Layer 𝒯 共 L_𝒯=12 层、隐藏维 d=768。在每层中，帧 t 的运动 token 与该帧的空间 token 拼接后进入该 ViT 层的自注意力，因此每个运动组先“总结”本帧；随后所有 T·K 个运动 token 组成一个序列，在 block-causal 掩码下互相 attend，帧 t 只能看到 1..t。最后一层后读出 T 组 {m_1,…,m_T} 交给预训练目标。跨帧注意力长度只有 T·K=64，远小于对全部空间特征做注意力的 T·N=2048，这是该设计在匹配配方下可控的关键。此形式因跨帧混合只沿时间维在运动 token 上进行而被称为 TT1D。 TT3D（联合时空混合）：TT3D 让跨帧步骤看到的不只是运动 token。每层中，空间 token 先按 4×4 每轴下采样，从 N=256 降到 N'=16，再与该帧 K=8 个运动 token 拼接；对每帧 K+N'=24 个 token 执行一次 block-causal 3D 自注意力，帧 t 看 1..t。这样运动 token 与下采样空间 token 共享同一条时间注意力，运动 token 能读到所有先前帧的粗空间上下文。运动输出像 TT1D 一样读出。联合序列长度 T·(K+N')=192，仍远小于 2048。重要的是：解码器继续 cross-attend 到完整的 z_1；下采样只发生在 𝒯 内部，不会传播到 Diff Compression 所用的外观通路，因此外观通道保持宽、运动通道保持窄。 Diff Compression 目标：公式为 x̂_t=D(z_1, m_t)，t=2,…,T。逐帧损失 ℒ_t=ℓ(x̂_t,x_t)，ℓ 默认是 diffusion 或 flow-matching 重建损失，latent regression 作为消融。总损失 ℒ(X)=(1/(T-1))Σ_{t=2}^{T} ℒ_t，即只对非锚点帧取平均。E、𝒯、D、运动 token 嵌入全部联合训练。这种因式分解受 VTok 启发：单一关键帧 z_1 与每个目标帧 m_t 配对，而不是逐帧自回归链。区别在于 m_t 的产生方式：VTok 用目标帧与关键帧的特征差再做投影显式计算；这里 m_t 是 Temporal Transfer 通路的直接输出，在重建目标下端到端学出，架构中没有内置 feature diff，编码器可以自由决定把什么放进 m_t。 信息瓶颈直觉：窄的运动通路加上“从锚点重建目标帧”的目标，使 m_t 的容量压力来自“锚点单独无法恢复的信息”。解码器容量保持在紧凑的 S 配置；第 4.3 节显示加大解码器会降低运动聚焦性能，一个合理解释是大解码器降低了压在紧凑运动 token 上的压力，让重建负担转移到解码器容量，运动嵌入反而携带更少信息。同一编码器上 MAE-Diffusion 不如 Diff Compression，说明“第一帧外观锚点”是起作用的关键差异。 训练与数据细节：预训练用 OpenVid（约 1M 片段）与 Moments-in-Time v2（约 700k 片段），8 帧、6 fps 采样。默认配方为 8 epoch，有效全局 batch 32，AdamW 峰值学习率 5e-4，betas(0.9,0.98)，weight decay 0.01，梯度裁剪 0.1，10k 线性 warmup，余弦衰减到峰值学习率的 1%，fp16 混合精度，μP base dimension 256；每个 entry 约见 13.6M 视频样本、约 425k 优化步。扫描覆盖四种编码器（VideoMAE 式 3D ViT、DisMo 式 2D+3D、TT1D、TT3D）与六种目标（MAE、AdaAR、naive AR、two-jump AR、MAE-Diff、Diff Compression），图像路径 entry 用 DINOv3 ViT-B/16 初始化，全部参数联合训练。解码器有三种初始化：随机（带回归或 diffusion 辅助损失）；ImageNet-1k 预训练（用 DINOv3 ViT-B class token 作 diffusion guidance 重建整图，此阶段不训 cross-attention）；视频预训练（从训练视频抽两帧，给解码器后帧 class token 与前帧空间特征作 cross-attention guidance，重建后帧）。预训练解码器用 batch 256、3 epoch。整个扫描以“无增强”作为统一约束（这会对依赖增强的 DisMo 不利，作者在 4.2 节单独报告其双增强版本）。V-JEPA 2 行在相同规模/配方下用其原生 2+8 schedule，因无逐帧 cls-token，用逐帧 token 的 mean-pool 作为运动嵌入。

实验围绕一个受控小规模预训练与探测协议展开：先在共享配方下做架构与目标函数的全组合扫描，再做解码器尺寸与初始化来源的消融，随后报告编码器解析 FLOPs，并用逐片段运动翻转探针检验表示本身是否随运动方向改变。最终比较把 TT-VidT 与扫描中识别出的代表性 baseline 放在运动敏感与外观敏感数据集上，同时做冻结探测与端到端微调。整体结论是：TT-VidT 的增益集中在运动主导任务上，且这一优势超过种子波动并在加倍预算下保持；外观混合的基准则暴露了主张的边界。作者把结果解释为该匹配配方下的“运动优先”经验模式，而非通用排名。

1. 在无增强的 24 格扫描中，TT3D+Diff Compression 是 Jester 与 SSv2 上的最高格；单独替换架构或目标都会使成绩崩塌，说明存在交互效应而非单组件效应。

   TT3D+Diff Compression gives 53.89 and 18.28, the highest cells for both datasets. With TT3D fixed, replacing Diff Compression by MAE drops Jester from 53.89 to 11.07 and SSv2 from 18.28 to 4.98. With Diff Compression fixed, replacing TT3D by ViT3D or DisMo gives 19.82 or 12.98 on Jester and 6.57 or 5.53 on SSv2.

2. 恢复 DisMo 原生双增强能大幅改善 DisMo，但它在 Jester 与 SSv2 上仍落后于 TT-VidT。

   Even with dual augmentation, it trails TT-VidT by 26.3 on Jester and 12.6 on SSv2.

3. 在固定 TT3D+Diff Compression 编码器后，紧凑的视频预训练 S 解码器占优，更大的 L 解码器在运动聚焦任务上显著更差。

   With video pretraining, decoder S reaches 73.25 on Jester and 25.92 on SSv2, while decoder L drops to 34.37 and 12.15.

4. 解码器初始化来源本身影响编码器压力：视频预训练优于 ImageNet 预训练，ImageNet 预训练又优于随机初始化。

   At size S, where all initialization sources are measured, video pretraining dominates ImageNet pretraining, and ImageNet pretraining dominates random initialization on motion-focused columns.

5. TT-VidT 的编码器 FLOPs 显著低于 DisMo、VideoMAE 与 V-JEPA 2，在效率上占据明显优势。

   while using 48% fewer encoder FLOPs than DisMo and 55% fewer than VideoMAE or V-JEPA 2.

6. 在运动翻转探针中，TT-VidT 几乎在所有片段上跟随翻转后的运动，而所有 baseline 都保留一部分原答案，尤其在时间反转下。

   TT-VidT follows the inverted motion on nearly every clip, whereas every baseline keeps a share of its original answers, most of all under time reversal, the one transform that leaves every pixel untouched.

7. TT-VidT 的领先在端到端微调后仍保持；baseline 需要大量监督修正，且最终仍低于 TT-VidT 的冻结探测分数。

   TT-VidT stays 21.0 and 12.9 points ahead of the strongest baseline. The baselines need 12 to 35 points of supervised correction yet converge near 51.5 on Jester, below TT-VidT's frozen 73.25, while TT-VidT barely moves from its frozen probe, so supervised adaptation saturates the baselines rather than closing the gap.

8. 在最终比较中，TT-VidT 是唯一同时领先 Jester、SSv2、ARID 与 Diving48 微调的方法。

   TT-VidT is the only method in our comparison group to lead Jester, Something-Something V2, ARID, and Diving48 fine-tuning simultaneously , with the largest gains concentrated on these motion-heavy evaluations: 37.47 37.47 on ARID, 73.25 73.25 on Jester, 25.92 25.92 on Something-Something V2, and 18.63 18.63 on Diving48 fine-tuning.

9. 在 IARD 上 TT3D 的运动优先领先不成立，ViT3D+DiffComp 反而更高，界定了主张的适用范围。

   On IARD, TT3D's lead does not hold: a ViT3D+DiffComp configuration reaches 77.03, compared with 67.03 for TT3D.

10. VideoMAE 是最广谱的 baseline，在 HMDB51 与 EPIC-Kitchens 动词分类上领先，说明外观混合任务不是 TT-VidT 的主场。

    VideoMAE is the broadest baseline under this recipe. It leads HMDB51 ( 27.73 27.73 ) and EPIC-Kitchens verb classification ( 35.62 35.62 ), and remains competitive on several motion-heavy datasets.

11. V-JEPA 2 在匹配的小规模配方下多数评测落后，表明其优势不在该小规模工作点。

    V-JEPA 2 trails most evaluations under the matched-recipe small-scale setting , indicating that latent prediction at this small scale does not match its native large-scale operating point on motion-heavy or appearance-discriminable benchmarks.

12. TT-VidT 的优势超过种子方差，并在近乎翻倍的训练预算下保持。

    the weakest of nine TT-VidT measurements stays above the strongest ViT3D+MAE measurement on every motion-heavy benchmark, and it persists at a near-doubled budget, where TT-VidT has already saturated while the gap to the baseline stays wide

Novelty：新颖性中等。组成部件大多是既有想法的重新组合：DINOv3 图像基底、可学习运动 token、block-causal 时序注意力、VTok 的关键帧因式分解、DiT diffusion 解码器、DisMo 的“外观/运动分离”动机都非全新。真正的增量在于两点：一是把紧凑 Temporal Transfer 通路与 Diff Compression 目标组合成一对强交互（TT3D+MAE 与 ViT3D+DiffComp 都不行），这是此前未被系统证明的耦合；二是提出 24 格受控扫描加运动翻转探针的诊断协议，把“运动优先”从模糊直觉变成可度量的经验模式。作为方法论贡献，这种“先隔离变量、再界定边界”的写法比单点 SOTA 更有信息量；作为方法贡献，其原创度有限。 Soundness：在作者声明的范围内，论证基本稳健：匹配配方控制了数据、调度、参数尺度与下游评测，配对替换实验（固定 TT3D 换目标、固定 Diff Compression 换架构）能较好地支持交互效应；运动翻转探针把数据集层面的增益下沉到逐片段表示层面，且单帧 DINOv3 对照验证了探针本身的有效性。但稳健性有明显边界：扫描大多是单种子、单次运行，只有典型格做多种子；训练混合物、尺度、8 epoch 预算均单一；无增强的统一约束对依赖增强的 DisMo 不利（作者承认并补报双增强）；与 VideoMAE/V-JEPA 2 的对比存在数据曝光差距，无法一对一控制。因此结论应被理解为该小配方下的经验证据，不能外推到更大规模。整体 soundness：在其声明的受控范围内偏强，但在统计覆盖与外部效度上偏弱。 Significance：意义中等偏实用。它回应了视频 SSL 中长期被忽视的问题——高平均精度可能来自外观捷径而非真正的时序建模，并给出一个低成本、可复用的判断工具（受控扫描 + 翻转探针 + 边界数据集）。对社区而言，最有价值的可能是“配对而非单组件”的发现，以及紧凑时序通路带来约一半的编码器 FLOPs 下降，这对小配方/低预算视频预训练有直接参考价值。但其结论被锁定在 1.7M 片段、8 epoch、单尺度的小工作点，没有给出可迁移到大规模的方法级收益证据，因此对大规模 SOTA 竞争的影响有限。

作者自陈的主要限制包括：只研究一个预训练混合物（约 1.7M OpenVid 与 MiT v2 片段）、一个约 170–190M 编码器尺度、扫描格多为单次运行（仅典型格做多种子）；没有测试 TT3D 与 DisMo 式双增强的组合、替代外观探针、或空间编码器的部分解冻。此外，无增强作为统一约束使 DisMo 类增强依赖方法处于不利地位，虽然作者补报了双增强，但仍非其原生完整配方；与 VideoMAE、ARVideo、V-JEPA 2 的对比存在数据曝光与调度差距，不能算严格一对一。更深层的问题：运动优先的判断依赖单帧 DINOv3 作为外观参考，外观基线换成 DINOv2/CLIP 可能改变数据集的“运动/外观”定位；冻结探测为主、微调仅覆盖部分数据集，端到端泛化证据有限；效率只报解析 FLOPs，没有实测时延或显存；8 epoch 预算本身是一种设计选择，学习速度差异被当作测量属性，但这使结论对调度长度敏感。

后续工作可沿几条线展开。第一，规模与统计外推：在更长训练、更强/更多样数据混合物、更大模型上检验“TT3D+Diff Compression 的配对优势”是否保持，并用多种子、多配方消除单次运行噪声。第二，补全未测组合：最直接的是 TT3D 与 DisMo 式双增强结合，以及空间编码器部分解冻、更丰富的时间读出，观察窄运动通道与增强式运动控制是否互补。第三，诊断工具升级：把单帧外观对照从 DINOv3 扩展到 DINOv2、CLIP、视频 teacher 等多种外观基线，形成更稳健的“运动-外观”数据集阶梯，并开发除翻转/时间反转外的运动扰动（速度、顺序、局部动态）。第四，效率验证：把解析 FLOPs 换成实测时延、吞吐与显存，考察 192-token 时序注意力在实际部署中的收益。第五，任务扩展：在未修剪、第一人称、长时程与预测/预期任务上检验紧凑运动通道的边界，明确哪些任务需要更宽的外观保留。最后，机制层面可对“解码器容量压力如何改变 m_t 携带的信息”做更精细的可解释性分析，验证大解码器降低运动信息的假设。

本文位于 VLA 机器人策略、外部"harness"控制结构与知识蒸馏三个方向的交界处。它不训练或微调 VLA 参数，而是把强智能体通过与冻结 VLA 交互获得的干预经验，蒸馏成一份可复用的"playbook"（行动手册），供轻量智能体在部署时调用。作者把问题正式化为对"轻量智能体 + playbook"所诱导组合策略的成功率优化，并用性能差分恒等式解释为何要用接收方自己的执行轨迹来修正指导。相对于已有的 harness 研究（Code as Policies、把 VLA 当作可调用工具的智能体）和反思/蒸馏研究，本文的核心增量在于：以递归的 teacher–playbook–student 循环，把"何时、如何干预 VLA"的外部知识沉淀下来，并在接收方执行反馈上迭代精炼，而不更新任何模型参数。

研究背景有两条主线。第一，VLA 模型把预训练视觉-语言表示与机器人动作学习结合，具备跨任务能力，但在陌生视觉条件、场景与执行状态变化下仍不可靠；理解任务并不等于知道如何从部署的 VLA 中诱导出期望行为，智能体需要根据物理观察、策略行为与干预效果来判断何时介入。第二，外部控制结构（harness）让语言模型通过感知、动作与反馈接口连接机器人执行，例如 Code as Policies 生成控制程序，后来工作把学习到的策略封装为可调用工具，用于分解、监控与恢复；但这些机制本身没有说明有效的干预策略如何被积累和跨智能体迁移。知识蒸馏传统上通过训练目标把教师预测迁移给学生，学生反馈也可反过来指导知识修改；LLM 智能体中的反思与经验提取进一步支持从任务经历中保留可复用洞察。本文把这两条线合在一起：将强智能体对 VLA 的干预经验外部化为 playbook，并以接收方执行结果递归修订。方法论上还借用了序列模仿学习中"学习者诱导分布"（Ross 等）与 Kakade-Langford/Schulman 的有限时域性能差分恒等式，把 playbook 修订刻画为对接收方所经历历史处决策的改进。

核心机制围绕一个冻结 VLA、一个强智能体 T、一个轻量智能体 S 和一份外部 playbook P 展开。任务从分布 𝒟 采样，含目标指令 I 与初始场景；VLA π_θ 参数固定。外部智能体通过接口观察执行并干预，接口暴露指令、内部特征注意力和动作输出；T 与 S 的参数也固定，经验只保留在 P 中。每个回合有有限时域 H，历史 h_t 包含目标、观测、此前干预与已执行动作；底层物理状态不必完全观测。接口从 h_t 中呈现相关信息并提供一组干预操作，每个操作都含"恒等"选项，使智能体可以让 VLA 对应部分保持不变。b_t 是第 t 步的完整决策记录（选择的操作、VLA 提出的动作、实际执行的动作），智能体与 VLA 共同诱导组合执行策略 Π_{S,P}(b_t|h_t)；目标是让该组合策略的成功率提升。 干预机制设定在 VLA 计算流程的三个位点（式 1）：I~_t = f_I(I, u_t^I)，a^_t = π_θ(o_t, I~_t; u_t^F)，a_t = f_A(a^_t, u_t^A)。指令操作 u_t^I 经 f_I 重写语言输入；注意力操作 u_t^F 以分号标注，表示在推理时修改选定的特征注意力计算但保留已学参数 θ；输出操作 u_t^A 经 f_A 把 VLA 提出的动作序列变换为候选动作序列。三个位点不构成强制顺序：指令与注意力影响候选生成，输出影响候选动作，这种计算依赖不规定智能体必须按某顺序尝试；智能体可任选可允许子集，恒等设置即恢复原始 VLA。关键的一点是"决策不必推进环境"：智能体可在同一环境步上请求并检查多个候选，批准后执行器只执行被批准候选的选定前缀（受接口执行上限约束）并返回新观测。因此一次智能体决策并不等于执行整个动作块。playbook 的任务是说明某操作在何种情境有用、如何应用、以及哪些后续观测表明它已产生预期效果。 在策略优化视角下（式 2），目标是 P* ∈ arg max_{P∈𝒫} J_S(P)，其中 J_S(P)=E_{τ~p_𝒟(τ;Π_{S,P})}[Y(τ)]，Y(τ)∈{0,1} 表示轨迹在时域内是否达成原始任务目标。任务分布、VLA、接口与时域固定，目标明确评估轻量智能体如何使用指导，强智能体只提供经验与修订提案。强智能体执行得到的 playbook 作为初始化；后续修订使用接收方 rollout（含失败），以精炼指导的适用条件与用法。由于轻量智能体在同一指导下仍可能做出不同干预，从而改变之后遇到的情境，相关经验分布由接收方诱导，这与序列模仿学习中的学习者诱导分布类似。 式 3 给出性能差分恒等式：J_S(P') − J_S(P_k) = E_{τ~p_𝒟(τ;Π_{S,P'})}[Σ_{t=0}^{N(τ)−1} 𝒜_k(h_t,b_t)]。这里 V_k(h_t) 是继续按 Π_{S,P_k} 执行的成功概率，Q_k(h_t,b) 是在决策 b 之后继续按该策略的成功概率，𝒜_k=Q_k−V_k。恒等式通过沿候选策略轨迹对 continuation value 做 telescoping 得到。其直觉是：修订应使接收方实际遇到的历史上的决策变好；只复现教师在自己历史轨迹上的决策并不能评估这一目标。作者不直接估计 Q、V，而是通过完整接收方 rollout 及任务结果来评估修订提案。 RHD 的递归流程是：强智能体先通过接口执行任务，得到经验 ℰ_T，并提取初始 playbook P_0，把可观测情境与干预选择及其后果关联起来；轻量智能体用 P_k 执行得到 ℰ_{S,k}；强智能体审视指导如何被应用、选了哪些干预、VLA 与环境如何响应，并针对歧义、错误适用条件、无效干预选择提出修订。更新被形式化为对教师提案 playbook 的搜索（式 4）：𝒞_k={P_k}∪𝒢_T(P_k,ℰ_T,ℰ_{S,0:k})，𝒞_k⊆𝒫，其中 𝒢_T 是基于教师经验与累计接收方经验生成的有限修订集。每个修订提案固定后，在 n 个任务实例的开发批上由轻量智能体评估；同一开发轮内所有被评估修订复用同一批实例。经验成功率 Ĵ_{S,k}(P)=(1/n)Σ Y(τ_i^{S,P})。接受规则（式 5）为 P_{k+1}∈{P∈𝒞_k: Ĵ_{S,k}(P)≥η}，其中 η 是教师在同一批开发实例上的经验成功率。候选被顺序生成与评估，第一个满足式 5 的即被接受；若没有候选达标，执行反馈继续驱动新提案。规则不保证终止，达标前不接受更新。后续轮次在修订后的 playbook 下收集新经验，从而把知识迁移与实际使用耦合：教师经验启动过程，接收方经验持续决定教师下一步应传达什么。 训练与数据细节：模拟端用 SimplerEnv Bridge 的四个 WidowX 任务（spoon-on-towel、carrot-on-plate、cube stacking、eggplant-in-basket），采用 GR00T-N1.7-SimplerEnv-Bridge 检查点并在 playbook 开发与评估全程冻结；输入为 256×256 RGB 图像、本体感受与语言指令；12 个开发初始配置、12 个评估配置，每分割 48 个实例。真实端用 7-DoF Franka Panda，配腕部、前部、右侧三路 RGB 相机，三个任务为 Cube-to-Tray、Cube Stacking、Button Pressing；每任务采集 50 条人类遥操作演示并随机化物体位置，从基础检查点微调 π_0.5 后冻结；评估时每试次前在 50cm×50cm 工作区内随机化物体位置且保持腕部相机可见，每任务 25 试次共 75 次。智能体为 GPT-6 Astra（强）与 GPT-5.6 Luna（轻）。Astra 收集与 GR00T 的交互经验，并用记录的观测、干预与 Luna 执行结果修订 playbook。可用干预包括：以最多 512 字符文本替换策略指令；对选定图像区域内的视觉 token 施加 0–4 强度的注意力 logit 偏置；每干预最多五个控制步修改末端运动与夹爪命令；参数由智能体根据当前观测选择。后期开发轮把 8 个新教师案例（每任务 2 个）与 8 个已遇案例合并用于接收方评估；修订在同一案例上对比教师与接收方执行以澄清干预条件与结果检查。初始检查点由 Astra 前 8 条 GR00T 开发 rollout 蒸馏而来；Luna 用该 playbook 执行开发任务，Astra 再据 Luna 的反馈修订，后续检查点不断纳入新交互与接收方反馈。评估协议规定 playbook 构建与精炼只用开发实例，评估用被排除的初始配置；每个被评估 playbook 在所有评估回合中冻结；spoon-on-towel、carrot-on-plate、cube stacking 最大 120 步，eggplant-in-basket 240 步；对比使用相同评估配置、重置种子与策略检查点；无 playbook 智能体收到接口文档；模拟器物体状态与成功信号不进入智能体输入，成功由环境按原始任务目标判定，即使智能体改写了策略指令。

实验分为模拟与真实机器人两部分，核心是回答三个问题：蒸馏出的 playbook 能否改善冻结 VLA 的使用；收益能否从轻量智能体扩展到更强智能体；能否迁移到物理执行。总体看，作者报告了多层次的正面证据：在 SimplerEnv Bridge 上，无 playbook 的轻量智能体相比纯 VLA 基线只有很小提升，而带精炼 playbook 后显著跃升并超过无 playbook 的强智能体；同一 playbook 还能进一步提升强智能体自身。真实世界实验显示仅给轻量智能体干预工具而不给 playbook 完全无效，带 playbook 后总体成功率大幅高于纯策略基线。消融表明：初始 playbook 反而低于无 playbook，递归精炼是收益来源；用轻量智能体自身当教师无法获得同等增益，支持教师-接收方层级设计；三个干预位点都有贡献，其中指令编辑的移除带来最大下降。成本分析说明轻量接收方在推理开销上远低于强智能体。实验结论方向一致，但规模较小、缺乏统计显著性与部分对照。

1. 真实世界操作中，harness 将总体成功率从 37.3% 提升到 64.0%。

   In real-world manipulation, the harness improves success from 37.3% to 64.0%.

2. 在 SimplerEnv Bridge 上，带 playbook 的轻量智能体达到 66.7%，GR00T-only 为 41.7%，且超过无 playbook 的强智能体；同一 playbook 使强智能体达到 79.2%。

   On SimplerEnv Bridge, the light agent with the playbook achieves 66.7% success, compared with 41.7% for the GR00T-only baseline, and outperforms the strong agent without a playbook. The same playbook also benefits the strong agent, which reaches 79.2% success.

3. GR00T 单独为 41.7%，加入无 playbook 的 Luna 仅提升到 43.8%，带精炼 playbook 后 Luna 达到 66.7%，相对无指导执行提升 22.9 个百分点。

   GR00T alone achieves 41.7% success, and adding Luna without a playbook raises this to 43.8%. With the refined playbook, Luna reaches 66.7%, a gain of 22.9 percentage points over its unguided execution.

4. 初始 playbook 使 Luna 从无 playbook 的 43.8% 下降到 31.3%，而精炼 playbook 将其提高到 66.7%。

   The initial playbook reduces Luna's success from 43.8% without a playbook to 31.3%, whereas the refined playbook raises it to 66.7%.

5. 以 Luna 为教师、Luna 为接收方时，精炼 playbook 仅达 22.9%，而 Astra 教师的对应结果为 66.7%，且低于 Luna 无 playbook 的 43.8%。

   The Luna-derived refined playbook achieves only 22.9% success, compared with 66.7% for the Astra-derived counterpart, and falls below Luna without a playbook (43.8%).

6. 真实世界中，Luna 带策略但无 playbook 的总体成功率为 0%。

   0% for Luna with the policy but no playbook

7. 真实世界三个任务中，纯策略分别为 Cube-to-Tray 15/25、Cube Stacking 3/25、Button Pressing 10/25，总体 37.3%。

   15/25 | 3/25 | 10/25 | 37.3

8. 带精炼 playbook 后，Luna 在三个真实任务上分别为 18/25、13/25、17/25，总体 64.0%。

   18/25 | 13/25 | 17/25 | 64.0

9. 在全测试集成本比较中，Astra 每回合成本约为 Luna 的 5.5 倍。

   making Astra approximately 5.5 times more expensive

10. 在干预位点消融中，移除指令编辑造成的性能下降最大。

    Removing instruction editing causes the largest performance drop among the tested sites.

11. 真实世界评估每任务 25 次试次，共 75 次。

    We report success over 25 trials per task, for 75 trials in total.

12. 模拟评估使用 12 个开发配置与 12 个评估配置，每个分割 48 个实例。

    We reserve 12 initial configurations for development and 12 for evaluation, yielding 48 instances per split.

Novelty：新颖性属于中等偏上。单看组件，外部 harness、把 VLA 当作工具、教师-学生蒸馏、反思式经验提取都已有先例；本文的新意主要在于组合与定位：把"对冻结 VLA 的干预知识"作为被蒸馏对象，以文本 playbook 形式跨智能体复用，并用接收方执行反馈递归修订。将 playbook 修订正式化为对接收方诱导策略的成功率优化、引入性能差分恒等式解释"要改进接收方实际遇到的历史上的决策"，这一点为经验性框架提供了理论语言。与一般知识蒸馏更新学生参数不同，RHD 完全不更新模型参数，只在外部指导层面迭代，这在部署受限于冻结策略与有限 token 预算的场景下是一个清晰的增量贡献。但核心循环（教师执行→初始化→学生执行→教师修订→重复）在概念上并不意外，新颖性更多体现在机器人干预这一具体设定与公式化表述上。 Soundness：方法设计与实验结构的内部逻辑基本自洽：有纯策略基线、无 playbook 智能体基线、初始 vs 精炼 playbook 消融、教师身份消融与干预位点消融，且评估配置与重置种子保持一致、playbook 评估时冻结、成功信号不泄露给智能体。性能差分恒等式的推导方向合理，接受规则以教师在同一开发实例上的经验成功率为阈值也有一定依据。但严谨性有明显缺口：实验规模很小（模拟 4 任务、真实 3 任务，真实每任务仅 25 试次），未报告重复实验、置信区间或统计检验；开发集只有 12 个配置，递归精炼存在对开发实例过拟合的风险；真实世界缺少"强智能体无 playbook"与"强智能体带 playbook"的对照，使跨智能体结论主要来自模拟；Luna 无 playbook 在真实环境为 0%，说明该基线本身可能受接口易用性或默认行为影响，夸大 playbook 相对增益。整体 soundness 为中等：方向可信，但证据强度不足以支撑较强的普适性断言。 Significance：实际意义较明确：在真实部署中，持续调用强智能体成本高，RHD 把一次性/周期性昂贵推理沉淀为轻量智能体可复用的 playbook，并在文中给出约 5.5 倍的每回合推理成本差距，契合降低部署开销的需求；且 playbook 不更新策略参数，易于与已部署冻结 VLA 结合。概念上，它把 harness、蒸馏与序列模仿学习的学习者诱导分布连接起来，为"教一个轻智能体如何操作黑盒策略"提供了可操作的框架。但意义受限于对专有模型（GPT-6 Astra、GPT-5.6 Luna）与特定 VLA 检查点的依赖，他人难以完全复现，也尚未展示跨 VLA、跨任务分布或跨机器人形态的泛化；因此当前更接近一个有前景的可行性证明，而非已被充分验证的通用方法。

第一，评估规模与统计严谨性不足：模拟只有 4 个 Bridge 任务、每分割 12 个配置共 48 实例，真实世界 3 任务各 25 试次共 75 次，没有误差棒、置信区间或多次种子重复，难以判断结果是否稳定。第二，开发/评估分割很小，递归精炼与"第一个满足式 5 即接受"的贪心规则可能过拟合开发实例；初始 playbook 反而把 Luna 从 43.8% 拉到 31.3%，说明早期指导可能有害，但论文未系统分析误导性 playbook 的失败模式或安全机制。第三，对专有模型的依赖削弱可复现性：GPT-6 Astra 与 GPT-5.6 Luna 的具体行为不可控，价格/速率与模型版本相关，其他研究者未必能获得相同教师能力；也未报告蒸馏阶段的 token 成本，只报告部署阶段。第四，真实世界对照不完整：没有 Astra 无 playbook、Astra 带 playbook 的真机基线，无法验证"跨智能体迁移"在物理环境中的完整结论；Luna 无 playbook 为 0% 也提示接口文档或默认操作可能不充分，使工具本身被低估。第五，缺乏与既有方法的直接比较：未将 Code as Policies、反思式 LLM 智能体或参数化蒸馏基线纳入对照，难以判断收益究竟来自 RHD 循环还是来自任意形式的外部指导。第六，单一 VLA 与单一机器人设置：模拟只用 GR00T-N1.7-Bridge，真机只用微调后的 π0.5，未考察 playbook 是否可跨策略检查点或跨任务分布迁移。第七，接受规则中的阈值 η 是教师在同一开发实例上的经验成功率，若教师自身表现差，阈值可能过低或失去改进保证；且规则不保证终止。第八，论文给出六个 playbook 条目示例，但没有完整展示 playbook 文本或修订前后的 diff，读者难以评估其结构、长度限制与实际可操作性。

后续工作可从几方面推进。一是可复现性与稳健性：用开放权重智能体替代专有模型，在多随机种子上重复实验并报告置信区间，扩大开发/评估配置规模以检验递归精炼是否过拟合。二是基线补全：加入 Code as Policies、反思式智能体、直接参数化知识蒸馏等对照，并补做真机上的强智能体无/有 playbook 对照，厘清收益来源。三是理论与收敛性：在性能差分恒等式的框架下分析贪心接受规则与阈值 η 的性质，研究在什么条件下递归修订能单调改进接收方策略，以及如何自动检测"初始 playbook 有害"并回退。四是泛化边界：考察同一 playbook 能否跨 VLA 检查点、跨视觉域、跨机器人形态迁移，或至少需要何种适配成本；也可研究把 playbook 反过来用于改进教师自身效率。五是成本完整核算：报告蒸馏阶段的教师 token 消耗与人工监督成本，而不只是部署阶段推理成本，以评估总拥有成本。六是安全与验证：当 playbook 给出错误适用条件或危险动作修正时如何约束，建立干预结果检查的自动验证机制，避免误导性指导在物理机器人上造成损害。七是更细的机制分析：分别量化指令、注意力、输出三个位点在成功案例中的实际触发频率与贡献，而非只做整体删除消融，以理解 playbook 到底在何种失败模式下最有效。