2026-09-23

本文处于"交互式视频世界模型 × 三维场景表示 × 长期记忆"的交汇点，核心主张是：要让长时、跨视角探索保持一致性，不能只靠近期上下文或检索式历史帧，而应把多视角历史证据压缩进一个"可由相机查询"的隐式 3D 感知记忆。相对既有路线，文章明确把自己区别于三类工作：上下文记忆（检索/缓存历史 token，覆盖不足）、显式空间记忆（依赖深度估计与 warping，对动态场景过约束）、以及基于几何估计器（如 VGGT）特征的隐式记忆（偏几何预测、损失外观保真）。其关键设计选择是：记忆编码器与读出模块继承自"新视角重建"预训练（LagerNVS）而非"几何估计"预训练，从而同时保留几何与外观；读出由目标位姿引导，在固定 token 预算内把信息分配导向生成所需视角。配合最大覆盖历史选择、相机条件自回归生成与少步蒸馏，文章声称在回访一致性与相机控制精度上取得领先（相对最强基线 47.6% 的 LPIPS 提升），并达到实时流式推理。其定位是"给视频世界模型一个可查询的、与生成器联合适应的隐式 3D 记忆"，属于架构与训练机制型贡献，而非纯数据/规模扩展。

视频世界模型的兴起使"按用户相机动作生成新观察"成为交互式仿真的一种范式。要在长时间探索中维持世界一致性，模型必须记住此前观察到的内容，尤其是从不同视角回访同一区域时。直接全历史注意力计算代价过高，选择式检索又会牺牲视角覆盖；显式空间记忆把历史变换到目标视角，虽有利于回访，但依赖准确几何、对动态场景过度约束；隐式记忆把历史压缩成可学习表示，近年已有方法引入几何特征增强 3D 意识，但作者指出这些特征预训练以"几何预测"为目标，牺牲了重现已见场景所需的外观保真。与此同时，3D 表示学习（如多视角/新视角重建类模型）能学习紧凑且兼顾几何与外观的场景表示，作者认为这是视频世界模型记忆空间的更自然基础。文章回顾了流式生成（rolling denoising、时变噪声、自回归蒸馏、rollout-aware 训练）与相机控制（离散动作、连续位姿、点云渲染、PRoPE/UCPE 类注意力条件）的进展，指出"流式生成+相机控制"仍不足以保证对旧场景的忠实回忆，因为二者都不提供超出上下文窗口的持久状态。基于此，作者提出 WorldCrafter：用预训练多视角编码器初始化记忆编码器，将历史 latent 帧压缩为紧凑 3D 感知表示，再由目标位姿引导读出固定数量的记忆 token 注入 DiT，并与视频生成器联合训练，使记忆空间与 DiT token 空间相互适配。

一、基础生成框架。WorldCrafter 建立在 latent video diffusion + chunk-wise 自回归之上。视频经 VAE 编码为潜在 z=ℰ_VAE(x)∈ℝ^{c×f×h×w}，DiT 对其 patchify 并做 3D self-attention。训练用 conditional flow matching：给定扩散时间 t∼U(0,1) 与高斯噪声 ε，噪声潜在与目标速度为 z_t=(1−t)z+tε、v_t*=ε−z，损失为对速度预测的 L2：L_FM=E[‖v_θ(z_t,t|y)−v_t*‖²]。标准 chunk-wise 自回归把长视频切成定长块顺序生成，DiT 在每步处理拼接序列 [z^r; z_t]，其中 z^r 是从累计历史 z^h 中保留的定长近期帧。作者把该条件流扩展为 d z_t/dt=v_θ(z_t,t|M,z^r,C,y)，即在近期上下文之外再引入记忆 M 与目标相机轨迹 C；DiT 每步处理 [M; z^r; z_t]。其分工直觉是：M 提供历史场景信息（已见过的结构/外观），z^r 负责延续可见运动（近期时间连续性），C 指定新观察的视角。M 不再是从 z^h 中检索出的固定上下文，而是由 z^h 经隐式 3D 感知编码得到的紧凑表示。 二、相机条件。目标轨迹 C 给每帧提供 camera-to-world 位姿与内参。实现上沿用 PRoPE 的思想，把相对相机几何作为 self-attention 内部的位置变换来编码；具体采用 UCPE 的并行相机注意力分支：独立 Q/K/V 投影，输出经零初始化投影加回原 self-attention。一个关键细节是相机分支只作用于噪声部分 z_t，记忆 M 与近期上下文 z^r 不做相机注入，避免历史 token 被反复施加相机语义而干扰其作为"场景状态"的稳定性。 三、记忆写入（encoder）。生成首块后，记忆编码器 Φ 把累计历史 latent z^h 与对应相机参数 C^h 写成隐式 3D 感知表示 R=Φ(z^h,C^h)∈ℝ^{|z^h|L×d}，即每个历史 latent 帧输出 L 个 d 维 token。Φ 的架构与权重初始化自 LagerNVS 编码器，但丢弃其浅层图像处理层，新增一个 latent patch embedding 层直接映射 VAE latent 帧；历史相机位姿相对 z^h 中最新 latent 帧表达，并作为 camera token 注入编码。R 在多视角证据之间聚合几何与外观信息，但不物化任何显式三维重建。因为 R 长度随历史帧数线性增长，为控制成本，编码器输入被限制为 k 帧：推理时始终保留最新帧，再贪心选择 k−1 个"互补"帧，使这些帧的联合视场（joint FoV）尽可能覆盖后续目标轨迹区域，得到选中的 z^s、C^s。这一"最大覆盖"检索与既有 pairwise FoV 相似度排序不同：后者独立按与目标位姿的相似度挑帧，覆盖不足且对单帧选择敏感；最大覆盖则在同预算下追求联合覆盖更广、更鲁棒。 四、记忆读出（readout）。写入后的 R 需读成固定尺寸 M 注入 DiT。文章对比两种机制。pose-free 读出是 M=Readout(Φ(z^s,C^s))，与目标轨迹无关，把全部表示压缩成定长 token，由 DiT 注意力自行挑选相关信息。pose-guided 读出是 M=Readout(Φ(z^s,C^s),C^q)，其中 C^q 是从目标轨迹 C 采样的固定数量查询位姿；该模块初始化自 LagerNVS 的浅层 decoder，并加投影层把输出映射进 DiT token 空间。经验上 pose-guided 在回访一致性与相机控制上均更优，作者归因于"用目标相关查询更有效地分配固定记忆预算"。文章采用 pose-guided 读出。整个读写过程都在 latent 上直接进行，无需显式深度或 warping。 五、训练与数据细节。数据组合为 Open-Sora-Plan(OSP)、DL3DV 与 MIND 合成视频；用 Depth Anything 3 生成所有数据的度量级相机位姿，Qwen2.5-VL 生成视频字幕，并额外筛出 OSP 中"相机跟随运动主体"的子集以帮助学习相机与主体运动的协调。视频 DiT 初始化自 Helios-base，分四阶段训练。阶段一：改造 Helios-base 推理窗口——去掉其 FramePack 风格的 16 帧压缩历史段，前置"相当于 4 个未压缩历史帧 token 数"的记忆槽；对每个采样视频块，从前 4 块随机选 4 个历史帧填充记忆槽；用 OSP 的 760,000 视频训练 5,000 迭代、32 GPU、全局 batch 32。阶段二：冻结 DiT 主干，训练 UCPE 相机条件分支；用 40,000 个过滤 OSP 视频与 6,000 个 DL3DV 视频、32 GPU、batch 128。阶段三：把记忆编码器适配到 VAE latent——用 LagerNVS 编码器初始化、替换其浅层 DINO 层为 latent patch embedding，编码器输入固定 9 个 latent 帧；在 DL3DV 与过滤 OSP 上 warm-up 5,000 迭代、16 GPU、batch 16。阶段四：引入读出模块，输出固定 token 数（等于 4 个完整帧的 token 数），联合训练读出模块、记忆编码器、DiT 与相机分支，使记忆表示与 DiT token 空间相互适配；先在 DL3DV 与过滤 OSP 训练 8,000 迭代（32 GPU、batch 32），再并入 MIND 合成视频追加 1,000 迭代以改善动态主体建模。 六、蒸馏与实时。采用 Helios 的 coarse-to-fine pyramid 去噪并做 distribution matching distillation，3 个空间分辨率、每分辨率 2 步去噪；跨金字塔层级时只重缩放空间坐标、保持相机位姿与 FoV 不变以维持相机条件一致。为平衡视觉保真与主体跟随，蒸馏两个互补模型：low-noise 模型来自合成数据适配之前的 base checkpoint（过滤 OSP+DL3DV），保留自然外观，负责推理的最后一步去噪；high-noise 模型来自合成数据适配之后（OSP+DL3DV+MIND），保留主体跟随能力，负责前面所有步。由此 WorldCrafter-fast 在 4-GPU 上达到 16 fps 的流式生成。

实验围绕长时视频世界模型的三个能力展开：记忆一致性、相机控制精度与视觉质量，并以消融与效率分析支撑设计。基准是自建的多来源图像集，含动态目标中心场景与静态场景，每张图配多条度量级相机轨迹，轨迹长且含闭环回访，专门检验"回来看同一处"时内容是否保持。比较对象是八个近期相机可控视频世界模型，覆盖上下文记忆、空间记忆等不同机制；方法侧给出全步 WorldCrafter 与蒸馏 WorldCrafter-fast 两个变体。记忆评价按回访帧与首访帧配对比较，采用几何一致性、感知相似度、PSNR 与 SSIM；相机评价从生成视频恢复轨迹并对齐后算旋转、平移与位姿矩阵误差；视觉质量用 VBench 自定义输入模式的多个维度。消融分别替换/冻结记忆机制的关键组件：上下文记忆 vs 隐式 3D 记忆、冻结编码器 vs 联合优化、pose-free vs pose-guided 读出、相似度检索 vs 最大覆盖检索，并给出随回访间隔增长的误差曲线与训练迭代曲线。另有一组效率对比，把基于深度的空间记忆（深度估计+变形）与本文的 latent 编码+读出逐项计时，说明无需显式几何即可降低记忆处理开销。总体结论是本文方法在记忆与相机控制指标上领先、视觉质量不退化，且蒸馏模型保持实时速度。

1. 自建基准包含 145 张图、动态与静态场景、每张图 5 条轨迹共 725 个视频，轨迹长达 528–1,648 帧并含闭环回访。

   The benchmark contains 145 images from HappyOyster [ 19 ] , Project Genie [ 50 ] , web sources, and images generated by GPT-Image2, covering 83 dynamic object-centric scenes and 62 static scenes. Each image and its text description are paired with 5 metric camera trajectories, yielding 725 videos per method. The trajectories span 528–1,648 frames and include closed-loop revisits to assess whether previously observed content is preserved over long horizons.

2. 记忆评价中，WorldCrafter 相对 Lyra 2.0 把 LPIPS 从 0.487 降到 0.255、PSNR 从 14.050 提升到 18.016 dB。

   Compared with Lyra 2.0, WorldCrafter reduces LPIPS from 0.487 to 0.255 and increases PSNR from 14.050 to 18.016 dB.

3. 记忆指标表中，WorldCrafter 达到 MEt3R 0.166、LPIPS 0.255、PSNR 18.016、SSIM 0.517，WorldCrafter-fast 达到 0.129、0.186、20.868、0.616。

   WorldCrafter | 0.166 | 0.255 | 18.016 | 0.517 WorldCrafter-fast | 0.129 | 0.186 | 20.868 | 0.616

4. 相机控制评价中，WorldCrafter 在三个指标上均取得最低误差，WorldCrafter-fast 均排第三。

   WorldCrafter achieves the lowest error on all 3 metrics, while WorldCrafter-fast ranks third on each metric.

5. 相机控制指标表中，WorldCrafter 的 RotErr 为 13.536、TransErr 为 1.475、CamMC 为 1.546，WorldCrafter-fast 为 18.251、1.638、1.737。

   WorldCrafter | 13.536 | 1.475 | 1.546 WorldCrafter-fast | 18.251 | 1.638 | 1.737

6. 视觉质量评价中，WorldCrafter 取得最高总分 81.910，WorldCrafter-fast 在 Temporal Flickering 上最佳。

   WorldCrafter obtains the highest overall score of 81.910, while WorldCrafter-fast achieves the best Temporal Flickering score.

7. 消融中，把隐式 3D 记忆替换为上下文记忆后，MEt3R 为 0.382、LPIPS 为 0.497、PSNR 为 13.907、SSIM 为 0.315，RotErr 为 26.522、TransErr 为 2.083、CamMC 为 2.150，一致性与相机控制均变差。

   Context memory | 0.382 | 0.497 | 13.907 | 0.315 | 26.522 | 2.083 | 2.150

8. 消融中，冻结记忆编码器的变体达到 MEt3R 0.227、LPIPS 0.305、PSNR 16.873、SSIM 0.472，RotErr 15.428、TransErr 1.793、CamMC 1.886，弱于联合优化。

   Frozen memory encoder | 0.227 | 0.305 | 16.873 | 0.472 | 15.428 | 1.793 | 1.886

9. 消融中，pose-free 读出的变体达到 MEt3R 0.251、LPIPS 0.333、PSNR 16.486、SSIM 0.467，RotErr 18.307、TransErr 1.701、CamMC 1.828，弱于 pose-guided 读出。

   Pose-free memory readout | 0.251 | 0.333 | 16.486 | 0.467 | 18.307 | 1.701 | 1.828

10. 消融中，相似度检索替代最大覆盖检索后，MEt3R 为 0.213、LPIPS 为 0.296、PSNR 为 17.125、SSIM 为 0.485，RotErr 为 14.657、TransErr 为 1.579、CamMC 为 1.664，均不及最大覆盖。

    Similarity-based history retrieval | 0.213 | 0.296 | 17.125 | 0.485 | 14.657 | 1.579 | 1.664

11. 效率对比中，基于深度的空间记忆每块需 0.409 s 深度估计与 0.937 s 变形共 1.346 s，而 WorldCrafter 记忆编码 0.049 s、读出 0.013 s 共 0.062 s。

    For spatial memory, the depth estimation and alignment process takes 0.409 s using Depth Anything 3 [ 42 ] , while the batched warping takes 0.937 s, totaling 1.346 s per chunk. By operating directly on history latents, WorldCrafter requires 0.049 s for memory encoding and 0.013 s for readout, totaling 0.062 s.

12. 蒸馏后 WorldCrafter-fast 在 4-GPU 机器上达到 16 fps 生成速度。

    After distillation, WorldCrafter-fast can achieve a generation speed of 16 fps on a 4-GPU machine.

Novelty：新意中等偏上，属于"组件级创新+有意义的架构重定位"。单看各部件——latent 视频扩散、chunk-wise 自回归、PRoPE/UCPE 相机条件、LagerNVS 多视角编码器、flow matching、pyramid 蒸馏——均非首次提出；但把它们组织成"相机可查询的隐式 3D 感知记忆"是较完整的整合。真正有区分度的点有二：其一，记忆编码器/读出继承自"新视角重建"预训练而非几何估计预训练，这改变了对记忆表示的目标函数——不是预测几何，而是保留"几何+外观"的可重投影证据，动机清晰且与回访一致性的评测目标直接对应；其二，pose-guided readout 让目标视角参与决定固定 token 预算的信息分配，并与 DiT 联合优化，使记忆空间"生成器友好"。最大覆盖历史检索、混合高低噪声蒸馏也有工程新意，但属辅助。总体判断：思路不是颠覆性的，但在一众基于检索或显式几何的记忆方法中提供了可复用、可训练的新选项。 Soundness：方法与实验整体扎实，但有若干可质疑处。优势：公式与训练阶段交代清楚，四阶段训练拆解合理；消融设计针对性强，分别验证了"隐式 3D 记忆优于上下文记忆""联合优化优于冻结编码器""pose-guided 优于 pose-free""最大覆盖优于相似度检索"，且提供了随回访间隔/训练迭代的变化曲线，不只是单点分数；效率对比给出了可复现的组件计时。主要顾虑：一是评估可比较性——不同基线分别用全步或蒸馏模型、有的还带 refiner，虽说明理由，但会混淆"模型能力"与"推理步数"的贡献；二是相机控制评测依赖 VGGT-Ω 恢复轨迹，而部分基线的几何标注也用 Depth Anything 3/VGGT 生态，存在评测器与训练信号同源带来的潜在偏倚；三是自建基准的样本量与覆盖面有限、未见跨随机种子的方差或显著性检验；四是"回访一致性大幅领先"的部分收益可能来自记忆机制本身更强，也可能来自更强的基座/蒸馏策略，消解不够彻底。综上：核心结论大概率成立，但幅度与排名的稳健性需要更独立、标准化的评测佐证。 Significance：对该子领域有实际意义。长期一致性与相机控制是视频世界模型落地的关键瓶颈，本文给出了一种不依赖显式深度/对应关系的轻量记忆方案，并证明在自建回访基准上明显优于检索式上下文与几何空间记忆，同时通过蒸馏保留实时性，具有工程借鉴价值。"用新视角重建先验代替几何估计先验来构建世界模型记忆"是一个可迁移的观点，可能启发后续把更多 3D 表示学习成果接入生成式世界模型。但显著性受限于评测生态：基准自建、指标依赖第三方位姿恢复、比较对象以蒸馏/全步混用，且结论集中在"回访一致性"这一特定目标，尚未证明对更一般的交互任务、物理动态或具身场景的普适收益。总体可定位为：对视频世界模型记忆机制的务实推进，影响力偏社区内而非跨领域。

文章自陈两点：其一，在特别复杂或超长轨迹上一致性仍会崩坏；其二，每个 chunk 重新编码历史带来额外延迟，作者设想以增量式 streaming memory encoder 逐步吸收新块、避免重复计算。除这两点外，还可指出：记忆编码器输入被硬限制为 k 个历史帧（文中为最新帧 + 8 个互补帧，共 9 帧），在极小覆盖范围外必然丢弃信息，最大覆盖检索仍是启发式，没有对"被丢弃证据"的遗忘建模；动态物体/主体的长期追踪仍主要依赖近期上下文 z^r 与合成数据适配，隐式记忆对动态变化的维护能力没有单独验证；pose-guided readout 的查询位姿集合如何采样、数量如何影响性能未充分讨论；混合高低噪声蒸馏增加了部署与训练的复杂度，且低噪声/高噪声分工是否在其他数据分布上稳健未验证；评测依赖 VGGT-Ω 与 Depth Anything 3 生态，对几何标注/恢复工具的鲁棒性未做敏感性分析；没有给出失败模式的定量分解（是几何漂移、外观遗忘还是动态错乱）。此外，所有结论均在自建基准上得出，缺少公共基准或更大规模第三方验证。

最有价值的后续方向是作者已提出的增量 streaming memory encoder：让记忆状态随每个新生成块被增量更新，而不是每块重新编码全部历史，从而同时降低延迟并摆脱 k 帧输入上限，使"长期记忆"真正随探索扩展。围绕记忆本身，可研究：(1) 记忆 token 预算的动态分配——根据目标轨迹的信息需求自适应增减读出 token，或对已充分覆盖区域做压缩/合并；(2) 遗忘与更新策略——显式处理被新证据覆盖或冲突的旧记忆，支持场景内容变化；(3) 把 pose-guided readout 从"采样查询位姿"升级为可学习的查询生成，甚至让查询与去噪过程交互；(4) 引入不确定性估计，让模型知道"哪里没看过、哪里记忆不可靠"从而引导探索或主动补拍。评测层面，应把回访一致性、相机控制与长期记忆基准标准化、公开化，避免依赖同一几何估计生态做训练与评测。应用层面，可将该记忆接入具身智能、机器人导航与多智能体世界仿真，检验其对遮挡、动态遮挡物与重访路径的鲁棒性；也可探索与显式 3D 重建（如稀疏高斯/占用场）做轻量对账，用隐式记忆保证外观、用显式几何保证度量一致性。

Modern video games provide a measurable testbed for AI models, combining abilities of visual understanding, instruction decomposition, goal planning, and precise action control over multiple temporal horizons. Existing datasets and benchmarks, however, either cover a narrow range of games, lack language instructions, or rely on high-variance online rollouts. To address these challenges, we introduce GameHorizon, a unified data and evaluation suite that measures gameplay capabilities at different horizons for diverse model families. GameHorizon Suite consists of three components. First, GameHorizon-Annotator is a scalable and automated annotation pipeline for multi-horizon instructions. Second, utilizing the pipeline, we construct GameHorizon-Data, the first large-scale AAA gameplay dataset with temporally aligned videos, player actions, and multi-horizon instructions. It comprises 5,000 hours of recordings from 21 games, collected by 100 human expert players. Third, we build GameHorizo

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文属于 LLM agent harness 自动演化 / 智能体系统级递归自我改进（RSI）方向。作者把能力提升的来源从“权重”移到“骨架”：冻结骨干之外的一切（提示、控制流、工具、记忆、上下文管理）都作为可优化对象。与 Meta-Harness、AHE、TTHE、HarnessX 等以 evolve 集分数为主要驱动、贪婪保留候选的方法不同，本文的核心主张是：harness 演化本身需要正则化，否则有限 evolve 集上的自适应复用会造成基准特化、噪声追逐与复杂度累积。RRSI 的定位不是限制“哪些 harness 组件可改”，而是限制“有限反馈如何被转化成持久改动”：提案端约束一次改多少、在哪里花预算、是否探索未触及机制；选择端约束哪些经验改进足够强、足够省、足够干净才能留下。贡献被概括为三点：识别过拟合为 harness RSI 的关键挑战、提出双向正则化框架、在跨域/跨策略/跨骨干设置中展示可迁移且更省 token 的收益。

现代 LLM agent 是“系统”而非单模型：同一冻结模型被 harness 包裹后，是否先读对文件再编辑、失败后能否恢复、上下文是否被有效管理，都由 harness 决定。近期不少 agent 产品进展来自 harness 工程而非新权重，但手工调 harness 受限于工程师能读多少轨迹。于是出现自动方法：用 LLM 依据任务反馈迭代改写 harness 组件，即 harness evolution；由于反馈来自当前系统并塑造其后继行为，这构成智能体系统级的递归自我改进。危险在于，演化反复在同一有限 evolve 集上提议并选择候选，属于自适应经验优化：evolve 集分数可能上涨，却不带来未见任务的收益。已有研究观察到演化与留出性能之间的鸿沟，并把表面提升归因于任务特化拟合或测试期计算增长；因此近期工作开始显式分离演化与评估任务来度量泛化。本文把问题界定为“演化出的 harness 能否迁移到任务描述、工具接口或 verifier 都不同的未见基准”，并指出三种耦合的过拟合行为——基准特化、噪声追逐、复杂度累积——共同放大演化-迁移差距。解决办法借鉴 ML 中的稀疏性（L0）、Lasso/L1 稀疏化与 Ridge/L2 收缩思想，把它们转译到自适应 harness 搜索轨迹上。

一、形式对象与演化循环。RRSI 把 agent 写成 A=(π,H)，π 是冻结骨干，H 是 harness。性能 S(H;D) 与成本 C(H;D) 分别是轨迹奖励 r(x,τ) 与 policy token 数 c(τ) 在任务集 D 上的期望（式1）。未约束演化在每轮 t 用提议过程 P0 生成候选集 H_t={H_t^(1),…,H_t^(m_t)}，再在 evolve 集上取经验分数最高者：H_{t+1}=argmax_{H'∈H_t∪{H_t}} Ŝ(H';D_evolve)（式2、式3）。关键风险是自适应复用有限 evolve 集：第 t 轮候选依赖此前在同一批任务上得到的测量，等价于在极富表达力的空间上做自适应经验优化。 二、总体思路。RRSI 不收缩可达空间 Ω(H)，而是正则化穿越该空间的搜索轨迹。提案侧约束“单轮能施加多少自适应容量、容量花在哪里”；选择侧约束“哪些经验改进足够强、足够省、足够无泄漏才可成为持久状态”。 三、提案端正则。（1）L0 式退火稀疏预算：b_t=ceil(b_min+(b_max−b_min)·½(1+cos(πt/T)))（式4），从 b_max 退火到 b_min。直觉是早期允许多个协同改动以发现新机制，后期逐步稀疏、可归因。附录把候选写成原子编辑池 E_t 的二进制子集 z_t∈{0,1}^{|E_t|}，约束 ‖z_t‖_0≤b_t（式9），这是“更新上的基数约束”，而非对固定模型参数的 L0 惩罚。（2）证据感知信用分配：每条被评估的原子编辑记录 (t_i,l_i,h_i,d_i,ΔS_i,ΔC_i,a_i)（式10），a_i=1 表示其所属候选进入被接受路径。提案者据此把被拒机制作为负证据、成功机制保留显式 credit；随着预算退火到接近单编辑候选，观测增益更容易归因。（3）结构化探索：σ_t=1[Ŝ_t−Ŝ_{t−w}≤δ] 表示过去 w 轮进展未超过经验噪声带，U_t=K∖T_t 是尚未被测量编辑触及的组件；停滞时预留 m_draft 个候选槽给未探索组件。组件词表 K 包含 prompt、control_flow、config、output_plumbing、context_mgmt、client_tool、skill、memory、subagent，起熵/多样性正则的作用。 四、选择端正则。（1）泄漏筛查：在完整评估前由 critic 读候选 diff，拒绝显式编码任务名、实体名、任务特化值、答案或 evolve 基准专有逻辑，以及惰性机制；先于评估是为了防止泄漏候选获得虚高分数。（2）稳定性地板：进化前重复评估未改动的 H0 估计经验噪声 δ，候选须满足 Ŝ(H')≥S*−δ（式5），防止沿着一串小回归被噪声逐步带下山。（3）复杂度感知接受：定义 ΔS=Ŝ(H')−Ŝ(H_t)、ΔC=(Ĉ(H')−Ĉ(H_t))/Ĉ(H_t)（式6）；当 ΔS>δ 时要求 ΔC≤β0+β1ΔS（式7）。β0 是可容忍的微小增益基础成本增幅，β1 控制随增益增加允许的额外成本，用 policy token 作为资源足迹代理。这是 Ridge/L2 式收缩：抑制总体规模增长，不要求删除特定组件。（4）带内规则（附录 C.3）：当 ΔS≤δ 时不用式7，而用 w_sΔS−w_cΔC+w_nν_t(H')>0（式17）。ν_t 统计候选触及的、此前从未进入胜出路径的结构组件类型（K_str=client_tool、skill、memory、subagent）；prompt/control-flow 等不获 novelty 加成。编码实例设 w_s=0，即噪声带内的分数上升本身不能使候选可接受，必须靠降成本或结构新颖性。（5）结构剪枝：g_t(l)=max{ΔS_i : l_i=l, t−t_i≤n_prune}；若 g_t(l)≤0 则 l 进入删除目标集 B_t（式14），提案者在后续轮被要求删除这些无生产力机制。这模仿 Lasso/L1 式选择性稀疏：组件必须持续证明价值。（6）域守卫：工程设计实例额外拒绝 valid-output rate 相对下降超过 0.03、或 no-submission rate 上升超过 0.02 的候选，防止主指标补偿执行有效性的退化。轮级上，H_t~P_reg(·|H_t,F_t,L_t,b_t,E_t,B_t)⊆Ω(H_t)，H_{t+1}=argmax_{H'∈H_t∩A_t}Ŝ(H')，无可接受候选则保留 incumbent，并更新 S*←max(S*,Ŝ(H_{t+1}))（式8）。 五、训练与数据细节。策略在三个域均冻结为 Claude Opus 4.8；提议者、写跨轮失败反馈的 analyst、泄漏 critic 也是 Claude Opus 4.8。基础 harness：coding 用 Terminus-2；agentic workspace 用 ReAct loop + MCP 工具网关 + 动态 toolbelt；Harvey LAB 与 EngDesign 用 ReSum 风格上下文管理。演化数据：Terminal-Bench 2.1 共 89 个容器化终端任务；Harvey LAB 固定切 120 个演化任务与 40 个分布内留出任务；EngDesign 取 61 个可由冻结仿真器/测试台评分的任务、因套件太小不设分布内留出。超参（表5）：coding T=20、k=2、δ=0.017、b_max=4、b_min=1、w=3、m_draft=1、n_prune=4、β0=0.10、β1=44.5；agentic workspace T=20、k=2、δ=0.004、b_max=3、b_min=1、w=3、m_draft=1、n_prune=4、β0=0.10、β1=35.4；engineering design T=40、k=4、δ=0.020、b_max=4、b_min=1、w=3、m_draft=1、n_prune=5、β0=0.15、β1=24.4。δ 只由重复评估未改动基础 harness 校准；所有超参只在 evolve 环境选择，held-out 与 OOD 基准不参与调参。δ 的单位换算为：coding 相当于 89×k=178 次试验中的 3 次通过，agentic workspace 约 14100 个准则判定中的 60 个，engineering design 61×k=244 次试验中的 5 次通过。

实验跨三个领域与多个基准，覆盖 coding、agentic workspace 与 engineering design，并在每个领域只在一个套件上演化、随后原封不动地评估分布内留出与分布外基准。比较对象包括未进化基础 harness 与四个近期 harness 演化方法，所有臂共享同一基础 harness、冻结策略、演化集与候选预算。主结果从演化集、分布内留出、多个 OOD 基准三个层面报告，并特别用确定性仿真/测试台评分的工程基准排除 judge 方差。分析部分包括两组正则器的消融（分别移除提案端与接受端，以及全部移除）、跨策略族迁移、跨骨干迁移、token 成本与轨迹长度，最后附定性案例说明接受/拒绝决策的机制。整体结论是：RRSI 在留出与 OOD 上普遍改善、未见留出回归，同时以更低的 policy token 成本运行；消融表明正则器用少量演化集分数换取显著迁移收益。

1. 摘要级主结果：RRSI 在演化拆分上最高提升 14.1 分，在五个分布外基准上最高提升 4.7 分，同时比无正则演化少消耗 30% 的 policy token。

   RRSI gains up to 14.1 points on the split it evolves against and up to 4.7 points on the five out-of-distribution benchmarks, while producing a harness that runs on 30% fewer policy tokens than the unregularized evolution.

2. 三个领域各自的演化集增益分别是 Terminal-Bench 2.1 上 6.0 分、EngDesign 上 4.9 分、Harvey LAB 上 1.1 分。

   The evolve-set gains are 6.0 points on Terminal-Bench 2.1, 4.9 on EngDesign and 1.1 on Harvey LAB.

3. 留出与跨域增益：SWE-bench Verified 提升 1.8 分，Harvey LAB 分布内留出提升 2.3 分，三个分布外 agentic 基准提升 3.5–4.7 分（7.2%–13.1%）。

   SWE-bench Verified gains 1.8 points although repository-level bug fixing was never scored. The in-distribution held-out split of Harvey LAB gains 2.3, and the three out-of-distribution agentic benchmarks gain between 3.5 and 4.7 points, 7.2% to 13.1%.

4. 工程设计的分布外基准 Frontier-Eng 提升 4.3 Medal 分，即相对提升 24.3%。

   Frontier-Eng gains 4.3 Medal points, a 24.3% relative improvement.

5. 在 agentic workspace 主表上，RRSI 是唯一 OOD 平均比未演化基线高超过 1 分的方法（43.6 对 39.7），且演化集增益是所有演化 harness 中最小的。

   RRSI posts the smallest evolve-set gain of any evolved harness and the only out-of-distribution average that clears H 0 H_{0} by more than a point, 43.6 against 39.7, which is the trade the regularizers are designed to make.

6. 先验方法中，演化集最强的 Meta-Harness 对 OOD 平均只加 0.9 分，AHE 与 TTHE 低于起点，TTHE 低 1.7 分。

   Meta-Harness, the strongest baseline on the evolve split, adds 0.9 points to the out-of-distribution average; HarnessX lands on the base one; AHE and TTHE finish below the harness they started from, TTHE by 1.7 points.

7. 同时移除两组正则器时，演化集分数升到 92.8（所有臂最高），OOD 平均降到 40.3，token 成本为每试次 3.80M，而 RRSI 为 2.42。

   The most significant degradation comes from removing both, which lifts the evolve-set score to 92.8, the highest of any arm, and leaves the out-of-distribution average at 40.3, within a point of the unevolved harness, at 3.80 million tokens per trial against our 2.42.

8. 移除接受端约束后，演化集分数从 90.5 升到 91.5，OOD 平均从 43.6 降到 41.0，token 成本上升约一半。

   Without the acceptance constraints the evolve-set score rises from 90.5 to 91.5 while the out-of-distribution average falls from 43.6 to 41.0 and token cost rises by half

9. 移除提案端约束只在演化集损失 0.2 分，但 OOD 损失 1.7 分。

   Removing the proposal constraints costs only 0.2 points on the evolve split but 1.7 out of distribution

10. 在 Gemini 3.5 Flash 策略下，RRSI 把 Terminal-Bench 2.1 从 64.6 提升到 78.7，并给 SWE-bench Verified 迁移 2.2 分。

    under Gemini 3.5 Flash, RRSI improves Terminal-Bench 2.1 from 64.6 to 78.7 and transfers a 2.2-point gain to SWE-bench Verified.

11. 用搜索时未见过的 Gemini 3.1 Flash Lite 评估同一 harness，Terminal-Bench 2.1 从 11.2 提升到 14.6，相对提升 30.4%。

    Terminal-Bench 2.1 accuracy rises from 11.2 to 14.6, a 30.4% relative gain against a base score less than a fifth of the search policy’s.

12. 成本与轨迹：AHE 每试次 3.82M token（比 RRSI 高 58%），OOD 低 4.4 分；RRSI 每试次 26.3 步，先验方法为 27.3–34.6 步。

    AHE is the extreme case, at 3.82 million tokens per trial, 58% more than ours, for 4.4 points less out of distribution. The ordering carries over to trajectory length in Figure 4 (b), where RRSI runs 26.3 steps per trial against 27.3 to 34.6 for the prior methods.

Novelty：新颖性中等偏正面。把 L0、Lasso/L1、Ridge/L2 的复杂度控制语言系统地映射到 harness RSI 的“搜索轨迹”（更新稀疏、结构剪枝、复杂度收缩）是一种较新的框架，尤其“不限制可编辑组件、而正则化搜索过程”的立场与多数改写类方法及显式泛化目标/多样性档案类并发工作正交。单项机制（退火预算、证据感知历史、泄漏 critic、噪声地板、成本约束、剪枝、带内 novelty）各有直觉来源，但组合成提案+选择双向正则，并配以原子编辑记账与轮级可接受性判据，是本文的增量贡献。需要注意：作者明确承认这些类比是功能性而非数学性的，系统并不优化对应范数惩罚目标；因此严格意义上的新算法有限，更多是原则整合与工程化实现。 Soundness：总体稳健。控制变量设计较好：所有基线共享同一 H0、evolve 集、候选预算与冻结策略；分布外评估包含确定性仿真/测试台评分的 EngDesign 与 Frontier-Eng，可排除 judge 方差；跨策略族与跨骨干迁移增强了“学到的是可复用机制”这一主张的可信度；消融能区分提案端与选择端的贡献。主要弱点：未报告多种子/多次运行与方差或显著性检验，单个数字无法排除评价噪声；超参虽不在 held-out/OOD 上调，但 δ、β 等仍在 evolve 集上选择，仍存在对演化环境的隐性过拟合；“正则化导致泛化”的因果解释依赖定性类比，缺少对自适应过拟合程度的定量度量；候选预算相等、同窗口评估等实施细节多为声明，未给出可复现的逐臂配置。总体证据链合理，但统计严谨性有提升空间。 Significance：实践意义明显：harness 级 RSI 在真实 agent 产品与评测中日益普遍，而“evolve 分数上涨但不可迁移”是常见失败模式。RRSI 给出一个相对低成本、可复用的正则化配方，并同时降低推理 token，对工程部署有直接价值。对研究社区，它把泛化问题重新表述为“搜索轨迹的正则化”，可能影响后续 harness evolution、self-improving agent 与 test-time adaptation 的设计；其双向约束也可作为基线或组件嵌入其他方法。局限是范围限于冻结骨干的 harness 级 RSI，对权重更新的自改进体系没有直接结论，因此意义主要落在 agent 系统工程与 harness 演化子领域。

论文自述的局限：研究只覆盖冻结骨干的 harness 级递归自我改进，不涉及演化中更新模型权重的设置；RRSI 仍依赖有限 evolve 集与若干正则化超参，效果可能受反馈信号质量与搜索预算影响；虽有跨多域、多基准、多策略验证，仍需在更不同的 agent 架构、工具生态与更长运行的自改进过程中检验。进一步可批评的点：一是缺少多种子重复与方差/置信区间，主要结论以单次运行的点估计呈现，无法量化噪声；二是超参（δ、β0、β1、w、n_prune 等）在 evolve 集上选择，虽然 OOD 不参与调参，但仍可能对演化任务分布过拟合，且 δ 的校准依赖基础 harness 的重复评估方差；三是 L0/L1/L2 类比是解释性而非数学上的正则化，缺乏形式化的泛化保证或过拟合度量，难以证明“正则”本身是迁移收益的充分原因；四是成本约束以 policy token 为代理，未覆盖工具调用延迟、货币成本、内存与上下文膨胀等更完整的资源足迹；五是定性案例只展示少量被接受/被拒绝的 diff，未系统分析被泄漏 critic 拦截的候选比例及其对搜索效率的影响。

后续工作可沿几个方向展开。其一，把同一正则化视角扩展到权重更新的递归自我改进，检验退火稀疏、噪声地板与复杂度收缩在更危险的权重级自改进中是否同样抑制过拟合。其二，为自适应 harness 搜索建立形式化模型：将有限 evolve 集复用视为自适应统计问题，给出泛化误差上界或差异隐私式数据复用约束，把当前功能性 L0/L1/L2 类比变成可证明的保证。其三，做统计严谨性补强：多种子、bootstrap 置信区间、对“是否显著优于基线”的假设检验，并报告 δ 校准的方差。其四，自动化超参选择（例如用 evolve 集上的交叉验证或元学习选择 β、δ、b_max），减少对任务域的隐性调参依赖。其五，与显式泛化目标（Zhang et al. 2026d）和多样性档案选择（Luo et al. 2026）结合，研究“正则化搜索轨迹 + 显式泛化奖励 + 档案保存”能否进一步缩小演化-迁移差距。其六，扩展资源代理：把 token 成本泛化为延迟、货币成本与内存，并探索多目标帕累托接受规则。最后，需要在更异构的工具生态、多智能体编排与长 horizon 部署中验证这些机制是否持续有效，以及是否会出现正则器本身被搜索“利用”的新失效模式。

本文将 OmniEdu 定位为一个面向 K–12 学习与教学的开放基础模型家族，核心主张是：教育模型不能只追求答案正确，而必须同时具备学科能力、课程定位、诊断推理与教学动作/支架四种互补能力。与以往按来源或学科组织训练数据、或只做单一解题/辅导的开放模型不同，OmniEdu 的关键贡献在于一个"能力导向"的指令微调语料及其数据生产管线，并在 4B、9B、27B 三个尺度上做跨能力验证。文章把自身放在开放教育模型与数据中心式后训练两条线索的交叉处，强调"教什么、学习者在哪里、如何回应"的完整学习—教学回路；其自我定位更偏数据构造与评测组织，而非模型架构或训练算法创新。

已有开放教育模型各有侧重：EduChat 覆盖问答、作文评估、苏格拉底教学与情感支持，MuduoLLM 对齐中文 K–12 课程并支持解题、引导问答、出题与教案，Confucius3-Math 专攻中文 K–12 数学推理，但它们的学科、课程与教学交互覆盖差异较大。前沿系统方面，LearnLM 提出 pedagogical instruction following，把教学行为在后训练中条件化到学习场景；ChatGPT Study Mode、Khanmigo 等产品强调引导推理、支架与参与而非直接给答案，但多为闭源或依赖产品级编排。数据侧，LIMA、AlpaGasus、Deita、LESS 等已表明指令微调的质量与组成比规模更重要；教育数据侧，Instruction Tuning with Human Curriculum、K12-KGraph、EDUMATH 分别把学科层级、知识图谱或课程标准对齐注入监督，但通常只针对单一任务或能力。评估侧也已从最终答案正确率扩展到课程标准、年级、知识点、先修结构与教学行为（讲解、支架、反馈、诊断、长期学生建模）。论文据此指出现有空缺：缺少一个训练目标与评测协议都显式围绕完整"学习—教学回路"组织的开放模型家族，并把根因归结为数据设计问题——教育监督信号高度异质，按来源或学科混合会掩盖预期响应策略，并过度代表简单或冗余样本。

OmniEdu 的机制核心是"能力导向"的数据构造与后训练，而非模型架构创新。 一、能力分类学与数据来源。语料分两部分。通用指令数据共 9,048 例，来自 DataFlow-Instruct-10K（7,431）、Tulu-3-SFT-mixture（1,495）与 MathV360K（122），用于保留通用指令跟随、多语言、拒绝行为与图表推理。教育专用数据围绕四个能力组织：学科能力（K–12 解题与解释，覆盖数学、科学、阅读、写作）；课程定位（年级对齐、知识点识别、先修关系、难度、课程位置）；诊断推理（识别学生解答中的错误与误解、推断缺失先修）；教学动作与支架（选择并执行提示、提问、先修复习或直接解释等干预）。每例只分配一个主能力，其余性质作为次级元数据；并在能力内部按任务形式、模态、监督类型进一步划分细粒度任务桶。 二、六阶段管线。阶段一"确定性清洗与评估去污"：统一异构源表示、去重、丢弃缺字段或格式错误样本；对可验证答案做参考答案一致性检查；对混合域源只保留 K–12 相关内容（剔除金融、百科等）；多模态样本校验图像可访问与对齐；保留出处与许可证、剔除用途不明数据；删除与最终评估集重叠的样本。教育池由约 1.34M 例降到 870,711 例。阶段二"LLM 语义审计与重写"：用 Qwen3.5-122B-A10B-FP8，按任务特定审计提示给出 0–100 可用性分数与 keep/rewrite/remove 三动作；85–100 保留、50–84 送修、低于 50 丢弃。审计标准按能力调整：学科关注答案正确、答案与解释一致、基于问题/原文；课程关注关系有效与知识点对齐充分；诊断关注所标错误是否被学生作业支持、诊断解释与纠正是否一致；教学额外关注教学相关性、连贯性、支架质量、不提前泄露最终答案。重写保持原始输入不变、只修复监督部分，再审必须为 keep。降到 440,100 例。阶段三"初步多样性选择与细粒度质量过滤"：先对候选量远超目标贡献的过度代表源，用 BGE-M3 嵌入上的 k-center greedy 选择语义多样子集而非随机下采样（RACE 由 60,180 到 5,000、AquilaEdu 由 23,226 到 2,000、CJEval 由 17,178 到 2,000）；再用 GPT-5.6-Terra 做任务特定细粒度打分，各维度 1–5 分，问题求解数据分列问题有效性、答案正确、推理正确、完整性、相关性、清晰度等；所有维度至少 3 分、且正确/有效/接地等关键维度至少 4 分才保留。降到 121,318 例。阶段四"token 预算的多样性选择"：在每个细粒度任务桶内再次用 BGE-M3 上的 k-center greedy 最大化语义覆盖；桶内预算按"监督响应 token"而非样本数分配，因为不同任务响应长度差异可达一个数量级（长辅导对话 vs 短答案/提示）；贪婪选例直至桶预算耗尽。教育池降到 60,951 例、约 12.0M 监督响应 token。阶段五"教学指令分配与最终组装"：仿 LearnLM 的 pedagogical instruction following，为每个预定义任务桶配备 20 个系统指令模板（如推理解题、阅读理解、诊断纠错、苏格拉底提问、辅导对话），显式描述期望响应行为；每例恰好一个系统指令，原始用户/助手内容不变。这一"内容与响应行为解耦"设计允许同一模型学习多种甚至相互冲突的策略（解题应给答案，而支架应克制不泄题）。最后统一为消息格式、物化并对齐图像占位符，做消息结构、媒体可用性、重复标识与跨类别重复的完整性检查。最终 60,951 教育例加 9,048 通用例共 69,999 例、15.96M 监督响应 token，全程保留出处与审计元数据。 三、训练配置。三个基座分别为 Qwen3.5-4B-Base、Qwen3.5-9B-Base、Qwen3.8-27B，做全参数监督微调；框架 LLaMA-Factory，模板 qwen3_5_nothink，最大序列长度 32,768，不做 packing，每设备批大小 1、梯度累积 8 步，学习率 5e-6，cosine 调度、warmup 比例 0.1，训练 3 个 epoch，bf16 精度，开启梯度检查点与 DeepSpeed ZeRO-3。 四、评估设计。三组教育基准分别测课程定位（K12-Bench、MathFish、EDUMATH）、K–12 解题（GAOKAO-Bench、EXAMS-V、MDK12-Bench）与教学辅导（MathTutorBench、TutorBench、LongTutor），另加通用诊断（IFEval、GPQA、MMMU-Pro）。比较对象包括开放教育模型（Confucius3-Math、MuduoLLM、EduChat 多版本）与专有模型（GPT-5.4、GPT-5.6-Sol、Claude-Opus-5、GLM-5.3、Kimi-K3），并以每个微调模型对应的基座做配对消融；不支持图像的模型在图像依赖样本上只输入文本部分。

实验覆盖课程定位、K–12 解题、教学辅导三类教育能力，并辅以通用能力诊断。总体结论是：在三个模型尺度上，教育导向微调相对各自基座一致地提升了课程理解、学科解题与教学表现；27B 模型在多数课程与教学基准上处于评测模型的最强或接近最强水平，并在若干考试型任务上逼近规模更大的专有系统。提升最显著的是支架式教学与长程学生证据利用，说明收益不止于答对题，还体现在课程推理、纠错敏感教学与历史信息使用上。通用指令跟随、科学推理与多模态理解总体未因专业化而明显损失。各具体数字均以下列 claim+quote 对呈现。

1. 摘要主结果：OmniEdu-27B 在 K12-Bench、MathFish、EDUMATH、MathTutorBench 的 Scaffold 设置与 LongTutor 的 Teaching 平均分上达到文中所列水平。

   OmniEdu -27B reaches 63.12% EM / 76.69% F1 on K12-Bench, 85.89% on MathFish, 86.95% on EDUMATH, 78.74% on MathTutorBench’s Scaffold setting, and the best Teaching average of 3.02 on LongTutor among the evaluated models.

2. K12-Bench 上，OmniEdu-27B 相对基座在 EM 与 F1 上均提升，并取得评测模型中的整体最佳。

   OmniEdu-27B increases the overall EM from 52.11% to 63.12% and F1 from 73.48% to 76.69% , achieving the best overall performance among the evaluated models.

3. EDUMATH 上，三个尺度的 MaC 均提升，OmniEdu-27B 达到 86.95%，仅次于 Kimi-K3。

   On EDUMATH, the MaC scores of the 4B, 9B, and 27B models improve by 20.80, 15.40, and 16.35 points, respectively, with OmniEdu-27B reaching 86.95% , second only to Kimi-K3.

4. GAOKAO-Bench 上，OmniEdu-27B 的满分率相对基座提升，且主客观题均有增益。

   On GAOKAO-Bench, OmniEdu-27B improves the full-score rate from 91.55% to 94.87% , with gains on both objective and subjective questions.

5. EXAMS-V 上，OmniEdu-4B 的整体准确率提升最为明显。

   On EXAMS-V, the improvement is particularly pronounced for OmniEdu-4B, whose overall accuracy increases from 44.69% to 57.62%.

6. MDK12-Bench 上，OmniEdu-27B 总体提升，开放题正确率大幅上升。

   On MDK12-Bench, OmniEdu-27B improves the overall score from 46.04% to 57.76% , with open-question correctness rising substantially from 62.08% to 78.77% .

7. MathTutorBench 上，OmniEdu-27B 的 Scaffold 与 Scaffold-hard 胜率均相对基座提升。

   For OmniEdu-27B, Scaffold and Scaffold-hard win rates increase from 57.16% and 55.86% to 78.74% and 83.59% , respectively.

8. LongTutor 上，三个尺度的 Evidence 平均分均大幅提升，其中 4B、9B、27B 分别达到所引水平。

   The Evidence average increases from 25.67% to 65.88% for OmniEdu-4B, from 5.81% to 66.63% for OmniEdu-9B, and from 36.80% to 78.20% for OmniEdu-27B.

9. LongTutor 的 Teaching 平均分上，OmniEdu-27B 取得最佳。

   OmniEdu-27B obtains the best Teaching average of 3.02 .

10. 通用能力方面，MMMU-Pro 总体准确率在 4B、9B、27B 三个尺度均相对基座提升。

    MMMU-Pro overall accuracy increases from 50.46% to 52.60% for 4B, from 58.38% to 60.75% for 9B, and from 64.97% to 67.98% for 27B.

Novelty：新颖性中等。四能力分类学与能力导向的混合语料并非全新：LearnLM 已提出 pedagogical instruction following，K12-KGraph 与 EDUMATH 已把课程结构或标准对齐注入监督；但 OmniEdu 将"学科能力—课程定位—诊断推理—教学动作/支架"显式统一进一个开放后训练语料，并在 4B/9B/27B 多尺度开放模型上做跨能力验证，是对若干单点工作的系统化整合。方法层面，token 预算的桶内 k-center greedy 选择、语义审计—重写—细粒度评分的三层质量门、20 个教学系统指令模板是可复用的工程贡献，但都属于数据管线的组合与工程化，没有提出新的学习算法、损失函数或理论框架。因此，新意主要落在数据构造策略与跨能力评测组织，而非建模层面。 Soundness：合理性中等偏上。可取之处：以对应基座做配对消融，能较干净地分离教育微调效应；课程、解题、教学三类教育能力加通用诊断的覆盖较全；去污、许可证检查、重写保持输入不变、审计元数据全程保留等做法较谨慎；附录给出逐模型、逐子项明细。主要问题：其一，语义审计与质量打分依赖 LLM 判断，未报告人工一致性、审计者可靠性或与人工标注的对照；其二，85/50、1–5 分、关键维度≥4 与 token 预算等阈值缺乏敏感性分析；其三，没有逐阶段消融，无法归因各管线段对最终性能的贡献；其四，"最佳/第二"等结论多基于单次基准数值，无统计显著性检验；其五，文中基座与专有模型名（Qwen3.5、GPT-5.4、GPT-5.6-Terra、Kimi-K3、Claude-Opus-5 等）呈未来式命名，真实可复现性存疑；其六，教学能力仍以自动评测为主，未能证明真实学习效果。 Significance：实践意义较大：为开放教育模型提供了一条以数据组成与教学行为为核心、而非一味扩大数据量的路径，并公开了模型、语料与管线入口，对资源受限场景下的 K–12 教育 AI 落地有直接参考价值；多尺度模型也便于按算力预算选择。学术意义中等：它强化了"能力平衡的监督混合"这一方向，并给出一个可审计的跨课程/解题/教学评测组织，但未提出可迁移的新机制，结论也受限于特定基座、基准与数据源。整体属于稳健的数据—工程贡献与基准推进，而非范式级突破。

一是数据管线的判断依赖强 LLM（Qwen3.5-122B-A10B-FP8 审计、GPT-5.6-Terra 打分），其偏好、错误与系统性偏差会被带入语料，且没有人工对照或评分者间一致性报告；阈值与 token 预算的设定缺乏消融或敏感性证据。二是评估以自动化基准为主，没有教师、辅导者或学生的真人评价，也没有学习结果型指标，无法证明支架、诊断、长程建模等行为在真实教学中的有效性；LongTutor 的知识状态诊断准确率仍较低，说明该能力本身尚有较大空间。三是去污只针对"与最终评估集重叠"的样本，未提供 n-gram/嵌入级的更严格污染度量，也未见对训练源与各评测集之间近重复的系统检查。四是训练仅做全参数 SFT，未探索偏好优化或强化学习；通用能力虽总体保留，但按学科存在差异（如 MMMU-Pro 的某些学科有回退），长期与多语言行为未充分刻画。五是复现性受限：审计与打分的专有模型、以及未来式命名的基座与基线，使独立研究者难以精确复现数据管线；语料规模、桶划分与系统指令模板虽有描述，但完整源清单与逐源映射被放在"发布元数据/补充文档"，正文审计提示也未全文给出。六是覆盖范围偏 K–12 与中文为主，多模态、多语言及特殊教育场景的证据有限。

后续可做的工作：一是管线消融，逐阶段关闭语义审计、重写、细粒度打分、初步压缩与 token 预算选择，量化各阶段对三类教育能力的贡献，并扫描能力配比、token 预算与质量阈值；二是把 LLM 审计结果与人工教师/教研员标注对齐，报告一致性，并研究审计者模型偏差对下游行为的影响；三是引入真人教学评估：教师评分、学生前后测、长程辅导交互中的学习增益与知识状态诊断校准，补足自动基准之外的有效性证据；四是探索偏好优化/RLHF 或课程式后训练，让"支架不泄题、诊断可解释"等教学行为由奖励而非仅由系统指令塑造；五是扩展到更大规模与更小规模、不同基座家族、多语言及图像/视频模态教育数据，检验结论的可迁移性；六是研究更严格的评估去污与近重复检测，并建立开放、可审计的课程定位与教学行为评测协议。

本文是一篇系统/工具型论文，提出并实现交互式标注工具 onPanda，以“token 级纠正”（locate–correct–continue）为核心交互，面向 LLM 对齐数据与 agent 轨迹标注。其定位点在于同时解决三个相互制约的问题：标注成本、on-policy 保真度与监督粒度。与人工撰写/后编辑（昂贵且偏离模型分布）和偏好排序（廉价但仅提供响应级、且无法在模型采不出好响应时注入正确内容）相比，onPanda 通过“只纠正首个错误 token 后由模型续写”的方式，试图让最终响应大部分仍由 rollout 模型生成，从而得到接近模型采样分布的 SFT 与偏好数据，同时自动留存位置精确、天然配对正负样本的 token 级纠正信号。作者还发布 Panda-CVL 数据集与 token 级纠正基准，并宣称支持多模态与 agent 轨迹标注。本文贡献属于标注范式、工程实现与资源发布，而非训练算法；下游训练收益被明确留给未来工作，这决定了其新颖性主要在于交互机制与数据形态。

高质量数据的规模化仍是 LLM 对齐与 agent 的核心瓶颈。传统 SFT 数据构建依赖人工撰写或后编辑，成本高且产生 off-policy 数据；偏好数据虽更廉价，但只提供粗粒度的响应级监督，并且受限于“模型已经能采样到的候选”，当模型根本无法采样出好响应时几乎没有纠正信号。agent 轨迹标注更难：轨迹来自多步环境交互，任何纠正都必须真正执行工具、获得真实反馈后才能继续生成，因此要求“纠正 + 执行 + 续写”闭环。现有工具中，POTATO 与 Argilla 是通用可配置平台，可搭建后编辑或偏好排序工作流；Reptile 面向终端 SWE 任务，让标注者编辑模型输出文本、由终端环境解析执行后再续写，但其纠正基本依赖人工键入文本而非从模型自身候选 token 中选择，且把推理与动作编码为纯文本/shell 命令，不支持通用 tool-call 格式。细粒度监督方面，PRM800K 提供人工步骤级标签，TLDR 通过合成扰动构造 token 级标签，而 onPanda 声称其 token 级纠正直接来自标注过程本身，位置精确且天然正负配对。此外，“纠正前缀再重新生成后缀”的交互思想早于大模型时代，Predictive Translation Memory 与 INMT 已在交互式机器翻译中应用，本文将其推广到通用对齐数据标注及多模态、结构化 agent 场景。

核心交互：locate–correct–continue 循环。标注者边读模型流式响应边定位“第一个不合适 token”；onPanda 在该位置显示模型 top-k（默认 20）候选 token 及其概率，标注者若找到合适替换只需单击候选，否则双击 token 并键入任意替换文本。每次纠正后，系统截断纠正点之后的所有内容，以纠正后的响应作为 assistant 前缀请求模型原生续写，纠正点之前的 token 原样保留而非重新生成；随后重复该循环直到响应合格。这避免了修复后重读整段响应，也使最终响应中绝大部分 token 由模型生成。 系统与前置条件：onPanda 是组件化前端库，有两种用法——轻量静态 Web 应用（无数据库，浏览器直连预设/自定义 Chat Completions API），或嵌入已有数据平台（后端负责派单与回收）。它只要求推理 API 具备两项能力：从 assistant-message 前缀继续生成（如 vLLM 的 continue_final_message），以及返回每个 token 的 top-k 候选 logprobs。一次会话的消息、标注、操作日志与概率缓存都序列化进单个 .panda.json 文件。 token 级纠正引擎：生成以 logprobs 流式返回，onPanda 记录每个 token 的采样概率与 top-k 候选，并在 token 下方渲染概率颜色。由于分词器可能把多字节字符或 emoji 拆到多个 token，UI 沿 grapheme 边界把 token 流聚合成最小可读单元（chunk）：交互在 chunk 上发生，但记录保持 token 精确。每次纠正保留三部分信息：纠正位置、文本替换、纠正前后样本。候选单击或双击编辑后，系统截断纠正点后内容并请求带纠正前缀的原生续写。自由编辑引入的文本起初没有概率信息，可通过一次 prompt_logprobs 请求为整条响应重算逐 token 概率与候选（该“刷新”功能额外要求 API 支持 prompt_logprobs），也用于粘贴任意外部文本或切换模型后的跨模型概率可视化，使 onPanda 兼作模型检查工具。 标注树与数据协议：会话组织为标注树，节点是对话，每个节点保存完整的 messages、tools 与标注；每次纠正 fork 一个新节点，其父节点是纠正前对话，因此所有中间版本自动保存、无需人工版本管理。每个节点带操作日志，记录操作类型、时间戳、纠正内容、是否标记为 on-policy 以及采样配置快照，保证溯源。每个对话还有质量判定 is_good 与项目自定义标注 schema。配套 Python 库 onpanda 把 .panda.json 解析为训练数据：is_good=Y 节点导出为 SFT 样本；同一 prompt 下的正负节点配对为响应级偏好数据；在该配对中负样本通常是正样本的祖先节点，二者共享纠正点之前的 prefix、恰好在该点分叉，因此可在任意 tokenizer 下计算 token 级纠正三元组（负样本、被拒 token 及其位置、选中 token）。正负 token 在同一位置一一对应，优化得到天然平衡的监督信号。 结构化与 agent 支持：推理模型/agent 的响应是包含 reasoning、content、tool_calls 的结构化消息，不能直接做 token 级纠正与续写。onPanda 用“响应模板机制”在结构化消息与模型原生 token 流之间双向转换：渲染方向按模型响应模板生成含特殊 token（如 </think>、<|tool_call_begin|>）的完整 token 序列用于展示、纠正与续写；解析方向把生成流实时还原为结构化消息用于存储与工具执行。特殊 token 对标注者可见且可纠正，因此 token 级纠正统一覆盖推理链、正文与工具调用参数。数据以结构化形式存储，响应模板只在渲染与纠正时应用，故同一数据可被不同模型继续纠正与续写。外部环境与工具经 MCP 接入；harness_to_mcp 适配器把 Claude Code、Codex、OpenClaw 等现有 harness 包装成 MCP server。工具调用可配置为执行前等待标注者批准：纠正参数后执行，或拒绝并附文本指导；被拒轨迹自动保留为负样本。工具结果回填上下文后继续生成，从而在真实环境中完成交互式轨迹标注。多模态方面支持图像、音频、视频消息的输入、展示与标注。 数据集与基准机制：Panda-CVL 是生产数据的可公开子集，过滤条件为图像为自制或开放许可、任务不涉及内部业务知识而考察视觉感知/描述/推理等通用能力；标注辅助 rollout 由 32B 稠密 VLM step-1o-turbo 生成。基准把一次人工 token 级纠正分解为三个子任务：判断响应是否合格（合格则标 is_good=Y 并提交）、否则定位第一个不合适 token、再纠正它（选候选或手改）。评估用 find-and-replace 模板：无需修改输出 <|split|><|is_good|><|split|>；否则输出 <|split|>{matched_text}<|split|>{matched_index}<|split|>{replacement_text}<|split|>。评估协议把测试对话展开为实例，并用 Qwen3.6 tokenizer 对两对轨迹计算纠正三元组——(1) 真值负响应 vs 同对话最终合格响应，(2) 真值负响应 vs 应用模型生成纠正后的响应——预测正确当且仅当两个三元组完全一致，从而实现跨 tokenizer 评估。指标为 Format（可解析执行比例）、GoodAcc（合格实例被正确判为 good）、Loc.-NG（不合格实例正确定位首个错误位置）、Corr.-NG（位置与替换均与真值一致）、以及聚合指标 F1 = 2·GoodAcc·Corr-NG/(GoodAcc+Corr-NG)；两个平凡策略（恒判 good / 恒尝试纠正）分别在某一分量上为零，故 F1 均为零。

实验部分先做受控小样本研究：三名标注者对一批图像描述 prompt 以拉丁方设计轮换三种工作流——onPanda（token 级纠正）、POTATO（手动后编辑）、Argilla（四选一偏好排序），初始 rollout 使用同一模型与相同采样参数以降低采样随机性。指标包括标注时间（中位数与均值）、两两胜率（GPT 作裁判、交换位置减少偏置）、rollout 模型下的 PPL 及其相对变化（以独立多次采样均值为基线）、SFT 覆盖率、平均偏好对数。结果显示 onPanda 时间显著低于 POTATO、均值低于 Argilla，胜率最高且有人类偏好对比佐证；PPL 接近基线而 POTATO 明显偏离；编辑式方法覆盖率按设计达到满覆盖而 Argilla 存在大量不合格；onPanda 产出的偏好对最多且位置对齐。随后进行 NASA-TLX 工作负荷问卷，onPanda 得分最低。生产部署统计覆盖视觉、音频、agentic 三类数据，报告了会话量、token 级纠正量与 token 来源构成，说明干预稀疏。模型检查部分定性描述概率可视化的诊断用途。Panda-CVL 基准结果显示 token 级纠正对所有模型仍具挑战性，格式合规率与纠错准确率并不一致。附录还给出多参考标注一致性分析。

1. onPanda 的标注时间中位数为 330 秒/条，比 POTATO 的 681 秒低 51.5%，与 Argilla 的 336 秒相当；均值 515.6 秒分别比 POTATO 711.1 秒和 Argilla 684.5 秒低 27.5% 与 24.7%。

   onPanda’s median time is 330 s per prompt, 51.5% less than POTATO’s 681 s and on par with Argilla’s 336 s; in means, onPanda (515.6 s) is 27.5% and 24.7% lower than POTATO (711.1 s) and Argilla (684.5 s).

2. onPanda 的两两胜率最高，为 66.7%；匿名人类对比中人类评估者在 54.8% 的配对中偏好 onPanda 而非 POTATO。

   onPanda also attains the highest pairwise win rate (66.7%), suggesting that the efficiency gain does not come at the cost of quality; an anonymized human comparison further supports this result: human evaluators preferred onPanda over POTATO in 54.8% of pairs.

3. onPanda 的 PPL 为 1.181（相对基线 +0.86%），Argilla 为 1.161（-0.83%），二者都在基线 1.171 的 1% 以内且处于重采样噪声范围内（每次 rollout 的逐 prompt PPL 约波动 ±2.8%）；POTATO 为 1.596（+36.31%）。

   onPanda and Argilla reach PPL 1.181 ( Δ \Delta PPL + 0.86 % +0.86\% ) and 1.161 ( − 0.83 % -0.83\% ), both within 1% of the baseline (1.171) and within re-sampling noise (per-prompt PPL fluctuates by about ± 2.8 % \pm 2.8\% across rollouts); POTATO yields 1.596 ( + 36.31 % +36.31\% ).

4. Argilla 仅在 11/21（52%）prompt 上选出合格 SFT 响应，而 POTATO 与 onPanda 通过持续编辑达到 100% 覆盖；onPanda 平均每条 prompt 得到 7.43 个对齐到纠正位置的偏好对，高于 Argilla 的 6 和 POTATO 的 0.95。

   Argilla selects a qualified SFT response on only 11/21 (52%) prompts, whereas the editing-based POTATO and onPanda keep editing until the response qualifies, reaching 100% coverage by design. onPanda further derives 7.43 preference pairs per prompt, precisely aligned to correction positions, versus 6 from Argilla’s four-way ranking and 0.95 from POTATO’s pre-/post-edit pair (one initial rollout qualified without edits).

5. NASA-TLX 工作负荷问卷中 onPanda 得分最低为 3.1，低于 Argilla 的 5.4 和 POTATO 的 6.8。

   onPanda achieved the lowest score (3.1), compared with Argilla (5.4) and POTATO (6.8).

6. 部署后 onPanda 累计产出视觉、音频、agentic 三类生产数据，标注会话数分别为 25,596、105,143、1,257，自动产生约 388K 个 token 级纠正。

   Since deployment, onPanda has continuously produced three types of production data—vision, audio, and agentic—with 25,596, 105,143, and 1,257 annotation sessions respectively, automatically yielding about 388K token-level corrections (see Table 2 in appendix).

7. 在所有合格响应中，97.0% 的 token 由模型生成，2.1% 来自候选单击，仅 0.9% 为人工键入，说明生产规模下干预稀疏。

   Across all qualified responses, 97.0% of tokens are model-generated, 2.1% are selected from candidates, and only 0.9% are manually typed, showing sparse human intervention at production scale.

8. Panda-CVL 是中文视觉-语言数据集，共 7,491 个标注会话，其中训练集 6,839 个、测试集 652 个。

   Panda-CVL is a predominantly Chinese vision-language dataset comprising 7,491 annotation sessions stored in the .panda.json format, with 6,839 sessions in the training set and 652 in the test set.

9. Panda-CVL 基准把 652 个测试对话展开为 2,126 个评估实例，其中 652 个最终合格响应标为 good、1,474 个中间响应标为 not good。

   We expand the response trajectories in the 652 test conversations into 2,126 evaluation instances, comprising 652 final acceptable responses labeled as good and 1,474 intermediate responses labeled as not good.

10. token 级纠正对所有模型仍具挑战性，最佳 F1 仅 17.09%；GPT-5.5 的 GoodAcc 最高（53.37%）且 F1 最高（17.09%），GPT-6 的 Loc.-NG（24.46%）与 Corr.-NG（15.83%）最高，GPT-5.6-sol 的 Format 最高（99.98%）；九个推理模型中七个 Format 超 90%，但所有模型 Corr.-NG 均低于 16%。

    Token-level correction remains challenging for all evaluated models, with the best F1 reaching only 17.09%. GPT-5.5 achieves the highest GoodAcc (53.37%) and the best overall F1 (17.09%), whereas GPT-6 obtains the highest Loc.-NG (24.46%) and Corr.-NG (15.83%). GPT-5.6-sol achieves the best Format score (99.98%) but performs less strongly on GoodAcc. Seven of the nine reasoning models achieve Format scores above 90%, while Corr.-NG remains below 16% for all of them, suggesting that reliable format compliance does not necessarily translate into accurate error localization and correction.

11. 多参考标注一致性中，人类两两位置一致率在精确匹配下为 30.95%，远高于均匀随机位置基线的 0.20%；容忍四个 token 时分别为 44.44% 与约 1.84%。

    Human pairwise location agreement is 30.95% under exact matching, far above the uniform random-location baseline of 0.20%; with a tolerance of four tokens, the rates are 44.44% and approximately 1.84%, respectively

12. 在纠正位置相同的条件下，替换 token 的一致率为 69.44%。

    replacement-token agreement is 69.44% conditional on identical correction positions.

Novelty：新颖性中等。核心的“纠正前缀并续写”并非全新，Predictive Translation Memory 与 INMT 已在交互式机器翻译中使用；Reptile 也已在终端 SWE 场景实现了“编辑文本—执行—续写”。onPanda 的增量在于：把该机制推广到通用 LLM 对齐数据、多模态与结构化 agent 场景；用模型自身 top-k 候选替代几乎全靠人工键入，从而强化 on-policy 保真；把每次纠正自动记录为“位置精确、天然正负配对”的 token 级监督并导出三种数据形态；并用响应模板机制统一处理 reasoning/content/tool_calls 的特殊 token。这些属于有实用价值的系统创新与数据协议创新，但本质上是工程集成与范式迁移，而非原理级突破。Panda-CVL 基准把“token 级纠正能力”变成可测任务，有一定资源贡献，但仍属评测设计创新。 Soundness：工具机制描述清晰、数据协议完整，实验对“效率与保真”的验证方法较为审慎：拉丁方设计、同一初始 rollout、中位数/均值并报、以独立采样 PPL 均值为基线、位置交换的 LLM-as-a-judge 与补充人类对比都增强了内部有效性。但仍有多处薄弱：受控实验规模小（3 名标注者、21 个 prompt、单一 rollout 模型），统计力有限；参与者均为内部标注团队，存在外部效度问题；质量评估主要依赖 GPT 裁判，可能有裁判偏好；没有受控 agent 研究，agentic 证据仅是系统能力与部署统计；最关键的是，本文只验证了标注效率、输出质量与数据分布性质，完全没有下游训练实验来证明 token 级纠正信号的实际训练收益，因此其核心价值主张尚未被闭环验证。基准采用单参考精确匹配，而附录显示人类位置一致率有限，可能低估模型能力。综合看，作为工具与数据论文，其机制与效率结论基本可信，但“该信号能带来更高效后训练”这一外推缺乏证据。 Significance：实践意义较高：若 token 级纠正确能在保证质量的同时把标注成本与 off-policy 偏离压下来，对工业对齐数据流水线有直接价值；稀疏干预的生产统计（绝大多数 token 由模型生成）支持这一可行性。科学意义上，位置精确、天然正负配对的 token 级纠正是一种比响应级偏好更细的监督形态，有可能启发 PRM、DPO 变体或“纠正模型”等新训练目标，配套基准也提供了可复现的测试床。但其显著性目前受限于缺少下游训练收益证据：数据保真度高、标注快，不等于训出来的模型更好；在训练实验缺失的情况下，该方法更多是“有希望的中间产物”而非已被证明能改进对齐的贡献。此外，对需要密集纠正的低质量模型或跨模型复用的场景，其优势会衰减，这也收窄了适用边界。

第一，工具强依赖推理 API 的两项能力——assistant 前缀续写与 top-k logprobs（概率刷新还需 prompt_logprobs）；部分闭源 API 不暴露这些能力，无法为对应模型标注 on-policy 数据。第二，推理与 tool-call 续写需要为每个新模型适配响应模板，虽有参考实现与自动化辅助，仍是一次性集成成本。第三，效率与 on-policy 优势建立在“稀疏错误”前提上：模型局部逻辑大体正确、只需少量干预；一旦模型与目标差距大、纠正密集，优势下降，虽然可退回自由编辑。第四，on-policy 是相对于标注时的 rollout 模型而言的：换模型训练或权重持续更新后，该性质会衰减。第五，经验证据边界明确：受控实验规模小、参与者单一、单 rollout 模型；质量评价以 LLM-as-a-judge 为主；无受控 agent 研究；且完全未做下游训练实验验证 token 级纠正信号的训练收益。第六，基准采用单参考精确匹配，而人类纠正位置与替换 token 本身存在多样性，单参考会高估难度、低估模型的“合理但非参考”纠正；多参考只在附录做了分析，未纳入主评测。第七，自由编辑注入偏离模型分布，候选选择又受 top-k 截断限制，二者之间的保真度—正确性权衡尚未被量化建模。

最直接的跟进是补上闭环训练实验：用 .panda.json 导出的 SFT、偏好对与 token 级三元组分别训练 SFT、DPO/奖励模型/PRM 或“token 级纠正模型”，在 Panda-CVL 基准与下游任务上验证其相对响应级监督的真实增益，这是论文当前最关键的缺口。其次，作者规划的“token-level correcting model”与“token-level correction optimization”值得实现：前者类似 token 级奖励/价值模型，后者类似 token 级 DPO，基准已提供现成测试床。第三，构建“标注—训练飞轮”：用纠正模型预先定位可疑 token 并推荐修复供标注者确认，再增量训练更新 rollout 模型，使纠正随模型变强而变稀疏，同时缓解 on-policy 衰减，可做小规模闭环仿真或真实流水线试点。第四，把“后轮反馈监督前轮生成”的历史轮次标注与在线文本反馈学习打通：将编译器错误、工具失败、用户文字纠正当作 token 级纠正的统一中间表示，训练模型把任意文本反馈翻译成早期 rollout 的 token 级修改。第五，基准应引入多参考与软匹配（如容忍位置窗口、替换语义等价），并报告位置/替换两维分开的评分，避免单参考精确匹配低估能力；第六，补做受控 agent 研究，并在跨模型、跨领域与密集错误场景下测量效率与保真度的衰减边界。最后，可把概率可视化与候选排序扩展为更主动的“错误定位辅助”，形成人机协同标注的理论与度量。

本文提出 Realtime-Venus，一个面向实时语音/视频交互的主动式全双工系统，由两个独立训练的 9B 前端（Realtime-Venus-Omni 与 Realtime-Venus-Audio）加上共享的异步执行框架 Realtime-Venus-Harness 组成。论文的定位是工程系统级整合而非全新基础架构：前端基于 MiniCPM-o 4.5 做全双工微调，长视频记忆是免训练的旁路模块，主要贡献在于用统一因果时间线把用户观测、模型输出、私有委派请求和后台结果串成单一流，并用双环运行时让前台对话与后台推理/工具执行并行。其核心主张是：任务捕获应与请求发生时刻的证据绑定，而结果重入对话时必须由前端根据已变化的对话状态决定何时说、说什么。这在实时语音/视频智能体从"能对话"走向"能边对话边干活"的谱系中，占据了一个偏系统设计与数据配方的位置，而非提出新的预训练范式或架构。

近年的多模态与语音模型已把感知、语音生成和对话控制逐步合并进单一模型：Moshi 支持并发语音建模；Qwen2.5-Omni、Qwen3-Omni 将多模态感知与原生流式语音生成结合；MiniCPM-o 4.5 进一步扩展到主动式全双工视频交互，是本文的直接底座。与此同时，口语智能体的研究开始引入检索、工具调用和对话期间的异步外部计算。论文指出一个关键张力：连续交互和外部计算在同一会话中运行在不同时间尺度上——后台任务需要一份"请求发生时的稳定证据"，但其结果必须在"执行期间可能已经改变"的对话中被解读。只做前台全双工、或只做工具调用，都无法处理这一捕获与重入之间的错位。 本文把该问题拆成三部分：前端在说与听之间如何根据重叠语音的对话功能（而非单纯声学重叠）做控制决策；后台任务如何被因果地捕获、异步执行并择机返回；训练数据如何把打断、backchannel、其他指向言语与委派事件耦合到同一条时间线。背景中的评估生态包括 StreamingBench、OVO-Bench 等在线视频基准，MMAU/MMAU-Pro 等音频理解基准，以及 Full-Duplex-Bench v1.5/v3 对打断、延续与工具使用的专门测试。论文继承了 MiniCPM-o 4.5 的 Omni-Flow 架构与 Qwen3-8B 语言主干，这意味着其增量贡献集中在流式序列化、全双工监督信号、委派协议与运行时工程，而非感知或声学编解码本身的突破。

系统由前台"交互环"和后台"能力环"组成。交互环连续处理媒体、更新会话状态并决定 listen/speak/yield，直接可答的请求走 Thinker–Talker 原生流式文本与语音输出；感知在语音生成和后台执行期间保持激活。能力环由前端发出的一段私有自然语言委派请求触发：宿主把它从用户可见输出中隐藏，捕获请求边界处的上下文，创建异步工作项；Harness 选择后端能力、执行任务、把结果"润色"成可朗读的回复，再经私有后台通道送回原会话。前端决定何时说出这段已准备好的文本，Harness 决定其内容与措辞。 运行时抽象以一秒块为单位。会话 σ 的前端 m∈{audio,omni}，第 k 块的媒体输入为 x_k^audio=u_k 或 x_k^omni=(u_k,v_k)（v_k=∅ 表示无帧）；s_k 是保留状态（含模型上下文、未完成输出跨度、待播报的后台回复），b_k 是刚准入的私有回复文本，η_k 记录播放确认等因果事件。输出 O_k=(c_k,Y_k,D_k,S_k) 中只有 Y_k（文本）和 S_k（语音 token）对用户可见，D_k 是委派文本，c_k 是控制 token。因果转移为 (s_{k+1},O_k)=F_m(s_k,x_k^m,b_k;η_k)（式 1）。D_k 可跨块延伸，完成时提交的工作项固定其证据边界，回复可在后续输入边界准入。 模型架构继承 MiniCPM-o 4.5 的 Omni-Flow：Omni 用 SigLIP2 编码视觉、Whisper-Medium 编码音频；Audio 去掉 ViT 分支。投影特征进入 Qwen3-8B 主干，生成的文本与隐状态条件化离散 S3 语音 token，流式 flow-matching 解码器用系统提示中的参考音频还原波形。流按一秒单元组织，每个单元预测 <|listen|> 或 <|speak|>；说话单元先生成文本再条件化 S3 token，<|chunk_eos|> 结束语音块、<|turn_eos|> 结束轮次。这种块级调度使感知与说话并发，且未说出的续文可被修订：Omni 能"omni-proactively"边看边听并在新事件出现时主动开口，两者都能区分 backchannel 与真正打断。 免训练长视频记忆解决滚动上下文窗口有限的问题。记忆构建受 AdaCodec 的预测视觉编码启发，用轻量块级运动匹配比较相邻采样帧，以预测残差和运动代价估计视觉变化，配合局部变化保护和最大连续丢弃约束决定是否归档；只影响长时归档，不影响短时上下文。检索借鉴 MaxSim：对每个查询 token 取其在每帧视觉 token 上的最大余弦相似度，再用这些分数的 MAD 归一化得到 token 权重，加权聚合出每帧语义相关性；候选帧按相关性排序后，以更高排名帧为参照估计视觉新颖度，按 MMR 思想融合相关性与新颖度形成最终分数（分数在初始排序后固定）。重装配时取回每帧的相邻音频片段、合并重叠区间，与近期短时窗口和当前查询按时间顺序拼接。 统一流序列化把用户流、助手流、后台流对齐到同一对话时钟。用户流是因果的时间对齐特征（音频约 10 特征/秒），在助手输出期间保持活跃；助手流含前台文本、约 25 token/秒的 S3 语音 token 和可选文本委派指令，LLM 隐状态保留韵律；后台流是异步纯文本，委派启动后台计算后挂起任务不产生结果 token，结果就绪后在可用块边界以外部上下文（而非预测目标）插入。序列化用 <unit> input→output </unit> 形式，新增 <delegate>/</delegate> 与 <backend>/</backend> 四个控制 token 到词表、输入嵌入和 LM head。三个状态 token 构成轮次控制接口。 文本与播放进度同步采用式 2：n_k=argmin_n|τ_{k-1}+D(Y_{k,1:n})−t_k|，其中 τ_{k-1} 是已调度语音的结束时刻，D 是文本时长估计，t_k 是当前块边界；播放落后就少发文本，有富余容量就多发，使回复对齐最新用户音频与后台结果。训练时按起始时刻把文本和对应 S3 token 分配到块，无需固定文本-语音比例。 全双控形式化为三流上的块级自回归（式 3）：LLM 预测 (c_k,Y_k,D_k)，条件为 U_≤k,B_≤k,O_<k；语音解码器从 LLM 隐状态生成 S_k。这使声学生成留在主 LLM 之外，而语音、轮次控制、委派共享同一语义表示。c_k 区分四种情况：停顿/噪声→<|listen|>；backchannel（短确认）→保持 <|speak|> 继续原计划；打断→发 <|turn_eos|> 终止过期回复，再把新意图纳入状态，修订未说出续文。打断被建模为事件条件语义控制，联合监督状态转移与后续生成：stop/reject 关轮丢弃未播部分，repair/update 吸收新证据重新生成过期续文，redirect/follow-up 挂起当前计划并把控制交给新请求——这比 VAD 二值触发更细。 训练数据共九个类别、约 280 万样本。视频组约占七成且仅 Omni 使用，音频组约三成被两者共享；离线理解约 56%、主动双工约 37%、委派约 6%。配方为统一后训练：损失只算在回复跨度上，排除 system/user/媒体占位 token；离线多轮中助手历史与最终轮一起监督；双工数据监督每秒 listen/speak 决策与说出文本，长回复跨多单元连续监督；每样本损失按其监督权重归一化后再批平均，防止长答案主导；长答案的 LM-head 交叉熵分块重算以约束激活内存；解码失败或超长的样本预处理时丢弃；只更新 Thinker，声学解码器冻结。 Harness 分捕获、派发、返回三阶段，并跟踪工作项生命周期。因果任务捕获：前端在 <delegate>q_i</delegate> 中给出目标，宿主从原始 token 流中提取并隐藏该请求；协议校验与身份检查保证一个已接受请求最多生成一个工作项。κ_i=(T_i,n_i) 含开 token 时间戳与该边界最新输入序号，捕获用式 4：X_i=Snap(ℬ^σ;κ_i,Δ)、w_i=P(i,σ,q_i,X_i)，Δ 是回看窗口；只有在闭合 token 后才注册，时间戳与序号栅栏把证据限制在 T_i 之前，此前助手语音还需在该时刻前有播放确认，后续观测不能改动 X_i。派发阶段，注册表 C={γ_mm,γ_gen}∪C_skill 提供多模态感知、通用规划与可扩展技能；路由器 R 依据契约与紧凑证据摘要做一次模型决策（式 5），模式校验拒绝非法选择，执行器返回归一化结果 r_i=E_γi(w_i,α_i)。返回阶段，适配器 A 做纯文本润色、去除保留控制 token，并包装为单条私有 <backend> 消息（式 6）：b~_i=A(w_i,r_i)；该消息在块 k 准入为 b_k，前端结合当前交互状态选择合适时机用原生 Talker 说出。生命周期为 Queued→Running→Completed→Delivering→Delivered，失败为终态 Failed；请求带新鲜度截止时间，过期的结果在终态构造时即被排除；Delivered 要求前端对该回复生成完成且所有 Talker 块播放确认。 数据管线分三段：场景与交互规划（结构化场景种子扩展为事件级计划，含说话人、受话对象、话轮所有权、意图保持/改变，组合覆盖日常、信息查询、协作、决策、服务与多方对话）；副语言与声学实现（加入犹豫、填充停顿、重复、自我修正、未完成句、笑、呼吸，混入次要说话人与环境声，覆盖中英文与语码切换）；时间对齐与物化（映射到单调会话时钟，记录来源、时间跨度、对话功能、受话对象与系统行为，再物化为纯音频或视频）。每条轨迹把观察事件同时接到双工目标（继续/等待/让出/停止/修订）与委派目标，backchannel 与指向他人或无关背景言语一般保留当前回复，而抢占话轮的打断停止已排队语音。

实验覆盖视频理解、音频理解、口语问答、全双工重叠处理、工具使用与委派决策。总体来看，Omni 前端在多数在线视频基准上超过其底座及其他在线模型，音频前端在若干音频理解与口语问答指标上领先，但都不是全面第一；全双工结果显示其在非打断性重叠言语下的延续性很强，对用户打断的响应率却明显低于若干对比系统，说明"延续强"不等于"打断处理强"。工具使用方面，两个前端在工具选择上较靠前，但参数准确率与完整成功比例显著落后于最强闭源基线。免训练记忆模块在长视频时长分档上带来一致提升。论文没有给出消融实验或延迟数据，无法把系统各组件贡献区分开。

1. Realtime-Venus-Omni 在八个视频基准中的六个上取得在线模型最高分，其中 StreamingBench 为 70.2%、OVO-Bench 为 64.7%、Daily-Omni 为 81.3%。

   Realtime-Venus-Omni achieves the highest scores on six of eight video benchmarks, including StreamingBench (70.2%), OVO-Bench (64.7%), and Daily-Omni (81.3%).

2. Realtime-Venus-Audio 在 MMAU、MMAU-Pro、Llama Questions、Speech CMMLU 上领先对比模型，分数分别为 78.0%、63.2%、83.8%、67.8%，并持平最优 VoiceBench AlpacaEval 分 4.81。

   Realtime-Venus-Audio leads the compared models on MMAU (78.0%), MMAU-Pro (63.2%), Llama Questions (83.8%), and Speech CMMLU (67.8%), while matching the best VoiceBench AlpacaEval score of 4.81.

3. 在 Full-Duplex-Bench v1.5 上，Audio 对 75% 的用户打断做出响应，在 backchannel、指向他人言语、背景言语下的延续率分别为 97%、88%、86%，三个延续指标均超过 Gemini 3.1 Live 与 GPT-4o。

   On Full-Duplex-Bench v1.5, Realtime-Venus-Audio responds to 75% of user interruptions and achieves continuation rates of 97%, 88%, and 86% under backchannels, other-directed speech, and background speech, respectively, exceeding Gemini 3.1 Live and GPT-4o on all three continuation metrics.

4. 相比底座 MiniCPM-o 4.5，Omni 在 StreamingBench 和 OVO-Bench 上分别提升 2.3 和 4.0 个百分点，OmniPro probe 模式精度提升 3.4 点。

   Compared with MiniCPM-o 4.5, it improves StreamingBench and OVO-Bench accuracy by 2.3 and 4.0 percentage points, respectively, and OmniPro probe-mode accuracy by 3.4 points.

5. Omni 在四个流式/主动基准上的具体分数为 StreamingBench 70.2、OVO-Bench 64.7、ProactiveVideoQA 46.2、OmniPro 29.0。

   Realtime-Venus-Omni scores 70.2 on StreamingBench, 64.7 on OVO-Bench, 46.2 on ProactiveVideoQA, and 29.0 on OmniPro.

6. 记忆增强对 Realtime-Venus-Omni 带来一致提升：LVOmniBench 60–90 分钟子集提升 5.88 点，LongVideoBench 40–60 分钟子集提升 4.76 点。

   In particular, accuracy increases by 5.88 percentage points on the 60–90-minute subset of LVOmniBench and by 4.76 points on the 40–60-minute subset of LongVideoBench, with gains across all evaluated duration ranges of CGBench as well.

7. 对 MiniCPM-o 4.5 加记忆同样有效，在 CGBench 上提升 9.27–10.44 点，在 LVOmniBench 60–90 分钟子集提升 5.89 点。

   For MiniCPM-o 4.5, memory also improves performance in several settings, including improvements of 9.27–10.44 points across CGBench and 5.89 points on the 60–90-minute LVOmniBench subset.

8. Realtime-Venus-Audio 在四个音频理解基准上的准确率分别为 78.0%、63.2%、65.6%、66.0%。

   Realtime-Venus-Audio achieves accuracies of 78.0%, 63.2%, 65.6%, and 66.0%, respectively.

9. Realtime-Venus-Audio 在口语问答上取得 AlpacaEval 4.81，以及 Llama Questions、Speech TriviaQA、Speech CMMLU 上 83.8%、75.7%、67.8% 的准确率。

   Realtime-Venus-Audio obtains an AlpacaEval score of 4.81 and accuracies of 83.8%, 75.7%, and 67.8% on Llama Questions, Speech TriviaQA, and Speech CMMLU, respectively.

10. 在 FDB-v3 工具使用上，Omni 的 tool selection F1、参数准确率、Pass@1 为 86.0%、53.1%、43.0%，Audio 为 82.0%、52.2%、42.0%。

    Realtime-Venus-Omni achieves 86.0% tool selection F1, 53.1% argument accuracy, and 43.0% Pass@1, while Realtime-Venus-Audio achieves 82.0%, 52.2%, and 42.0%, respectively.

11. GPT-Realtime 在工具使用三项指标上以 87.6%、68.0%、60.0% 领先所有对比系统。

    GPT-Realtime leads all three metrics at 87.6%, 68.0%, and 60.0%.

12. 两个前端在共同的九类后训练语料上训练，样本规模超过 280 万。

    Realtime-Venus-Omni and Realtime-Venus-Audio are trained on a common post-training corpus of over 2.8 million samples covering nine data categories, summarized in Table 1 .

Novelty：新颖性中等偏系统。核心架构、编码器、语言主干与语音合成均继承 MiniCPM-o 4.5，不是新的模型架构；免训练记忆的 gating/retrieval 也分别明确借鉴 AdaCodec、MaxSim 与 MMR。真正的新意在于：把"全双工对话控制 + 私有委派 + 异步结果重入"放进同一条因果流式序列并联合监督，以及 Harness 的证据快照、新鲜度检查与播放感知投递机制。作为整体系统这是有辨识度的组合，但单独看每个组件，其增量贡献有限，"首个支持异步后端调用的全双工 omni 模型"这类首创性表述难以从论文本身独立验证。 Soundness：论证结构清晰，公式与状态机定义较完整，但严谨性有短板。第一，完全没有消融实验，无法确认双工数据、委派数据、流式同步式 2、记忆模块各自带来多少增益，也无法把"底座提升"与"系统设计"分开。第二，全双工打断响应率（用户打断下 C_RESPOND）低于 Joy-Duplex、GPT-4o 与 Gemini 3.1 Live，论文虽做了 trade-off 讨论，但并未给出能支持其核心"连续交互"主张的最强场景证据。第三，工具使用中参数准确率与 Pass@1 显著落后 GPT-Realtime，且委派决策基准为内部构建、未公开，可复现性弱。第四，无延迟、实时性、失败恢复的量化评估，系统名中的"Realtime"缺乏可检验的数据支撑。总体方法学偏描述性，结论基本与报告数字一致，但因果归因不足。 Significance：对实时语音/视频智能体的实践方向有意义：前台保持交互、后台异步执行、结果择机重入的双环设计直击实际部署中的时间尺度错位，长视频免训练记忆也给出了低成本的工程方案，两个 9B 模型的全双工延续性表现对开源社区有参考价值。但影响力受限于：关键组件缺乏隔离验证，委派基准不公开，延迟与失败处理没有实测，最强的优势指标集中在非打断延续，而打断与完整任务完成仍未达最强水平。因此更可能作为系统设计范式和数据配方参考，而非推动该领域基础理解或形成新基准范式的论文。

第一，缺少消融与组件归因：双工数据、委派数据、式 2 的播放同步、记忆 gating/retrieval 等各自的作用未被隔离，无法判断增益来自数据规模、底座微调还是运行时设计。第二，实时性未被证明：全文没有端到端延迟、TTFB、异步完成延迟或播放确认的开销数据，也没有在不同网络/工具延迟下做压力测试。第三，全双工证据不完整：用户打断场景的响应率明显低于若干基线，且对打断后"停止-修订-重定向"的细分行为没有量化；v1.5 的评分依赖 C_RESPOND/C_RESUME 的粗分类，无法反映时延敏感的过渡质量。第四，工具与委派评估偏弱：FDB-v3 参数准确率与 Pass@1 落后，委派决策基准是内部构建且未公开，正确路由与成功完成被刻意分开但未给出从路由到完成的失败分解；证据快照、新鲜度阈值、回看窗口 Δ 等关键超参数无敏感性分析。第五，记忆模块只报告了三个基准的时长分档，缺少检索质量、漏检率、计算开销与超长会话（如数小时以上）的检验；其 MMR/MAD 权重缺乏可解释性分析。第六，训练数据管线虽有较大篇幅描述，但未披露数据质量、去污、与评测集的重叠控制或人工抽检，合成双工轨迹的真实性存疑。第七，评价以基准分数为主，没有真实用户研究，难以评估打断感受、回复时机的自然度等用户体验维度。

可跟进的工作包括：其一，做逐组件消融（去掉双工数据、去掉委派数据、关闭式 2 同步、关闭记忆 gating/MAD/MMR），并报告延迟与吞吐，以建立因果归因而非仅并列分数。其二，把打断处理从粗分类推进到细粒度行为（停止、修复、重定向）和响应过渡时间，设计含歧义重叠的评测，避免"延续率高但打断弱"的单边结论。其三，公开委派决策基准，并沿 Queued→Running→Completed→Delivering→Delivered 生命周期做逐阶段失败分析，重点拆解"参数接地、口语约束保留、多步调用协调"为何拖累 Pass@1。其四，对 Harness 的异步机制做延迟-新鲜度权衡研究：不同 Δ、新鲜度截止时间、并发任务数量下的成功率和用户体验。其五，评估记忆模块在更长会话、更高采样率与不同视觉变化速率下的检索质量与计算成本，并尝试把归档/检索策略与训练策略解耦或端到端可学习。其六，补真实用户研究，衡量打断的礼貌性、回复切入时机和后台结果重入的自然度，把系统评估从离线分数延伸到交互质量。最后，可把前端与 Harness 的协议标准化，测试与不同底座模型、不同工具注册表的互操作性。

本文位于“具身智能迁移”与 agentic 视觉-语言模型（VLM）机器人控制的交叉点。与视觉-语言-动作（VLA）模型、世界-动作模型（WAM）等需要大规模机器人数据训练的端到端路线不同，Robo Dawn 不更新任何参数，而是把冻结的预训练 VLM 当作闭环决策引擎，通过一个离散、语义化的动作接口和少量 in-context 演示，把数字世界获得的感知与推理能力迁移到物理操控。它明确只承担高层决策与中等粒度运动原语，不替代低层高频率灵巧控制；同时它又不同于以往只做高层规划、底层仍依赖 VLA 的 agentic 系统，而是让 VLM 直接输出可执行动作并闭环迭代。论文的核心经验主张是：在 RoboTwin 2.0 C2R 与 RoboDojo 上，零样本即可超过部分全量机器人训练的强基线，单次演示可达到 SOTA，并能迁移到 Franka 真实机器人。

本文的出发点是“智能迁移”问题：人类能在数字与物理世界之间复用感知、学习、推理和决策能力，那么主要在数字世界数据上涌现的 VLM 智能，能否不经机器人专项训练直接用于物理操控？作者把现有路线分成两类。其一是端到端机器人策略：VLA 与 WAM 用视觉-语言观测到机器人动作的配对数据训练映射，数据采集昂贵、与具体 embodiment 绑定、难以跨机器人/环境/任务扩展；更重要的是，作者援引近期证据指出，让 VLM 做动作预测可能损害其指令跟随与推理等通用能力，而机器人数据远少于语言-视觉数据，大规模参数更新存在过拟合窄分布的风险。其二是 agentic 方法：用预训练 VLM 做高层规划，通过技能库、环境反馈或程序接口落地，但多数系统仍依赖预训练 VLA 做低层执行；并发工作 Show-Harness 证明前沿 VLM 能通过紧凑语义动作接口直接闭环控制机器人。作者认为瓶颈未必是“从零获取具身智能”，而可能是缺少合适的接口与在线示范来解锁已有智能。因此提出 Robo Dawn：一个人类直觉式的离散运动原语接口，加上把演示转写为语义指令序列的 in-context learning（ICL）方案。贡献点包括：无需任务特定机器人训练即可闭环操控；两级 ICL（指令入门 + 任务演示）冻结参数下仅凭单个演示大幅提升性能；在两个仿真基准与真实机器人上取得有竞争力的零/单样本结果。

Robo Dawn 的核心不是训练新策略，而是构造一个让冻结 VLM 能“看懂、会说、会做”的接口与上下文环境。其闭环交互由式(1)形式化：在决策轮 t，VLM πθ 输入自然语言指令 L、固定的机器人-环境剖面 E、演示集 D、当前带标注视觉观测 I_t、测量机器人状态 x_t、上一轮执行反馈 F_{t-1} 与交互记忆 M_t，输出语义动作命令序列 a_t 和结构化响应 y_t（任务进度估计、当前计划、紧凑 scratchpad）。执行算子 E_P 解析并落地动作、把物理结果转成反馈 F_t；观测算子 O_P 构造下一视觉与本体感知观测；U 用模型输出和执行信息更新记忆 M_{t+1}。环境状态 s_t 仅用于形式化物理转移，不暴露给 VLM，在线控制也不使用特权物体位姿；θ、E、D 全程固定，适应只来自观测、反馈与记忆的演化。这使操控变成与多模态模型熟悉的交互式环境结构相似的闭环视觉决策过程。 接口设计的第一关键是“夹爪交互点”（GIP），定义为两指尖中点，并在视觉标注、状态报告与运动指令中统一使用，避免低层控制器使用的腕部位姿与实际抓取点之间的歧义。动作语法是游戏式的参数化语义指令（式(2)）：<arm> move <axis> <d>、<arm> rotate <rot> <θ>、<arm> point <pose>、<arm> gripper <g>、<arm> home、wait、done。arm∈{left,right}；平移轴为世界坐标系 {x,y,z}，旋转轴为 {roll,pitch,yaw}；姿态预设包括 down、forward、down45；夹爪参数为 open、close 或 [0,1] 归一化开合。所有空间指令都相对 GIP 定义并指定位姿的增量变化：move 沿给定轴平移 d 且保持姿态，rotate 绕给定轴转 θ 且保持位置；平移与旋转幅值分别裁剪到 20 cm 与 90°。point 提供常用夹爪姿态预设，home/wait/done 分别用于复位、等待环境稳定与请求完成判定。每条语义指令被翻译为到目标 GIP 位姿的完整规划运动，并执行到机器人静止，从而把低层轨迹生成与控制对 VLM 隐藏。设计直觉是：离散语义原语和游戏/遥操作/教学中的交互抽象相似，更可能对齐 web-scale 预训练中已有的概念。 ICL 部分将演示上下文分解为 D = D_prim ⊕ D_task。D_prim 是共享的“指令入门”（primer），展示所有基本指令的物理效果；D_task = {D^(m)} 包含任务级演示，N_D=0/1/>1 分别对应 zero-shot、one-shot、few-shot。两级上下文分工明确：primer 教“每条指令让机器人怎么动”，任务演示教“何时以及如何把这些原语组合成完整解题行为”。由于原始专家轨迹是连续低层动作，与 Robo Dawn 的动作空间不同，作者先把轨迹约简为末端执行器路点与夹爪状态序列，再用平移、旋转、夹爪指令的短序列到达每个路点，把整条轨迹改写成在线模型本可发出的指令序列。演示来自与评估场景不重叠的数据：仿真中来自 benchmark 的脚本专家，真实机器人来自人类遥操作；在仿真中，这些轨迹与用于训练对比机器人策略的轨迹相同。每条演示 D^(m) 含 N_m 个交互轮，每轮由视觉观测 I_j、机器人状态 x_j、简短 rationale r_j、指令 a_j 与物理效果 f_j 组成；f_j 由连续状态差得到 GIP 位姿与夹爪开合变化。部分轮次 I_j 可为空但保留完整文本轨迹以提供规划指导。对长时程 RoboDojo，作者做图像稀疏化：in-context 图像预算上限为每轮 16 个观测，超出时只保留抓取、旋转、任务完成等语义关键轮的图像，删去视觉冗余的过渡轮。rationale 由 VLM 事后以任务无关提示回看记录、按在线模型响应格式写出每轮指令背后的计划。整个流程无参数更新，学习只发生在上下文与在线状态中。 训练与数据细节上，Robo Dawn 完全不训练；RoboTwin C2R 的机器人基线按官方协议在每个任务上用 50 条干净演示联合后训练，并在域随机化场景评估，而 Robo Dawn 只把干净集中的任务演示作为 in-context 示例以规避数据泄漏。RoboTwin 有 50 个双机械臂任务、每任务 10 次独立运行；RoboDojo 有 42 个双机械臂任务、平均 5 次运行，同时报告成功率与任务进度分；真实机器人部署用 Gemini 3.8 Flash 做零样本测试。效率评估使用 Seed-2.1-Pro，除推理延迟外还引入“推理/运动比”（I/M），用于判断推理是否能与物理运动流水线重叠：I/M 低于 0.5 时可能实现流式推理。

实验覆盖两个仿真基准与真实机器人。在 RoboTwin 2.0 C2R 上，零样本即超过若干全量机器人训练策略，单次上下文演示进一步提升并达到所报告的最高水平；RoboDojo 上零样本与单样本均超过全量后训练基线，并呈现随指令预算增长的测试时扩展现象。消融考察了演示数量、底层 VLM 选择以及推理、网格定位、指令入门等接口组件。效率评估显示该方法推理耗时长、推理与运动重叠潜力有限。真实 Franka 机器人可完成块入篮与块堆叠，但叠布未成功。失败分析归纳出精度不足、逆运动学执行碰撞与完成判定不一致三类典型错误。

1. 在 RoboTwin 2.0 C2R 上，GPT-6 Astra 零样本成功率超过 π0.5 与 LingBot-VLA 等机器人训练策略，单次演示后达到最高并超过 HarnessVLA（Claude Code）15.2 个百分点。

   Even in the zero-shot setting, Robo Dawn with GPT-6 Astra achieves a 53.2% success rate, outperforming several strong robot policies including π 0.5 \pi_{0.5} (46.0%) and LingBot-VLA (50.4%). With only one in-context demonstration, its success rate further increases to 73.6%, exceeding the SOTA agentic VLA method, HarnessVLA (Claude Code), by 15.2 percentage points.

2. 使用 Gemini-3.8-Flash 时，成功率从零样本的 47.0% 增至单样本的 62.2%，四样本达到 65.4%，八样本回落至 62.7%，显示演示数量收益递减与长上下文干扰之间的权衡。

   with Gemini-3.8-Flash, the success rate rises from 47.0% in the zero-shot setting to 62.2% with one demonstration, and further reaches 65.4% with four demonstrations. The marginal gain becomes smaller beyond one shot, while performance slightly drops to 62.7% with eight demonstrations, suggesting that excessively long context may interfere with effective VLM understanding, which is a commonly observed challenge in long-context VLM reasoning Ge et al. (2025) .

3. 在相同的单样本设置下，成功率随底层 VLM 能力提升：GPT-5.6-Luna、GPT-5.6-Sol、Gemini-3.8-Flash、GPT-6 Astra 分别为 14.4%、43.2%、62.2%、73.6%。

   Under the same one-shot setting, the success rate increases from 14.4% with GPT-5.6-Luna to 43.2% with GPT-5.6-Sol, 62.2% with Gemini-3.8-Flash, and 73.6% with GPT-6 Astra, indicating that the effectiveness of Robo Dawn scales with the underlying model capability.

4. 零样本消融显示：去除推理使成功率从 47.0% 降至 34.8%，去除网格定位降至 32.4%，去除指令入门降至 44.0%。

   Removing reasoning reduces the success rate from 47.0% to 34.8%, while removing grid-based localization causes a larger drop to 32.4%. Removing the command primer leads to a smaller but still noticeable decrease to 44.0%.

5. RoboDojo 上零样本成功率为 35.67%，单次演示提升至 47.17%，超过全量后训练策略 DM0.5 的 19.34%。

   In the zero-shot setting, it attains a success rate of 35.67%. Providing only a single demonstration further improves the success rate to 47.17%. This result substantially surpasses full-set post-trained policies such as DM0.5, which achieves a success rate of 19.34%.

6. RoboDojo 上存在测试时扩展：单样本成功率随指令预算从 60 条增至 240 条由 31.2% 升至 47.2%，零样本由 23.7% 升至 35.7%。

   the one-shot success rate increases from 31.2% with 60 commands to 47.2% with 240 commands, while the zero-shot variant improves from 23.7% to 35.7%.

7. 真实机器人零样本部署中，Franka 块入篮为 9/10，块堆叠为 5/10，Piper 叠布为 0/10。

   Success Rate | 9/10 | 5/10 | 0/10

8. 效率对比中，Robo Dawn 推理耗时 9.74 秒、平均 3.4 条指令、运动 2.09 秒、推理/运动比 4.65，显著慢于端到端策略。

   Robo Dawn | 9.74 s | 3.4 cmds | 2.09 s | 4.65

9. RoboDojo 全任务单样本条件下，任务进度分为 54.63，成功率为 47.17。

   Robo Dawn (Ours, GPT-6 Astra, all tasks) | 1 | 54.63 | 47.17

Novelty：新意主要在于问题转换与组合式设计，而非全新范式。单个动作语法（move/rotate/point/gripper）本身简单，但 GIP 一致性、把专家轨迹重写为语义指令序列、两级 ICL（primer + task demos）、长时程图像稀疏化与事后 rationale 生成构成了有辨识度的整体方案。更有价值的是其实证结论：冻结 VLM 通过轻量接口与单个演示即可在双基准上超过全量机器人训练基线，为“智能迁移”提供了较有力的证据。作者也坦诚并发工作 Show-Harness 已展示类似接口思路，本文相对增量集中在 ICL 协同设计。因此 novelty 可判为中等偏上：接口层面创新有限，但“接口+演示协同、零/单样本闭环操控”的组合与系统性评估具有明确方法增量。 Soundness：方法自洽，证据方向一致：双仿真基准加真实机器人、与机器人训练基线和 agentic 基线对比、消融演示数量/模型能力/接口组件，并补充效率与失败分析，链条完整。主要顾虑在统计严谨性与可复现性：模型命名（如 GPT-6 Astra、Gemini-3.8-Flash、Seed-2.1-Pro）语义模糊、难以复现；RoboTwin 每任务 10 次、RoboDojo 5 次、真实任务 10 次试验，样本量小且无方差或显著性检验；单样本演示来自干净场景，可能高估对 C2R 域随机化的泛化；与训练基线的比较存在推理预算、模型规模与交互范式的不对称；叠布任务全部失败也说明对旋转与精度类任务的能力有限。整体可判为中等偏上的 soundness：核心主张有数据支撑，但需更严格统计与可复现的模型设定来增强说服力。 Significance：潜在意义较大。若冻结 VLM 加轻量接口即可解决一大类操作任务，则具身智能的瓶颈可能部分从“扩大机器人数据与训练动作模型”转向“设计接口与在线示范”，从而显著降低数据与训练成本，并为 VLA 训练可能损害通用能力的担忧提供替代路径。其定位是高层决策引擎，与低层端到端策略互补，可能影响后续研究资源配置。但当前意义的兑现受制于推理慢、控制粒度粗、旋转与精细操作不可靠以及安全风险；它更可能作为通用决策层与低层技能库/策略混合使用，而非直接取代端到端策略。若后续解决效率与精度问题，其研究纲领性影响会进一步放大。

论文自述四类局限：(1) 推理效率低，迭代 VLM 推理与闭环交互使其慢于端到端 VLA/WAM，不适合高频控制；(2) 自由度难度不均，VLM 对平移比精确旋转和三维姿态变化更可靠，ICL 只能缓解不能消除；(3) 精细交互控制不足，接近接触、抓取与放置阶段的细微修正仍不可靠；(4) 部署安全性，错误动作可能造成碰撞、物体损坏或人员风险。审稿视角还可补充：模型命名不可复现，且结果明显随底层 VLM 能力变化，读者难以判断所用模型的实际算力与版本；评估次数少、无误差棒或显著性检验；单样本演示取自干净场景，可能高估域随机化泛化；与训练基线的对比在推理预算与信息获取上不对等；接口依赖人工设计的网格定位、相机与工作空间剖面，泛化到新环境需大量工程；逆运动学执行碰撞与完成判定不一致表明语义层与物理层、评测层之间仍有错位；真实机器人任务少、叠布全部失败，缺少更广泛的实体验证；长上下文敏感与 prompt 工程可能带来隐性方差。

后续可沿几条线展开。一是混合架构：让 VLM 只输出高层意图/子目标，由低层 VLA、扩散策略或模型预测控制执行精细与高频动作，兼顾语义泛化与接触精度；也可把 Robo Dawn 的行为蒸馏成快速端到端策略。二是接口增强：引入变分辨率或连续精细修正原语、多视角/3D 感知以弥补旋转与姿态表示不足，或学习式地自动调整原语粒度与网格。三是测试时计算与记忆：研究指令预算分配、自验证、失败恢复与长时程记忆压缩，系统刻画“计算换成功率”的上限。四是安全与执行闭环：加入碰撞感知执行器、可满足性检查与人工确认，缓解语义规划与物理安全执行的错位。五是评估规范：用可复现的开源 VLM、更多随机种子与统计检验，统一 agentic 与训练基线的推理预算，扩展真实机器人任务与试验次数。六是理论刻画：量化哪些数字世界能力可迁移、哪些能力（如旋转、三维姿态）在预训练中欠表达，以及接口设计如何影响迁移效率。最后可探索主动演示选择与在线查询，使少量人类/脚本示范发挥更大作用。

本文提出 Harness-Zero，将“harness 优化”从部署期外部脚手架迁移到模型权重。已有 Meta-Harness 等方法优化 agent 的外部 harness（工具、中间件、技能、记忆），但收益绑定于该 harness，且跨域、跨实例、跨基座模型的最优 harness 不同，通用 agent 面临共享 harness 牺牲专用收益、维护多 harness 又需路由与持续开销的两难。Harness-Zero 形式化 harness distillation：先演化学生侧 h* 并适配为私有参考 K，再用“agent-as-harness”包裹学生，在响应边界把 K 的指导转写成目标 h 动作空间中的可执行修正，最后用审阅轨迹做 SFT，部署时只保留目标 h。它处于 harness 工程、模型-harness 协同演化、特权引导蒸馏的交汇处。

Harness 是组织工具使用、上下文与状态、环境交互的外部系统。编码 agent 的 harness 常组合 shell、文件系统、子代理与后台任务；研究 agent 的 harness 组织假设生成、实验和证据收集。近年 harness engineering 成为提升 agent 性能的核心手段，Meta-Harness 等方法自动优化 harness 代码。但优化外部脚手架不改变模型本身，部署时仍依赖该 harness；最优 harness 随域、实例和基座模型变化，通用 agent 面临共享 harness 放弃专用收益、维护多 harness 又需路由与调用开销的两难，且发现的改进没有进入模型权重。 相关研究有三条线。其一，代码型 harness 及其优化：自然语言 agent harness 把运行级策略写成可编辑文档；训练无关优化从提示、上下文扩展到工作流和 harness；也有方法训练模型即时生成 per-task harness，或由强模型为固定弱模型构建推理期 harness。其二，模型与 harness 协同演化：交替优化 harness 与参数、或联合优化二者兼容性，可互相增强，但收益可能仍与 harness 耦合；受控编码研究显示换评估 harness 比训练方法影响更大，跨 harness 反馈未必迁移到留出的极简 ReAct harness。其三，特权引导蒸馏：EvoHarness-RL 在 ALFWorld 提供 harness 内部化早期证据，OPHSD 蒸馏草稿-验证与规划-求解工作流；但二者只覆盖单一机制或非交互循环。Harness-Zero 针对完整工具使用 agent harness，在目标 h 下蒸馏，用 agent-as-harness 处理源/目标 harness 动作空间和信息差异导致的直接模仿失败。

Harness-Zero 分三阶段：演化并适配 harness、用审阅代理采集轨迹、SFT 内化。 第一阶段：以固定目标 harness h 为最终运行环境，先在训练任务 D_train 上得到演化后的学生侧 harness h*，再相对 h 适配为审阅代理的私有参考 K，即 h*=Evolve(D_train)，K=Adapt(h*;h)。演化可用既有 meta-harness 方法；本文用技能引导的演化循环：在 h 下滚动、对失败任务做群体分析、提出可复用组件修改并评估，跑三轮；目标是学生在 h* 自身下的表现。h* 采用 DeepAgents 抽象，包含 tools、middleware、skills、memory 四类组件。适配是关键：K 不直接执行 h*，只保留其意图。工具变成构造学生原生等价动作的规格；学生侧 middleware 变成审阅中间件，在条件命中时私下提醒审阅代理；skills 和 memory 变成诊断标准与干预指导；还可生成领域提示。适配必须相对 h，因为所有修正最终要由学生在目标动作空间中执行。K 以只读 /components 目录挂载，含 index.json 列出组件。示例：spreadsheet 的 prefilled_guard 原在 finish 时 diff 工作簿，适配后改为审阅轨迹中是否出现比较证据，并给出 action recipe 来生成校验脚本。 第二阶段：code-as-harness 直接在 h* 下采样：y_t∼π_{θ0}^{h*}(·|c_t)，c_{t+1}=T_{h*}(c_t,y_t)。agent-as-harness 让学生仍在 h 下提案，审阅代理在响应边界拦截。学生策略 π_S=π_{θ0}^h 提出 y_t；审阅策略 π_H 依据 c_t、y_t、K、私有历史 r_{<t} 输出 (d_t,z_t)：d_t 为 pass/replace，z_t 为完整替换响应；接受响应 y~_t 在 pass 时为 y_t，否则为 z_t；再由 T_h(c_t,y~_t) 执行并返回下一可见上下文。单个审阅会话覆盖整条 rollout，r_{<t} 保存此前审阅交换与 K 文件读取；只有被接受响应进入学生可见轨迹，被拒提案与私有审阅不进入。干预策略：原样通过合理提案；必要时做最小连贯修正，尽量保留原提案；替换必须是 h 下合法的完整响应，从当前可见状态继续。审阅代理权限仅限读取 K，不能查看隐藏解、验证器反馈或 c_t 之外的环境状态；若要额外证据，必须通过 h 提出可执行动作（例如跑校验代码），执行结果进入学生可见轨迹。审阅提交格式要求 submit_review 一次性给出 decision、replacement、components_used、reason；replacement 含 reasoning、content、可选 tool_call，mini-SWE-agent 只允许单次 execute 调用；非法提交最多重提示三次，每 trial 有 replace 预算。 第三阶段：SFT 目标为在保留轨迹上最大化接受响应的对数似然：θ̂=argmin -Σ_τ Σ_t log π_θ^h(y~_t|c_t)。轨迹同时包含学生原提案和审阅替换；替换若混入审阅者视角推理，会被 mask 掉。部署时仅用 π_θ̂ 与 h，没有 h*、K、审阅代理：y_t∼π_θ̂^h(·|c_t)，c_{t+1}=T_h(c_t,y_t)。直觉上，source harness 的指导被逐轮翻译成目标 harness 轨迹，且每个修正都条件于学生当前历史，使数据保持对 h 的 on-policy 性。 训练与数据细节：目标 h 为极简 mini-SWE-agent，固定 system prompt、单一 Bash execute 工具；每次调用在新 shell 中运行，状态只通过文件系统持久化；无工具调用的响应作为最终答案。沙箱另有 agent "<task>" CLI 支持一层子代理，子代理同模型、同 execute、不可再委托，最多四个并发；论文称这使 bash 加一层委托足以把 h* 组件映射到 h。训练域划分：SpreadsheetBench Verified 用 300 训练/100 测试；AppWorld 用 147 训练/168 test_normal（56 个场景）；USPTO 用 500 训练/100 测试。训练免训练实验用 GPT-5.6 Sol 与 DeepSeek-V4-Pro；蒸馏用 Qwen3.5-9B 为基座、GPT-5.6 Sol 为审阅代理；演化由 Kimi K3 在 Kimi Code 下完成。所有模型开 reasoning、高 effort（如适用）。过滤后训练轨迹数：Spreadsheet 487、AppWorld 282、USPTO 500；Qwen3.5-9B 用 Tinker recipe 做 LoRA SFT，两 epoch、rank 32、α 32、batch size 8、序列长 65536，学习率线性，5% warmup 到峰值 2e-4 再衰减到 1e-6，seed 42，各域分别训练，超长样本丢弃。评估指标：Spreadsheet 和 USPTO 用 pass@1，AppWorld 用 SGC。

实验覆盖多类任务领域。作者先在不训练的前沿模型上比较 agent-as-harness 与 code-as-harness；再在 Qwen 基座上做 harness 蒸馏，验证部署时只保留目标 harness 能否保住收益；然后在 USPTO 上对比不同监督来源，包括教师轨迹、挂载 h* 的轨迹、空 K 审阅和 oracle 答案审阅；最后用挖掘出的 harness 专属行为检测器测量蒸馏后的行为恢复。附录还补充弱模型的审阅边际效应与额外时延分析。

1. 在六个前沿模型-基准设置上，agent-as-harness（带适配后 K）平均优于 code-as-harness。

   We first evaluate agent-as-harness on frontier models without training and find that it outperforms code-as-harness (81.1% vs. 78.1%, averaged across six benchmark–model settings).

2. Table 1 中带 K 的 agent-as-harness 平均为 81.1%，meta-harness 为 78.1%，mini-SWE-agent 为 68.6%，空 K 仅为 69.2%，说明收益来自 harness 指导而非单纯审阅。

   Across the six settings in Table 1 , agent-as-harness with the adapted 𝒦 \mathcal{K} averages 81.1%, against 78.1% for meta-harness and 68.6% for mini-SWE-agent.

3. 蒸馏后 Qwen 基座在目标 h 下宏平均为 44.3%，超过基座加 h* 的 41.7%，相对基座 h 的 23.3% 提升 21.0 个百分点。

   Harness-Zero raises the macro average from 23.3% to 44.3%, a 21.0-point absolute gain and a 90.1% relative improvement. It also exceeds the 41.7% macro average of the base model equipped with h ⋆ h^{\star} .

4. 在 USPTO 上，蒸馏模型为 30.0%，高于基座的 12.0% 但低于挂载 h* 的 38.0%，说明深度领域知识比程序性 harness 行为更难内化。

   On USPTO, Harness-Zero improves over the base model (30.0% vs. 12.0%) but trails h ⋆ h^{\star} (38.0%).

5. 直接蒸馏教师轨迹无效：GPT-5.6 Sol 在收集任务上成功率为 52.0%，但学生测试仍为 12%。

   Directly fine-tuning on GPT-5.6 Sol trajectories leaves the student at the 12% base result, even though that source succeeds on 52.0% of the collection tasks.

6. 给审阅代理 oracle 答案使收集成功率达 98.6%，但蒸馏学生只有 15%，说明答案捷径不可泛化。

   Providing oracle answers raises collection success to 98.6%, yet the distilled model reaches only 15%.

7. K 不含任务答案、收集成功率为 59.4%，却蒸馏出 30% 的 USPTO 通过率，说明可复用程序性指导更有蒸馏价值。

   By comparison, 𝒦 \mathcal{K} contains no task answers and reaches a lower collection success of 59.4%, yet the student distilled from its trajectories reaches 30% pass@1.

8. 在收集阶段挂载 h* 把教师成功率从 52.0% 提高到 62.0%，但蒸馏学生从 12% 降至 3%，说明动作空间不匹配会破坏可转移性。

   Mounting h ⋆ h^{\star} improves GPT-5.6 Sol’s collection success from 52.0% to 62.0%, but the resulting distilled student falls from 12% to 3%.

9. 在 28 个 harness 专属行为模式上，蒸馏模型平均恢复 82.3% 的行为。

   Averaged over the 28 patterns in Table 4 , Harness-Zero recovers 82.3% of the harness-exclusive behaviors.

10. 弱模型上 agent-as-harness 相对 meta-harness 的优势转负：从 GPT-5.6 Sol 的 +1.0% 到 Qwen3.6-35B-A3B 的 -12.0%。

    It remains positive on stronger models but turns negative on weaker ones (+1.0% on GPT-5.6 Sol, +4.0% on DeepSeek-V4-Pro, -1.0% on DeepSeek-V4-Flash, and -12.0% on Qwen3.6-35B-A3B).

11. agent-as-harness 在 USPTO 平均每 trial 耗时 237.2 秒，约为 mini-SWE-agent 100.1 秒的 2.4 倍，说明采集开销高但部署时不保留。

    On USPTO, agent-as-harness with evolved guidance takes 237.2 s per trial on average, about 2.4 × 2.4\times the 100.1 s required by mini-SWE-agent.

Novelty：novelty：中高。核心新意是 agent-as-harness：在响应边界用审阅代理把不可直接执行的 harness 组件翻译为学生对目标动作空间的原生修正，并以此作为蒸馏监督。这使 harness distillation 从“单机制或非交互”扩展到完整工具使用 harness。问题形式化也较新。但组成部件（meta-harness 演化、SFT、teacher review、LoRA）多为已知，创新主要在组合、适配与约束设计，而非全新学习算法。 Soundness：soundness：中高。方法定义清晰，公式与部署假设一致；实验含推理期对比、蒸馏主结果、监督来源消融、行为恢复和弱模型分析，消融较有说服力。主要威胁：蒸馏实验的审阅代理是更强的 GPT-5.6 Sol，虽设了教师轨迹对照，仍不能完全排除“强模型参与”的混杂；结果多为单次运行，无方差或置信区间；行为恢复 pattern 由基座模型在 h* 与 h 下的差异挖掘，偏向可检测行为；训练与评估域仅三个。整体支持核心结论，但需要更严格的重现性与统计检验。 Significance：significance：较高。若结果可复现并推广，它把 harness 开发从部署期脚手架工程变为可累积的权重训练信号，缓解共享/专用 harness 两难，并为“更好模型构建更好 harness、harness 再反哺权重”的递归自改进提供可行路径。不过当前证据集中在三类任务和一个 9B 学生，需在更广泛模型与真实编码场景验证。

论文自述：需要足够强的审阅模型，弱模型上审阅可能有害；每步审阅增加模型调用与延迟，采集阶段开销大但部署时消失；SFT 可能无法完全内化深度领域知识；上下文管理等机制不易表达为响应。此外从审稿视角看：蒸馏主结果使用更强审阅模型，因果归因有混淆；单次运行、无方差估计；行为恢复的 pattern 挖掘和检测器为人工/确定性规则，可能高估或漏检；监督来源消融只在 USPTO 进行；h* 是每域共享，未覆盖 per-instance 最优 harness；未与 RL 或偏好学习、更多基座规模及更复杂目标 harness 充分比较；私有参考 K 的适配质量依赖自动化 agent，其错误传播未被独立评估。

未来工作可从四方面推进：一是训练更强 agent world model 以预测“执行提案后的环境变化”，降低审阅的反事实预测难度；二是选择性审阅与细粒度干预（token 插入、latent-space steering）以降低开销和粗糙度；三是用偏好学习或 DPO 利用 pass-replace 对比信号，替代响应级 SFT；四是把上下文管理、记忆等不可直接写成响应的 harness 机制纳入蒸馏，扩展多域、多基座和真实编码场景，并加入多次运行方差与统计检验。也可研究 recursive harness distillation：蒸馏后的模型继续生成更好 h*，形成闭环。