2026-09-10

AuK 的定位是开放源码的统一语音基础模型，把语音生成与语音编辑纳入同一个接口：自然语言指令加上可选音频上下文，映射到目标波形。它用一个 MLLM 语义编码器、一个在语音/通用音频/音乐上联合训练的 VAE，以及一个混合 rectified-flow Transformer（前段双流 MMDiT、后段单流 DiT）覆盖语音生成、内容编辑、副语言编辑、声学编辑和增强分离五类任务。报告的贡献重心有三：一是大规模五任务监督数据构造；二是生成预热、联合预训练、编辑人类偏好优化与生成强化学习组成的分阶段训练；三是通过一致性初始化和任务路由 Decoupled DMD 蒸馏出 4 步、无 CFG 的 AuK-Flash。作者强调开放代码与权重以支持复现和后续研究。

语音生成系统已从传统 TTS 演进到零样本音色克隆、指令可控合成和灵活语音编辑。现实请求往往同时包含合成、局部替换、情绪或口音修改、非语言插入、说话人分离和降质修复等能力，按任务拆分模型会割裂体验并重复建模。统一这些能力有三重困难：输出约束不同（生成新语音、只改局部内容、保留语言内容、只保留指令指定的场景成分）；条件接口不同（纯文本或指令加参考音频）；监督与评价异质（ASR 与说话人相似度可自动给出信号，但开放编辑依赖自然度、编辑强度、上下文适配和未指定属性保持等主观判断）。已有统一音频系统和编辑基准开始暴露这一问题，但单一模型同时具备宽任务覆盖、可扩展训练和高效推理仍难以实现。AuK 的回应是把所有能力形式化为同一条件生成问题，并以课程预训练、双阶段后训练和蒸馏降低训练与推理成本。

AuK 由三部分组成：Qwen2.5-Omni 作为 MLLM 语义编码器，AuK-VAE 提供共享声学隐空间，FLUX 风格 Transformer 预测目标隐变量的 rectified-flow 速度。有参考音频任务中，输入音频同时进入 MLLM 音频编码器和 VAE 编码器；MLLM 的音频表示与文本指令共同进入 LLM，VAE 编码器得到参考声学隐变量，语义条件、参考隐变量与加噪目标隐变量沿序列维拼接。无参考任务中，声学流只含加噪目标隐变量。前 M 个 MMDiT 块做双流联合注意力，之后 N 个 DiT 块在拼接序列上预测速度，最后由 VAE 解码器重建波形。 语义条件：对第 ℓ 层隐藏状态 h^(ℓ)，有参考音频时为 MLLM^(ℓ)(t, E_aud(x_ref))，否则为 MLLM^(ℓ)(t)（式1）。聚合方式为 c_sem = Σ_ℓ w_ℓ · LayerNorm(h^(ℓ))（式2），w_ℓ 是可学习标量，LayerNorm 平衡各层尺度，使不同抽象层次的信息混合。 VAE：24 kHz 单声道输入。编码器先投影到 12 通道，六个下采样块 stride 为 (2,2,2,3,4,5)，通道 12→24→48→96→192→384→768；每块含 stride 卷积、六个 dilation (1,2,4,8,16,32) 的残差单元和 LeakyReLU。最终卷积输出 128 通道，参数化 64 维后验均值和 log 方差，总下采样 480，得到 50 Hz 隐变量。四层残差耦合 normalizing flow 只在 VAE 训练时把 z 映射到 z_p 做 KL 正则，声学条件用原始 z_ref（式3/4）。解码器采用 BigVGAN：3 帧 look-ahead 卷积到 1536 通道，随后因果转置卷积 stride (5,4,3,2,2,2)，并加入抗混叠 multi-periodicity composition 模块，SnakeBeta 激活，最后因果卷积重建。VAE 目标组合多尺度 log-mel L1、多周期判别器与多尺度 CQT 判别器的 LSGAN、特征匹配和 KL（式8/9），权重 15/1/2/5。VAE 训练 1.24M 次更新，语音/音乐/通用音频按 6:3:1 实例级采样，1.28 秒片段。 Backbone：语义条件、可选参考隐变量和加噪目标分别投影为 s^(0)=P_sem(c_sem)、a^(0)=[P_ref(c_ac); P_tgt(z_t)]（式5）；P_sem 是线性+RMSNorm，P_ref/P_tgt 是卷积位置嵌入+线性。前 M 块 MMDiT 用流特定 QKV 和残差投影，RoPE 后拼接注意力实现双向语义-声学交互但保留双残差通路（式6）；随后拼接并由 N 块 DiT 在目标位置输出速度 v̂_t（式7）。MMDiT 与 DiT 均用 RMSNorm QK-Norm、RoPE、零初始化时间条件 AdaLN 调制注意力和 SwiGLU FFN。 预训练：先 50k 步仅生成任务预热，再 600k 步联合训练。backbone 为 30 层（10 MMDiT+20 DiT），hidden 1536，24 头×64 维，FFN 中间维 3072，约 1.5B 参数。整流流构造 z_t=(1-t)z0+t z1、v_t=z1-z0（式10），损失为有效帧上的掩码 MSE（式11）；时间 t=σ(u)，u~N(-0.8,0.8²)，偏向噪声端。层次条件 dropout：先以 0.3 概率丢声学条件，再以 0.2 概率独立触发无条件并覆盖前项，覆盖全条件/纯文本/无条件三种配置。零样本 TTS 参考音频以 0.5 概率裁剪到 3 秒至原长。五任务采样概率为语音生成 28.10%、内容编辑 23.02%、增强分离 23.17%、副语言编辑 21.75%、声学编辑 3.96%。动态长度分桶，每微批最多 10000 latent frames 或 24 句，全局最多 6144 句；256 GPU、ZeRO-2、bf16、fused AdamW、峰值学习率 1e-4、梯度裁剪 1.0、EMA。 后训练：编辑偏好优化对每条指令采样 10 或 20 个候选，三级评分 s∈{0,1,2}，过滤后保留有信息组；Diffusion-DPO 用共享噪声和时间重评候选，LiPO 对 1≻0、2≻0、2≻1 三种关系做标签平滑 logistic 损失，先在关系内平均再按置信权重合并（式12），2≻0 权重为 1、其余为 0.5。生成 RL 用 Flow-GRPO：以 SDE 采样，MixGRPO 将随机采样与梯度限制在轨迹前半段低 SNR 的连续 6 步；零样本 TTS 奖励融合容错/严格错误率与目标文本 NLL（式13），说话人相似度用嵌入余弦（式14），内容奖励组内标准化、说话人奖励只在 E_i=0 的候选中标准化以防奖励黑客；指令 TTS 训练 Qwen2.5-Omni-7B 风格一致性奖励模型并多数投票（式15），对薄弱维度过采样。G=16 候选，500 采样步，CFG 2.0，KL 目标 1e-3，训练 500 步。 加速：先从教师初始化做 trajectory-level consistency distillation：相邻 t<t′，教师以单步 CFG 速度把 z_t 推到 z_t′，匹配学生从 z_t 与 z_t′ 预测端点 z1 的输出，后者 stop-gradient；报告称在相同更新数下优于 CausVid ODE 回归和 MeanFlow 初始化。随后 Decoupled DMD 分离 CFG Augmentation（用 APG 替代教师 CFG 防止过饱和削波）和 Distribution Matching（在独立重噪的学生预测上对齐分布）；分离样本被路由到干净隐变量回归并排除 DMD 双端更新（式16），避免多说话人/人声分离退化为混合输出。一致性阶段 500 步，DMD 阶段 2500 次学生更新、每学生更新 5 次 fake-score，APG 尺度 4.0、η=0。 推理：Prompt Enhancer 识别任务、抽取并校验参数、模板化改写、音频预处理并估计时长；时长按任务使用字节比、速率乘数、情绪系数、非语言偏移或 LLM 调节（式17）。AuK-Flash 以 4 步、无 CFG 完成推理。

实验以 VAE 重建、零样本与指令语音生成、通用指令编辑、增强/分离为主线。报告可逐字核验的是 VAE 在语音、通用音频和音乐三个域上的重建对比，AuK-VAE 在所列四项指标上均优于表中基线，说明其隐空间在不同声学内容上的重建保真度较强。对生成和编辑任务，报告只在摘要与结论层给出“领先/有竞争力”的定性判断，并指向未在提供文本中展开的 benchmark 表，因此主任务实验只能视为作者声明，难以独立审计。加速版被表述为在保留能力的同时显著降低推理开销。总体看，实验证据对 VAE 组件较充分，对端到端统一能力仍不够透明。

1. 在语音域 Seed-TTS-Eval 上，AuK-VAE 的重建得分为 PESQ 4.143、STOI 0.982、Mel Dist 0.574、STFT 1.457。

   AuK -VAE | 4.143 | 0.982 | 0.574 | 1.457

2. 在通用音频域 AudioSet 采样上，AuK-VAE 的重建得分为 PESQ 3.833、STOI 0.900、Mel Dist 0.571、STFT 1.842。

   AuK -VAE | 3.833 | 0.900 | 0.571 | 1.842

3. 在音乐域 MUSDB18-HQ 测试集上，AuK-VAE 的重建得分为 PESQ 3.884、STOI 0.927、Mel Dist 0.525、STFT 1.721。

   AuK -VAE | 3.884 | 0.927 | 0.525 | 1.721

4. 预训练语料约包含 30.3 亿条指令-音频实例和 195 万小时有效监督，覆盖五个任务族。

   1.95 1.95 million hours of effective supervision across five task families

5. AuK-VAE 在约 300 万小时语音、音乐和通用音频上训练 1.24M 次更新，域采样比例 6:3:1，片段长度为 1.28 秒。

   We train the AuK -VAE for 1.24 1.24 million updates on approximately 3 3 million hours of speech, music, and general audio.

6. 编辑偏好数据过滤后保留 818 个有信息组和 9,080 个已评分候选。

   After filtering the dataset contains 818 818 informative groups and 9,080 9{,}080 rated candidates.

7. AuK-Flash 执行 4 步、无 classifier-free guidance 推理；报告另称在匹配条件下相对全模型有 4.5 倍墙钟加速。

   The resulting AuK -Flash performs 4-step inference without classifier-free guidance

8. 统一预训练采用两阶段课程：先 50k 步仅生成任务预热，再进行 600k 步生成-编辑联合训练。

   The second stage initializes from this checkpoint and jointly trains on generation and editing tasks for a further 600 600 k updates.

9. 生成强化学习从编辑偏好检查点初始化，每条提示采样 G=16 个候选，并训练 500 个优化步。

   We initialize the policy from the editing-preference checkpoint, sample G = 16 G=16 candidates per prompt, and train for 500 500 optimizer updates.

Novelty：新颖性属于中高水平的系统级集成，而非基础算法突破。主要新意是把五类任务统一到“指令+可选音频→波形”的单一接口，并用双流 MMDiT→单流 DiT 的混合 backbone 处理语义与声学条件；跨层 MLLM 特征加权、层级条件丢弃、编辑任务的 LiPO 人类反馈、Flow-GRPO 中同音字感知的容错/严格错误率与受约束的说话人奖励标准化、以及任务路由 Decoupled DMD 是若干有价值的工程创新。但 Qwen2.5-Omni、DAC/BigVGAN 风格 VAE、FLUX/MMDiT、rectified flow、DPO/GRPO 和 DMD 均为已有方法，数据构造又大量依赖第三方模型，因此整体是“配方与规模”上的贡献。 Soundness：方法与训练细节较完整，公式和超参数清楚，工程链路自洽；VAE 组件有可核验的对比结果。但作为技术报告，主实验证据不完整：生成、编辑、增强/分离的 benchmark 表仅被引用，未在提供文本中展开，无法核验“领先/有竞争力”的结论；偏好数据规模小、三级标注较粗；大量监督由合成流水线产生，可能传播外部模型偏差且缺少人工验证；没有显著性检验、置信区间或错误条；蒸馏与加速的消融也未充分呈现。因此组件级可信度较高，端到端统一能力的结论应保守看待。 Significance：若代码、权重与完整评测发布，AuK 对开源语音社区具有较高实用价值：一个模型覆盖生成、编辑、增强和分离，并提供低步数推理版本，可能降低部署门槛并推动统一语音接口研究。其对数据构造、分阶段后训练和任务路由蒸馏的工程配方也有参考意义。但当前报告可核验的证据不足以支撑“基础模型”级别影响力；后续若补充完整 benchmark、主观听测和消融实验，实际影响力会明显提升。

证据完整性不足：正文只完整给出 VAE 重建表，生成与编辑的详细 benchmark、主观评测、案例和消融均未在提供文本中展开，核心性能声明难以独立核验。 数据偏差风险：大规模监督依赖 Qwen3-Omni、F5-TTS、IndexTTS2、CosyVoice2、OmniVoice、SeedVC 和源分离模型等第三方系统合成或标注，错误会级联传播；质量过滤多依赖 ASR/WER，可能对韵律、风格和场景保持的缺陷不敏感。 偏好对齐规模有限：编辑偏好数据过滤后仅 818 组、9,080 个候选，三级评分较粗，可能不足以覆盖五类任务的开放编辑空间；DPO/LiPO 对主观偏好的泛化也需要更多验证。 系统仍未完全“原生统一”：推理依赖 Prompt Enhancer 做任务识别、参数校验和模板化改写，且蒸馏阶段需要对分离样本做显式任务路由，说明模型对自由指令的稳健理解和跨任务保持仍有不足。 加速模型有已知退化：任务路由本身表明统一 Decoupled DMD 会损害多说话人和人声分离，部分输出退化为未处理混合；APG 替换教师 CFG 虽然缓解削波，但缺乏系统评测。 计算与复现门槛高：VAE 在约 300 万小时数据上训练，主模型用 256 GPU 做大 batch 预训练、RL 和蒸馏，普通实验室难以复现；报告也未提供小规模复现配方或数据去重/隐私/版权处理细节。 评测维度不完整：缺少对编辑强度、未指定属性保持、跨语言/口音泛化、长音频、流式与实时性的量化评估，也缺少对失败模式和安全/水印问题的分析。

最直接的后续工作是发布完整 benchmark 表、音频样本、主观听测、失败案例和消融实验，使“领先性能”可被社区审计。研究层面可沿以下方向推进：一是减少对 Prompt Enhancer 和显式任务标签的依赖，提升模型对自由指令的 native grounding 与组合泛化能力；二是为开放编辑构建更大规模、多维度的偏好数据和可扩展奖励模型，避免仅靠少量人工三级评分；三是改进蒸馏方法，在不路由分离样本的前提下同时保持生成质量、多说话人分离和人声分离，并进一步压低步数与显存；四是研究跨任务、跨语言和跨口音迁移，特别是报告提到的统一训练带来的迁移现象；五是补齐安全、水印、隐私、数据版权和分布外鲁棒性评估；六是提供小规模复现配方、数据卡片和碳成本报告，降低社区复现门槛。

本文的定位是：把递归自我改进（RSI）从抽象愿景落到一个可运行的训练闭环，载体是已经部署的路由执行层（routing harness）。作者认为，智能体交互在产生任务输出的同时，还留下执行轨迹和模型能做/不能做的可观察证据；路由记录把「预测的能力需求—实际选择的服务层—随后发生的交互」绑定起来，因此天然适合组织下一轮训练。NeoHorse-1 是一个智能体原生模型家族，贡献集中在四个环节：一是把 harness 轨迹转化为保留推理、工具调用与执行上下文的用户轮次训练样本；二是用路由分数形成三阶段课程 SFT；三是把同一课程迁移到 on-policy distillation，让教师监督学生自生成前缀；四是用能力引导的分配把评测反馈写回训练混合，形成评估—选择—更新回路。文章明确这是单轮原型，而不是多代 RSI 的最终证明。

相关工作可分三条线。第一，智能体模型后训练：轨迹 SFT（FireAct、AgentTuning、Agent-FLAN、AgentBank、Llama 3）用交互轨迹把规划和工具使用写入参数；但这类方法主要模仿固定教师策略。On-policy distillation（OPD）让学生生成轨迹、教师在学生访问到的状态上给 token 级 logits，缩小训练与部署的分布差；harness 设计（SWE-agent、Interplay、Terminal-Lego）决定哪些工具、观察和反馈进入训练；可执行环境反馈的智能体 RL（Search-R1、ReTool、RAGEN、Agent Lightning、Co-Harness）则用工具执行与任务结果构造奖励。第二，LLM 路由与课程学习：FrugalGPT、RouteLLM 在质量和成本之间分配查询；Agentic Routing 把路由用于多智能体系统。课程学习通常依赖显式难度标签或数据集启发式，而路由提供了请求/上下文条件下的相对能力需求估计。本文区别于以往做法的是，它用预测的需求分数排序样本，而不是把最终被服务模型的身份当作难度标签，因为最终路由还受用户覆盖、可用性和部署策略影响。第三，RSI：已有工作在不同层面迭代改进模型、scaffold 或训练流程，如 MetaSkill-Evolve、AREX、Self-Harness、AI4AI-Bench 等。本文的增量在于用部署 harness 同时作为经验来源和反馈来源，把 RSI 放在服务栈内部。

总体设计。系统由异构模型池、多个 harness（含 OpenSquilla）和智能路由组成。路由在每个用户轮次估计能力需求，并把请求分配给 C0–C3 四个服务层：C0 处理有界低风险请求，C1 是通用默认层，C2 支持多步推理与执行，C3 提供最高能力或可靠性。策略层可依据风险、上下文压力、历史失败或服务约束调整分配。系统记录三个独立字段：路由原始预测、策略调整后的决策、实际服务的层。这样预测、动作和结果可分离分析，实际服务层不作为训练标签。 数据组织。语料按三个粒度组织：完整 trajectory 保留用户请求、模型响应、工具调用、环境观察、恢复尝试和最终结果；user turn 以用户请求开始、到下一个用户请求或任务结束，是基本序列化训练单元；subscene 聚合共享局部目标的相邻用户轮次，作为语义标注单元。每个训练样本包含一个用户轮次及其历史前缀。当前轮次的推理、工具调用、工具结果被保留，以维持推理—动作—反馈链；更早轮次的可见回复和工具交互作为上下文，但更早轮次的推理被省略。样本仍链接到父 trajectory 和 subscene，使质量、语义、路由和结果信号能在正确粒度对齐。序列化采用 Qwen3.5 聊天模板与工具调用格式；系统指令、工具说明、保留的 harness 上下文、用户消息和工具结果均不计算预测损失，只有当前轮次保留的助手目标 span 被监督。主 harness 语料之外，公开数据用于扩展指令遵循/对话、推理、工具与代码、智能体交互和偏好覆盖；统一序列化、去重和 tokenizer 冻结后，以 N_traj 和 N_tok 记入训练清单。 质量控制。数据先做精确与近似去重，并用同一匹配设施对训练候选做评测集去污染，训练与评测保持不相交。随后做规则式结构校验：在轮次级重建请求、回复、工具调用、工具观察和终止事件，检查负载可读性、消息结构、请求/响应存在性、因果事件顺序、工具调用与结果配对、标识符闭包、执行分支终止等；检测缺失响应、孤儿观察、重复/冲突工具标识、未解析内部调用和歧义终止分支。结构门产生三类结果：complete 直接进入语义评估；partially recoverable 只保留因果闭合子轨迹；quarantined 被隔离。结构合法只保证可序列化和可重放，不保证工具选择正确或任务成功。 语义评估针对结构可用轨迹，构造归一化语义事件流，评估六个维度：目标达成、指令遵循、工具使用、证据一致性、错误恢复、终止。每个维度给 PASS、WARN、FAIL 或 NOT_EVALUATED，并单独保存证据覆盖。高确定性失败（缺失最终回复、未解析工具调用、未恢复的终止错误）由确定性规则识别；需任务级解释的由语义裁判判断，但裁判只能使用轨迹中显式存在的证据，长轨迹分段评估后在轮次级聚合。缺失证据或裁判中断不会被转为正判。这样保留了结构状态、六个维度和证据覆盖，而不是压缩成单一启发式分数。 属性标注。每个 subscene 沿三个轴描述：Scene 记录用户正在做什么及上下文；Goal 记录用户期望达成什么及验收标准；Outcome 记录尝试的可验证结果。Scene 轴对任务类型和应用域采用封闭分类，每 subscene 一个主值和至多两个次值，另有 Use Context 与 Asking/Doing。Goal 轴把目标分解为验收标准，并标记跨轮关系是新建、延续、修改、恢复还是歧义。Outcome 轴把实际结果与目标对照，区分「过程跑完」与「任务真正满足」。为控制模型辅助标注噪声，每个属性保留推导方法和置信度；由来源或确定性规则确立的结构事实不能被语义裁判覆盖。 路由信号与课程分数。对每个训练样本，路由模块提供层分配 k_i∈{0,1,2,3} 和归一化支持向量 π_{i,k}（π≥0，Σπ=1）。硬排序使用 k_i；软排序使用分数加权平均 Σ k π_{i,k}，能在同一分配层内区分样本对相邻层的支持。软分数只用于课程顺序，不重新加权 SFT 损失。能力需求从首个受监督助手响应之前可用的请求与交互历史重新估计，避免受实际服务层中的用户覆盖、可用性和策略噪声污染。 SFT 目标。设序列 x_i=(x_{i,1},...,x_{i,T_i})，二元 token 级掩码 m_{i,t} 对当前轮次保留的助手目标 span 取 1：出现的推理、序列化工具调用及其参数、可见回复、回复结束 token；其余（含 padding）为 0。损失为批内所有被监督 token 的负对数似然之和，除以批内被监督 token 总数：L_SFT = −Σ_{i,t} m_{i,t} log p_θ(x_{i,t}|x_{i,<t}) / Σ_{i,t} m_{i,t}。它让每个被监督 token 等权，并按实际受监督 token 数归一化，而不是按序列长度或轮数。因果注意力保证每个助手响应只能使用序列中先前的动作与工具结果。 三阶段课程。每个阶段大约包含三分之一样本，逐步引入更高路由分数的样本，同时把部分低分样本留到后一阶段，避免训练末期完全被高难度交互主导。每个样本每趟使用一次。三阶段使用同一个掩码 SFT 目标，不重置优化器、不重启学习率。直觉是：先让模型在低能力需求样本上稳定基本行为，再逐步增加多步推理与工具协调的密度，同时持续回看低分覆盖。 能力引导分配。每次迭代把当前 checkpoint 在分层保留套件上评测（该套件与训练数据经去污染隔离），结果按属性、质量维度、结果状态和路由层聚合为模型缺陷画像。该画像把下一轮训练混合向表现不足的区域倾斜，同时保留广泛覆盖；验证成功的轨迹提供正监督，信息性失败标识需要额外或重新平衡的区域。分配只改变训练数据的构成，不引入单独的失败专用目标。两轮之间 harness 持续加入经同一管道处理的新轨迹，旧数据与新数据一起重分配；更新后的 checkpoint 回到 harness 后产生新轨迹，暴露下一组能力缺口，从而闭合评估—选择—更新环。 On-policy distillation。SFT 从记录的助手回复学习，而部署时学生以自身生成前缀为条件。OPD 用记录中助手响应之前的上下文作为生成起点，并用与 SFT 相同的三阶段分配定义阶段 j 的上下文批分布 ρ_j。在阶段 j，学生 rollout 参数 θ̄ 对每个上下文生成一个助手响应；固定教师根据上下文和学生已生成的前缀，在每个位置提供下一 token 分布。两个模型用各自原生模板渲染相同消息与工具，响应 token ID 对齐后评分。rollout checkpoint 会随着训练推进而刷新，使后续上下文上的教师监督更贴近学生近期行为；在优化学生时 θ̄ 保持固定。 蒸馏目标上，为压缩监督，保留 rollout 学生在每个位置的 top-K 候选 token，并把其余概率质量合并到一个额外 bin，形成 K+1 个 bin 上的粗化分布 P̃ 和 Q̃。对生成响应 r，损失为 D_KL(P̃_{θ,r,t} ‖ Q̃_{r,t}) 的响应内平均，再按响应权重 w_r 做响应级归一化：L_OPD = (1/Σ w_r) Σ_r (w_r/L_r) Σ_t D_KL(...)。提示 token 和 padding 不产生损失；梯度只通过当前学生在已收集前缀上的概率，生成 token、候选 ID 和教师分数保持固定。阶段式目标对 ρ_j 下的上下文和学生的 rollout 响应取期望。直觉是：课程决定学生遇到哪些任务和交互状态，而 on-policy 监督则紧跟学生不断变化的行为。

评测分三个层面：基准表现、轨迹行为、训练数据。基准表现覆盖智能体执行与工具交互、代码生成、指令遵循等多个评测，并在两个模型尺度上与若干开源基线和智能体专用模型比较；报告宏观平均变化、尺度间差异，以及小尺度训练后是否逼近更大基线。轨迹分析选择代表性案例，比较训练前后在证据获取、约束跟踪、执行验证、失败恢复和策略切换上的行为差异。数据层面先比较路由 harness 数据与公开合成工具智能体数据在匹配课程与预算下的效果，再用严格嵌套子集考察监督规模增长对开发套件平均分的影响。整体结论是：训练带来跨尺度提升，收益集中在交互与执行密集型任务；更大的模型仍保持优势；路由 harness 轨迹比公开数据更具迁移性，监督规模扩展带来稳定但有限的总体增益。

1. 两项尺度的宏观平均分均提升：4B 从 58.94 提升到 64.87，9B 从 65.60 提升到 69.04；训练后的 4B 大幅缩小与 9B 基线的总体差距。

   post-training lifts the macro-average score of the 4B model from 58.94 to 64.87 and of the 9B model from 65.60 to 69.04, substantially narrowing the aggregate gap between the post-trained 4B model and the 9B base model.

2. 在 4B 尺度上，NeoHorse-1-4B 在所有两者都有可用结果的基准上均超过 Qwen3.5-4B。

   At the 4B scale, NeoHorse-1 -4B outperforms Qwen3.5-4B on every benchmark for which both models have available results.

3. 在 9B 尺度上，NeoHorse-1-9B 在多数可用基准上超过 Qwen3.5-9B，但指令遵循基本稳定且一项指标小幅下降。

   At the 9B scale, NeoHorse-1 -9B improves over Qwen3.5-9B on most of the available benchmarks. The gains are again concentrated on harness-based agent tasks, tool interaction, and selected coding tasks. By contrast, performance on instruction-following benchmarks remains largely stable, with one metric showing a minor decrease.

4. 在两者都有可用结果的所有基准上，NeoHorse-1-9B 一致优于 NeoHorse-1-4B。

   Across all benchmarks with available results for both variants, NeoHorse-1 -9B consistently outperforms NeoHorse-1 -4B.

5. NeoHorse-1-4B 在若干基准上追平或超过 Qwen3.5-9B，说明训练可补偿部分模型规模差距。

   Notably, NeoHorse-1 -4B already matches or exceeds Qwen3.5-9B on several benchmarks, suggesting that training can compensate for part of the performance gap associated with model scale.

6. 数据消融中，路由 harness 数据在五个可比基准上比公开 Toucan 数据平均高 6.26 分；最大收益出现在 HumanEval（+8.54）与 τ²-Bench（+11.31）。

   The routing-harness checkpoint is stronger on all five comparable benchmarks, improving their unweighted average by 6.26 points. The largest gains appear on HumanEval ( + 8.54 +8.54 ) and τ 2 \tau^{2} -Bench ( + 11.31 +11.31 ), while function calling, instruction following, and coding also improve.

7. 监督规模扩展：开发套件平均分从基础模型的 69.31 稳定增长到最大展示数据规模的 71.45。

   The development-suite average increases steadily from 69.31 for the base model to 71.45 at the largest data scale shown.

8. 轨迹分析显示，在 PinchBench 环境约束案例中，9B 相对 4B 把模型请求数、执行时间和 token 用量分别降低约 70.8%、76.7% 和 83.6%。

   Relative to the 4B trajectory, the 9B trajectory reduces the number of model requests, execution time, and token usage by approximately 70.8 % 70.8\% , 76.7 % 76.7\% , and 83.6 % 83.6\% , respectively.

Novelty：新颖性中等。轨迹 SFT、OPD、课程学习和路由均为已有组件；本文的主要增量是（1）用路由预测的能力需求分数统一调度 SFT 与 OPD 的课程，且显式区分预测需求与实际服务层；（2）用 harness 的结构/语义/属性/路由/结果信号形成缺陷画像，以重分配下一轮训练混合。这些是系统集成层面的新组合，而非新的损失函数或理论机制。标题中的递归自我改进目前只完成一次回路，因此其新颖性尚未得到多轮实证支撑。 Soundness：稳健性中等。方法定义清晰，掩码、归一化和 OPD 目标可复现；数据侧有去重、去污染、结构校验和语义评估，增强了训练语料可信度。但证据链存在缺口：没有直接消融证明三阶段路由课程优于随机或单阶段顺序，也没有单独隔离 OPD 相对 SFT 的增益；路由 harness 与公开数据的比较证明了来源优势，却未完全控制序列构成等混杂因素；部分基线来自官方报告而非统一复测，部分基准仅单次运行，缺乏统计显著性。最关键的是，RSI 结论建立在单次评估—选择—更新循环上，尚不能支撑跨代持续改进。 Significance：实际意义中等偏高。若该管线在多轮迭代中成立，部署中的路由 harness 可把日常交互转化为持续训练信号，减少对手工数据与人工监督的依赖，并让数据分配随模型弱点自动调整。这对智能体后训练、路由系统和数据飞轮研究有参考价值。不过，本文的贡献目前更像一个工程蓝图与初步原型，尚未改变对 RSI 可行性的理论判断，其长远意义取决于后续跨代实验能否复现和放大。

（1）仅运行单次评估—选择—更新循环，未展示多代 RSI 的累计增益或衰减，无法验证标题中的递归性。（2）能力覆盖集中在文本类智能体、代码、工具和指令遵循，harness 实际服务的更广任务与模态未被评测。（3）缺乏组件级消融：路由课程相对随机/单阶段、OPD 相对 SFT、能力引导分配相对均匀采样的贡献均未隔离。（4）路由分数尚未被校准，也没有训练路由器本身；缺陷画像与分配策略以定性描述为主，缺少分配效果的实验验证。（5）评测公平性与可靠性有限：部分基线来自官方博客或技术报告，部分基准单次运行，未报告置信区间或显著性检验。（6）轨迹分析是代表性案例而非受控实验，行为差异可能由任务选择或随机性导致。（7）仅验证两个模型尺度，结果能否外推到更大或更强模型未知。（8）去污染的具体阈值、近似去重标准和语义裁判一致性未充分披露。

最直接的后续工作是真正迭代该回路：把训练后的 checkpoint 放回 harness，反复执行数据收集、缺陷画像、混合重分配、课程 SFT/OPD，观察增益是否跨代累积，以及何时饱和或退化。其次，把经验收集、能力引导分配和课程设计扩展到 harness 服务的更多任务、执行环境和模型。第三，把路由预测升级为校准良好的难度/缺陷估计，并让路由器自身也接受监督训练，使 harness 能指导模型下一步该尝试什么。第四，补充受控消融，分别测试课程排序、OPD、分配策略和路由信号来源的因果贡献；同时统一基线评测、增加重复运行与统计检验。第五，在 SFT/OPD 之外引入可执行反馈奖励或偏好目标，比较与蒸馏在长程交互中的差异。第六，研究随模型能力增长，路由 harness 数据分布如何变化，以及 RSI 是否会导致数据多样性坍缩或评测污染等失败模式。

这篇技术报告提出 Gander：一个把全模态感知（语音/视频/文本）、实时全双工交互和长程智能体执行统一进单一端到端框架的 Omni Interaction Agent。其学术定位处于三个方向的交汇点——实时语音模型（Moshi、GPT-Live、Seeduplex 一脉）、全模态流式模型（MiniCPM-o、Qwen Omni、SeedRealtime）以及语音代理（Qwen Audio Agent、GPT-Live with CodeX）。报告的核心主张有二：其一，稳健的交互性（打断、抢话、backchannel、噪声下听音）不能靠 VAD/ASR 等外部编排层拼装，而应作为模型内在能力、随底层智能规模扩展；其二，用“小脑-大脑”解耦来同时满足实时低延迟与长程推理，后端大脑训练无关、可插拔。作为技术报告，它更偏系统、数据与工程贡献，并承诺发布模型、代码与数据。

相关工作分三条线。1）语音语言模型与全双工交互：早期语音模型已能理解与生成语音，但交互协议仍由显式轮次与外部 VAD 决定；BayLing-Duplex 把“何时听/何时说/何时结束”变成自回归状态 token，Qwen-Audio-3.0-Realtime 以流式 chunk 增量处理连续音频，Audio Interaction Model 扩展为环境声音触发的主动交互，Seeduplex 关注连续倾听、干扰抑制与专注听音，GPT-Live 采用 Moshi 式全双工并行收发。中心问题从“能否理解/生成语音”转向“能否持续听、说并调节自身参与”。2）全模态与连续多模态交互：Qwen Omni 系列在统一基础模型中整合多模态输入并流式生成语音；MiniCPM-o 4.5 的 Omni Flow 把多模态输入输出放在统一时间轴；JoyAI-VL-Interaction 把连续视觉感知本身当作交互过程；SeedRealtime 引入原生音视频全双工，并显示视觉可消解语音歧义、支持主动交互。3）从全模态对话到语音代理：Qwen Audio Agent 提供实时语音运行时并把复杂任务委派给后端工作流；GPT-Live with CodeX 与 Claude Voice Mode 把自然语音与通用助手能力结合。报告指出现有系统的缺口：任务执行中用户可能随时打断、补充约束、追问、纠正，代理需主动汇报中间结果或请求澄清，多方环境下需区分相关说话人与噪声——这要求模型联合推理交互状态、环境状态与任务状态，而仅把语音当输入输出接口不够。Gander 即针对这一缺口，把会话交互、多模态感知与任务执行并入单一连续过程。

Gander 由三部分构成：前端小脑（front cerebellum）、代理编排运行时（agent orchestration runtime）、后端大脑（back brain）。小脑是实时全双工全模态模型，基于 thinker-talker 架构，处理流式语音/摄像头/屏幕输入，并自回归决定交互动作（听、说、简短反馈、打断、工具调用）；大脑是训练无关的通用任务执行代理（由 Codex 或 Claude Code 等实例化），负责检索、代码与文件操作、文档处理等长程任务；运行时是两者的协调层，统一管理实时多模态推理与异步后台任务编排。 小脑-大脑协作。小脑既独立处理日常会话与简单检索，又承担任务路由：复杂多步/外部工具/长程工作流通过结构化工具调用委派给大脑。接口定义三个操作：task_start 初始化新后台任务并绑定当前用户轮次，任务描述/名称作为后续生命周期标识；task_send 把后续用户输入路由到已有任务，支持 main（并入主任务执行上下文）与 fork（只读辅助查询、不改主任务状态/轨迹）两种模式；task_resolve 通过 cancel、allow_once、allow_session、deny 四个动作确定性控制任务生命周期（终止主任务、单次授权、会话期授权、拒绝并阻止执行）。小脑将音频查询的转写文本与相关视频末帧直接转发给运行时作为大脑输入；报告中明确采用最直接方案，不做额外推理，也不让可训练大脑实时接收完整多模态流。大脑结果由小脑总结并转成自然口语回复，而非纯文本任务完成式输出。 编排运行时。它管理音视频流摄取、增量推理调度、模型调用串行化、静态前缀缓存、带持久状态的源感知限流；并把小脑发出的 task_* 操作绑定到传输层确认的最终用户轮次，保证任务目标建立在已认证用户输入而非小脑自行生成的工具参数上。运行时有两种控制模式：lean 模式直接执行小脑分类的任务动作、以原始用户轮次作为大脑指令，控制路径短、延迟低、确定性高、故障点少，但任务配置在部署期基本固定，难按语义动态调整推理强度/监督策略/通知粒度，且日常中间事件更易直接透传；coordinator 模式在小脑与网关之间引入独立控制平面模型，在可信用户请求与有界系统状态下生成声明式执行指令（推理强度、提问策略、权限策略、结果投递策略），不执行用户任务、不访问文件/shell/网络，输出由网关按任务状态、Provider 能力、权限边界与部署配置做结构化校验，代价是多一次模型调用、更高延迟与不确定性；当前实现中 coordinator 主要参与 task_start，task_send/task_resolve 由网关直接处理。 Gateway 是运行时持久编排核心，围绕五个实体组织后端执行：Project（长生命任务/工作流容器）、Task（用户意图的逻辑工作单元）、Run（任务的具体执行实例）、WorkerEvent（worker 执行期间发出的事件）、Delivery（结果投递机制与记录）。它管理任务状态迁移、worker 调度、工作区隔离、并发、权限与投递。不同大脑通过统一 Worker Provider 接口接入，每个 Provider 声明能力：native steering、只读旁路查询、用户交互、跨进程恢复、支持的输入模态、上下文获取机制、并行执行。默认大脑用 Codex app server，每个任务谱系绑定一个可增量更新的持久 Codex 线程；用户后续指令直接注入活动线程，只读旁路查询在隔离 fork 中执行以保持主线程与工作区状态。 训练无关大脑。除原生文件、命令行、检索工具外，大脑还能调用三个运行时接口：context_fetch 按引用/角色/事件类型/时间范围/字符预算从当前任务谱系取回实时上下文、事件与产物；memory_search 跨会话检索持久多模态记忆；share 把已验证的重要发现、中间进展或纠正信息返回实时小脑。 流式 Thinker-Talker 架构（前端小脑）。感知层有两条并发通路，把输出投影到 LLM backbone 的 token 空间、注册在共享交互时间轴上，且都以固定时长窗口增量产出，不等完整片段或 utterance。视觉通路采用任意分辨率切分：每帧分解为若干 slice，每 slice 由 SigLIP ViT 独立编码，patch 特征经 query-based resampler 压缩为每 slice 固定少量视觉 token，相对原始 patch 网格约 16× 压缩（比许多此前模型的 4× 更激进），显著降低每帧成本；受全双工延迟约束，小脑最高工作在 448×448。声学通路用流式逐块语音编码器，每秒约 50 帧；为避免序列膨胀，接轻量 MLP 做 5× 时间下采样，把有效音频 token 率降到约每秒 10 token，保留音素与韵律线索的同时与 backbone 解码吞吐匹配。 流式 chunk 扁平化。核心思想是把所有模态、输入与输出序列化为一条沿共享时间轴的因果 token 流；用户请求不再是特权轮次，进入的语音/视觉被当作持续观察的世界状态，模型处于 always-on 环境，每个 chunk 都要决定“是否说、何时说、说什么”。具体实现：把连续交互按 1 秒固定窗口切分，每窗口组装一个 chunk；每个 chunk 是该秒内观测到的音频/视觉 token、一个预测控制 token、以及模型选择输出的 N 个文本 token（N 由模型决定、可为 0）的时间对齐拼接；连续 chunk 再串成一条序列交给标准因果语言 backbone。chunk 内模型先注意新到感知 token 再生成输出，使每个输出 token 都条件于最新观测；模型每窗口做一次决策，主动性自然涌现，无需外部 VAD。显式标记感知段与生成段边界，帮助模型区分观察输入与自身输出、稳定流式解码。上下文固定 128 个 chunk 预算，即约两分钟滚动时间感受野；预算满后最旧 chunk 被逐出、新 chunk 追加，使有效上下文有界、任意长会话的每步推理成本稳定。 控制 token 三值：listen 表示本窗口静默继续观察、输出段为空；speak 表示本窗口生成口语内容、后续 N 个文本 token 送语音合成；interrupt 在用户开始说话或场景变化使进行中回复失效时终止当前 utterance。在生成内容前先预测离散控制决策，把“是否说”与“说什么”解耦，作者称比单步纠缠更稳定。 语音生成。backbone 不直接输出声学单元，而把语义规划与声学实现解耦给两个轻量语音解码器：让语言 backbone 自回归生成远高于文本帧率的 speech token 会同时增加每秒解码步数并侵蚀语言能力。流程两阶段：先由小自回归 speech token decoder 输出离散语音单元（监督语义 token 形式，单码本、低码率，适合自回归预测），再由流式 flow matching decoder 渲染波形。backbone 最终层隐藏状态经投影层与文本 token 一起注入 speech token decoder，韵律/风格已在 backbone 隐状态中预编码，decoder 专注细粒度声学建模；输入文本 token 与输出语音 token 不分开两趟生成，而是沿共享时间轴交错。flow matching decoder 以系统提示中的参考音频为条件，从语义 token 重建目标 mel 谱并渲染音频，从而获得零样本音色控制；它以逐块因果方式工作，语音 token 到达即增量输出波形 chunk，保持低端到端延迟与连续播放，是全双工的前提。 数据构造。训练语料约 2.7M 条，分四族。语音交互约占 37%：基础对话 539.4K（20.00%）、基础能力 26.9K（1.00%）、InteractionSpeech 260.8K（9.67%）、口语问答 165.1K（6.12%）、同声翻译 19.0K（0.70%）。InteractionSpeech 由四阶段流水线显式合成双工行为：①内容来源——从 11.2K 主题种子（覆盖 45 个日常/任务场景，如教育、医疗、旅行、金融、客服）用 DeepSeek-V4-Pro 扩展为 8–18 轮、累计说话不超过 96 秒的多轮口语对话；或把真实助手日志与公开对话语料转成双工，先经口语适配过滤（丢弃以 markdown/代码/URL/数学为主、或长度与信息密度不适于口语的轮次），再按五种交互画像（约束澄清、过程控制、用户纠正、服务失败入口、安全/紧急停止）注入事件，英文数据可直生成或由中文翻译后按英文词序重新解析打断点。②事件标注——竞争性打断：用户在助手说完前抢话，助手剩余词构成与用户语音时间重叠但用户听不到的 hidden continuation；支持性 backchannel：用户发出简短确认而助手保留话语权继续；hidden continuation 保留为文本但不参与合成，使模型只看到真实听者能获得的声学证据，且后续用户轮次被校验不得复用其听不到的信息。backchannel 仅在嵌入对方进行中话语、长度低于中文 8 字/英文 6 词、且匹配词表或生成时显式标记时被接受；带疑问/请求/否定立场的候选降级为普通轮次；backchannel 从 266 中文/170 英文、11 个意图类别的双语词表中按上下文采样。③渲染与计时——仅用户通道用 voice cloning TTS（多说话人）渲染为音频，助手轮次为文本时长占位；每轮有全局 onset、时长与重叠区间，使打断与 backchannel 的时序成为显式监督；只保留打断标记（界定重叠区）与 backchannel 标记（合成前剥离），不产生副语言 token。④质量控制。 音视频交互约占 40.66%（1.1M）：流式视频 QA、流式视频叙述、主动视觉响应。智能体交互约占 13.33%：音频智能体交互 320.2K（11.87%，语音驱动任务委派与生命周期交互）、全模态 GUI 智能体 36.0K（1.33%）、工具辅助推理 3.4K（0.13%，口语 STEM 任务的工具接地推理）。鲁棒性与负样本约占 8.52%：无关视频鲁棒 116.2K（4.31%）、无指令环境 40.0K（1.48%，非定向环境输入下保持沉默）、抗干扰 64.7K（2.40%，噪声与重叠干扰）、多方交互 8.8K（0.33%，说话人与受话人追踪）。

实验按三条轴组织：①全双工交互加工具使用，用 Full-Duplex-Bench 的端到端语音代理场景，包含真实语音合成与 ASR 识别误差，并另设绕过小脑与音频路径的后端大脑单独条件以分层定位；②口语会话能力，用 SpokenQA 与 VoiceBench 子集，按交互体制分组比较；③音视频流全模态理解，用 WorldSense 与 Daily-Omni，以贪婪解码做确定性评估，并做联合、仅视频、仅音频三种输入条件消融。三轴覆盖系统程度不同、评分协议不同，作者强调分数不可直接比较、分开报告，同时具有诊断作用：区分交互训练带来的收益与代价、并把失败定位到具体组件。所有评测使用单一 checkpoint、统一解码参数与流式单元格式、系统提示与训练逐字节一致、无基准特调；后端大脑以训练无关方式接入并由外部推理模型驱动。需要指出，本报告正文仅给出评测协议、规模与指标定义，未给出各基准的具体得分或与基线的对比表，因此只能评价其评测设计与诊断思路，无法从文本核验其“强能力/竞争性性能”结论。

1. 端到端交互与工具使用评测覆盖 Full-Duplex-Bench v3 的全部 100 个场景。

   We use Full-Duplex-Bench v3 ( Full-Duplex-Bench Team, 2026 ) , which places a spoken assistant in tool-augmented service scenarios containing natural disfluencies, and evaluate all 100 scenarios.

2. 该基准报告工具选择 F1、参数正确率、回复质量、严格二元 Pass@1 以及三个交互指标（及时接话、打断、填充语）。

   It reports tool-selection F1 (ToolSel), argument correctness (ArgAcc), whether the spoken reply satisfies the user’s intent (RespQual), a strict binary Pass@1 requiring the tool multiset to be exactly correct with every argument right, and three interaction metrics: the fractions of turns taken at an appropriate moment (Take-turn), begun before the user has finished (Interrupt), and prefaced by a conversational placeholder (Filler).

3. 填充语指标只在 100 个场景中 91 个未打断且延迟分析返回结论的场景上定义。

   The last comes from the suite’s LLM-based latency analysis and is defined over the 91 of 100 scenarios that take the turn without interrupting and for which that analysis returns a verdict.

4. 口语会话评估覆盖 SpokenQA 的 Llama Questions、Web Questions 与 VoiceBench 的 AlpacaEval、SD-QA，共 2,052 个 utterance。

   We evaluate on the SpokenQA subsets Llama Questions and Web Questions and on the VoiceBench subsets AlpacaEval and SD-QA ( Chen et al., 2024 ) , totalling 2,052 utterances

5. 全模态理解评估使用 WorldSense 与 Daily-Omni，共 4,369 道多选题。

   We evaluate on WorldSense ( Hong et al., 2025 ) and Daily-Omni ( Zhou et al., 2025 ) , comprising 4,369 multiple-choice questions.

6. 为量化跨模态整合，每道题在三种输入条件（音视频联合、仅视频、仅音频）下运行，共 13,107 次推理。

   we additionally run each question under three input conditions, presenting audio and video jointly, video only, and audio only, for 13,107 inferences in total.

7. 作者另设 back-brain-only 条件绕过小脑与音频路径以分离两个层级，该条件不支持三个交互指标。

   To separate the two tiers we additionally report a back-brain-only condition that bypasses the front cerebellum and the audio path, driving the same agent and tool server from the transcript of the user turn.

8. 交互基准的端到端打分包含真实语音合成与 ASR 识别误差。

   We run the released scoring scripts unmodified, with the GPT-4o judge used by the baseline protocol, and evaluate the deployed stack end to end: audio enters the Thinker, the Talker and speech decoder synthesize a reply, and scoring reads an ASR transcript of that audio, so all reported numbers include real speech-synthesis and recognition error.

Novelty：novelty 中等。核心组件大多有前例：thinker-talker 与 Omni Flow（MiniCPM-o 4.5）、状态 token 控制轮流发言（BayLing-Duplex、Seeduplex）、全双工并行收发（Moshi、GPT-Live）、语音运行时加后端代理（Qwen Audio Agent）。本文的新意主要在于把这些组件整合为“端到端训练小脑 + 训练无关可插拔大脑 + 确定性任务生命周期控制”的完整系统，并公开 task_start/task_send/task_resolve 的编排接口、Gateway 五实体设计、流式 chunk 扁平化下的 listen/speak/interrupt 三值控制 token，以及显式构造双工交互数据（含 hidden continuation、backchannel 判定）的配方。算法层面没有提出新的学习目标或理论结论，更多是系统集成与数据工程创新，作为技术报告有其发布价值，但难以称得上有根本性新机制。 Soundness：从文本看，动机和架构推理连贯，数据构造与评测协议细节较充分；端到端（含 TTS+ASR 误差）打分、back-brain-only 分层、联合/仅视频/仅音频三输入条件消融、以及纠正提示不对称的 contract file 处理都是加分项。但 soundness 在本次报告样本中无法完全判定：正文实验部分没有给出任何量化结果表或与基线的具体对比，只有评测规模与指标定义；引言声称的内部人类评估也没有量化指标。因此“强能力”“竞争性表现”“鲁棒性”等结论缺乏可核验证据。此外没有报告端到端延迟、打断反应时间、模型规模、训练算力、显著性检验或误差条。综合看，设计描述扎实，但实证证据不足，soundness 只能评“有限/未证实”。 Significance：若代码、模型与数据确实开源，本报告对社区做实时全模态语音智能体有实用参考价值：它给出可复现的数据配方（尤其 InteractionSpeech 的打断/backchannel 标注与计时渲染）、双脑编排接口和端到端评测协议，对产业部署（Hy-Realtime）有直接工程意义；“大脑训练无关、可插拔”使底层推理能力提升可直接传导到整体系统，是一条有现实意义的扩展路径。但受限于缺失量化基准结果和统一评测，学术说服力较弱；主要贡献可能在于系统蓝图、开源资产与数据集，而非新的可泛化结论。

第一，也是最重要的一点：本报告正文没有给出任何量化结果表——实验部分只描述评测协议、场景规模与指标定义，引言中声称的内部人类评估也没有指标或数值，因此“达到 SOTA 开源模型水平/竞争性表现”无法从文本独立核验。第二，小脑与大脑之间的信息传递主要依赖 ASR 转写文本加末帧视频，丢失韵律、情绪、手势等细节，大脑看不到完整视频流，可能限制需要视觉上下文的复杂任务；报告自己也承认这是“最直接方案”。第三，训练无关大脑依赖外部闭源系统（Codex/Claude Code 与外部推理模型），带来复现性、许可、成本与延迟风险，且大脑能力上限受外部模型制约。第四，没有 RL/OPD 后训练，作者承认代理调用与会话行为对训练分布敏感；1 秒固定窗口与 128 chunk（约两分钟）滚动上下文可能对快速轮流发言过粗，并会遗忘长程任务状态。第五，数据侧：多方交互仅 8.8K（0.33%），backchannel 词表有限，InteractionSpeech 的 TTS 只渲染用户通道、助手为文本占位，可能引入与真实重叠语音不同的声学统计。第六，评测缺口：三轴彼此孤立，没有统一评测大脑-小脑协作（信息传递、协调、权限）的基准；也没有报告端到端延迟、TTFT、打断反应时间、模型规模与算力。第七，语音生成经语义 token 与 flow matching 两级，端到端分数又经 ASR 转写，合成/识别误差会与模型能力混杂。

最直接的后续是补齐量化结果：在三大基准上给出与 SOTA 基线的完整对比、统计显著性、误差条与消融（listen/speak/interrupt 控制 token、chunk 粒度、双脑开关、各数据族贡献），并报告端到端延迟、TTFT、打断反应时间、并发与吞吐。第二，构建统一 Omni Interaction Agent 评测，覆盖小脑-大脑协作（任务启动/发送/解决、权限、澄清、主动汇报）、多方与噪声、长程状态保持。第三，升级双脑通信：从 ASR 文本加末帧走向更丰富结构化双向信息（不确定性、中间计划、视觉证据、权限请求、可解释反馈），并研究可训练大脑实时接收多模态流。第四，引入 OPD/RL 做长程联合多模态加智能体后训练，研究奖励设计与信用分配，特别是局部交互质量与全局任务目标之间的张力。第五，记忆与长上下文：在滚动 128 chunk 之外增加可检索的持久多模态记忆与任务状态压缩，避免长会话遗忘。第六，扩展数据：更多多方交互、真实重叠语音、跨语言 backchannel、抗干扰场景。第七，安全与权限：coordinator 模式下的权限边界、源感知限流、拒绝语义的形式化验证。第八，规模与部署：用 Hy-Realtime 做数据/模型容量扩展实验，验证“交互性随智能扩展”的主张。

Miles v0.1 是一篇面向前沿大模型后训练的系统技术报告，而非提出新学习算法的论文。它给出一个覆盖 RL 后训练全流程的生产级框架：以 SGLang 做 rollout 引擎，以 NVIDIA Megatron-LM 与 PyTorch FSDP 双后端做 trainer，配三种权重同步传输（NCCL broadcast、RDMA P2P、disk-delta），并扩展到 LoRA RL、on-policy distillation、SFT、true-on-policy alignment 与扩散模型。其核心主张是把"可验证、干净、可定制"作为每个组件的第一原则，重点解决 agentic RL 中吞吐与保真度的张力、低精度下 train-rollout 数值失配、以及 frontier 规模的显存与权重同步瓶颈。报告定位为工程系统披露，末尾以一个 64-GPU 的 GLM-5.2 744B-A40B 全异步 agentic RL 案例收束。相对学术贡献，它更接近开源基础设施与可复现工程实践，价值取决于实现的成熟度与社区采纳。

后训练把预训练模型变成可用模型。在前沿规模，后训练给训练系统带来几类难题：rollout 不再是一次生成后更新的短补全，而是多轮、带工具调用、与外部环境交互的 agentic 过程，模型常是万亿参数 MoE；rollout 对延迟敏感而训练追求吞吐，二者串行交替会产生气泡与空转；更重要的是 rollout 引擎与 trainer 在数值上可能分歧大到使优化目标失效（train-rollout mismatch）。与此同时，精度格式（FP8/MXFP8/NVFP4）、优化器状态显存、权重同步带宽都成为可运行性的硬约束。Miles 沿袭 slime 的干净设计，把 RL 循环拆成 rollout、training、weight update 三阶段并允许异步重叠。报告反复强调几个关键概念：prompt 是一个任务；trajectory 是当前策略对该任务的一次尝试（agentic 下是整个多轮 episode，含模型消息、工具调用与环境回复）；group 是同一 prompt 产生的全部 trajectory。因为 GRPO 等目标把一条 trajectory 与同 prompt 的其他 trajectory 对比评分，所以系统按 group 调度、缓冲与丢弃。这一 group 粒度是理解后续数据缓冲、staleness、TITO 与 R3 的前提。报告同时声明其范围边界：部分精度格式尚处早期、部分权重传输路径只覆盖某些模型族、部分测量来自单一配置。

机制：Miles 的 RL 循环把数据生命周期分为 rollout、training、weight update 三段，并允许三段不按 lockstep 执行。一个 prompt 是一次任务；trajectory 是当前策略的一次尝试（agentic 下是整个多轮 episode，含模型消息、工具调用与环境回复）；group 是同一 prompt 产生的全部 trajectory。因为 GRPO 等目标把一条 trajectory 与同 prompt 的其他 trajectory 对比评分，系统一律按 group 调度、缓冲和丢弃，这是贯穿全篇的粒度约定。session 是 serving 层看到的有序请求集合，一次 session 可能产生多条 trajectory。 Rollout 侧要同时解决吞吐与保真。吞吐上，Miles 在 SGLang 引擎前用 SGLang router 做亲和路由：把同一 session 的所有请求用稳定 routing key 映射到同一引擎（或 DP attention 开启时的同一 DP rank），使后续轮次只 prefill 新后缀、复用 KV cache 前缀；新 session 则放到活跃请求最少的引擎（least-loaded）以平衡负载。没有 key 的请求直接报错而不是静默 fallback，避免缓存命中率下降。全异步模式要求训练与 rollout 使用分离的 GPU 池（disaggregated），拒绝 colocated 启动；生成侧持续产数据，trainer 从缓冲取已完成的 group 组 batch。补位规则分 group 粒度（整组完成才补位，慢 trajectory 拖住名额）与 sample 粒度（默认，单条完成即释放名额），后者让并发生成数贴近上限。 生成与训练之间是有限容量数据缓冲，接口只有 put/take/metrics 三个操作、可替换。缓冲在三个时点检查丢弃条件：到达时检查"生成放弃"（如 episode 超时未完成）与用户过滤器拒绝（如同 prompt 所有尝试奖励相同、无优势信号）；被 trainer 取走时检查 staleness。staleness 定义为当前 trainer 权重版本减去 group 中任何 turn 用到的最旧权重版本，定义刻意悲观，group 绝不比其最旧 token 更新。可观测性指标（queue_size、avg_staleness、max_staleness、buffer_*、aborted_groups_filtered、stale_groups_filtered）用于判断哪一侧是瓶颈：queue 恒零说明生成不足，恒满说明训练是约束，stale 丢弃上升说明 group 老化快于消费。 保真上，TITO 会话服务器是核心机制：由服务器而非 harness 独占 tokenization。agent 每轮发完整历史，但服务器决定历史如何变 token。首轮渲染模板成 token ID；每次成功补全后 checkpoint prompt ID、输出 token ID、log-prob 与 routed experts；后续轮复用最深可用 checkpoint，只 tokenize 追加后缀；agent 自带的任何 token 字段被覆盖。这样整条 trajectory 被拼成一段连续训练序列，rollout log-prob 保留，模型未生成的 token 做 loss-mask。会话扩展分 linear（只能追加尾部、只回滚一个 assistant checkpoint、恰好一条训练序列）与 branching（历史为 append-only 树，可 fork/compact，每个被选中的叶子一条训练序列）。重放比对决定前缀能否复用：默认严格模式只比较模板真正读取的字段（role/content/reasoning/tool calls），忽略客户端附加字段；较松设置容忍 JSON 序列化差异；最松设置只比 role 与可见文本，可能把调用了不同工具的轮次合并，导致训练历史里出现 agent 从未发出的调用且静默失配。模型族需显式注册，注册要过两道校验：CPU 上验证逐轮 token 序列 append-only 不变式，GPU 上验证真实推理（stop token 与 tool-call parser 参与）下不变式仍成立；未注册族回退 generic handler 并告警。 R3 解决 MoE 下 rollout 与训练给同一 token 选到不同专家的问题：router 对每个 token 打分取 top-k，微小数值差可能在每层每 token 独立翻转胜出专家（如 rollout 选 {2,7} 而训练选 {2,8}），梯度落到从未参与采样的专家上，且下一批数据来自上一更新后的策略，漂移复利，文献报道可致崩溃。R3 把每个 token 的专家指派当作 rollout 数据的一部分：--use-rollout-routing-replay 让 SGLang 连同 token 返回 routed experts，trainer 前向直接回放这些指派而非重算。会话服务器已随 token/log-prob 记录专家，因此回放覆盖多轮 episode。开销：路由张量为 (tokens−1)×layers×k 个 32-bit 整数，随序列长度增长；R3 是 per-recipe 选项，dense 模型无效，异步下因混入其他失配源效果可能有限，主案例 GLM-5.2 关闭了它。 训练侧的低精度机制是"端到端精度契约"：rollout 与训练必须对同一权重做同一种量化，否则失配逐层累积。允许的组合是双方同格式，或 trainer 保持 BF16 而 rollout 量化；NVFP4 例外，要求所有接触权重的阶段都量化。MXFP8 在 32 个连续 E4M3 值上共享一个 UE8M0 scale，前向与权重梯度/数据梯度 GEMM 都保持该格式，配置的例外留 BF16；NVFP4 对激活逐 token 缩放、gate 与 up 投影一起量化以共用外层 scale、KV cache 留 BF16；两配方共享 bit-exact quantizer。少数张量（末层、shared experts、MLA 投影等）因收缩轴对不上一维 scaling block 而留 BF16，且按层范围/张量名的 override 必须在契约四阶段（checkpoint 转换、trainer 前向、SGLang rollout、权重导出）同时施加。NVFP4 的两个可选精修：dequantized backward 把反向 GEMM 用反量化后的操作数在 BF16 跑（只改训练侧、不动量化值）；four-over-six 对每个 block 在幅值 4 与 6 间选量化误差更小者，因改变量化值而属于契约本身，需在 Transformer Engine 与 FlashInfer 两侧同时开启。验证方式是让 SGLang 与 Megatron 对相同采样 token 比较 log-prob。 显存机制分两个层次。一是卸载暂停的 actor（--offload-train）：Megatron 后端在 allocator 层把权重、梯度缓冲、优化器状态整块搬出/搬回（默认到 pinned host，超 host RAM 时到 node-local disk，经固定大小 pinned staging buffer 保持 host 内存有界）；FSDP 只能搬到 host 内存，不能到 disk。colocated 布局下默认卸载，因为 rollout 需要训练 GPU；disaggregated 下默认不卸载；PPO 因 actor+critic 始终同卡，无论布局只要 critic 用卡就默认卸载 actor。二是流式优化器状态（--stream-optimizer-state-to-disk）：参数分 bucket，每个 bucket 的优化器状态存一个文件，更新该 bucket 时载入、更新、再逐出，GPU 无需同时持有全部优化器状态；FP32 主权重加两个 Adam 矩合计每参数 12 字节。DP 分片有时已足够，但 GLM-5.2 在 DP=4 时每 rank 分片仍放不下 HBM，仍需流式。流式 Adam 矩可降为 BF16 减省带宽（主权重必须 FP32）。两个机制组合时，已落盘的优化器状态不参与 actor 卸载，缩短卸载/重载。流式的硬约束：只能按相同并行布局恢复、不能从非流式 checkpoint 恢复、checkpoint 保存因同步拷贝而变慢。 双后端中，Megatron-LM 是默认，提供 TP×PP×CP×EP×ETP 加 DP 的全套并行，适合大 MoE 与跨机架；FSDP 提供 replicate×shard，直接按 HF 目录加载、无需转换与架构 flags，适合新架构 bring-up 与纯 DP 可容纳的模型，但不支持超 host RAM 卸载与 LoRA。目标层与上述三个属性解耦：内置 GRPO、GSPO、REINFORCE++（普通与 baseline-relative）、带 value function 的 PPO 五种优势估计器，typed loss 接口含 policy/value/supervised 变体与用户 hook，SFT 可复用同一 trainer 而不挂 rollout 引擎。对残余 train-rollout mismatch，importance ratio r=exp(log π_train−log π_rollout) 偏离 1 时用两种校正：TIS 把 r 钳到默认 [0,2]，以钳后值作为逐 token 权重（只压上尾、不下拉）；clip-or-pop 对区间外 token 权重置零（等价 loss-mask），区间内用未钳值。两种校正都上报 pre-clamp ratio、clipped fraction、|r−1| 均值。 权重同步契约是：trainer 准备好新权重→传到每个 rollout 引擎→引擎以新策略生成，默认每训练步一次。三种传输只决定准备好的 bucket 如何到达引擎：broadcast 走 NCCL（rank 共享 fabric）、P2P 走 RDMA 直写 rollout-rank 内存、disk-delta 只发布变更字节到共享存储。Megatron 后端拥有共享 bucketed pipeline：对普通权重，在每个 pipeline stage 内 all-gather TP 分片、转成 SGLang 期望的 HF 命名与布局、追加到固定大小缓冲（默认 512 MB），填满即 flush 交给传输。routed expert 权重走第二遍 expert pass：先只按 TP 聚集，把 EP gather 与 HF 转换推迟到 flush 时，因此 flush 后的 bucket 是累计字节乘以 EP degree；为让 bucket 落回目标大小，比较阈值时把累计字节乘以该 degree。dense 模型 expert pass 空转。更新时对 in-flight 请求有三种处理：abort、leave、retract（默认回滚后以新权重重试）；启用会话服务器时禁止 abort（不能容忍中途拆掉 token 历史）；FSDP 恒 retract。可选的开局检查把引擎张量先填随机值，再跑第一次权重更新，随后逐张量比对，默认要求 bit-exact，或按量化格式推导的容差放宽；跳过 inference-only 张量，仅在调试/CI 自动开启。 端到端案例的配置要点：GLM-5.2 744B-A40B，64 张 GB300，训练占 32 张（并行布局含 DP=4，需优化器流式），另一半生成；全异步、sample 粒度补位、TITO 会话服务器、TIS 校正、R3 关闭；terminal-use coding 任务、OpenEnv 连接器、每 episode 一个沙盒。

实验部分由单一配置的端到端案例加上少量组件级测量构成。端到端运行是一个全异步 agentic RL 任务，在终端编码类任务上训练一个大 MoE 模型，训练与生成分占同一机群的两半。报告给出三类结果：一是吞吐与利用率（中位步时、并发请求数、前缀缓存命中率），二是数值健康（rollout 与 trainer 的 log-prob 分歧及其校正），三是任务奖励走势。此外还有两项非案例测量：优化器状态流式化对卸载/重载时间的改善，以及 R3 路由张量的存储开销；另有若干设计常量（Adam 状态字节数、bucket 缓冲大小、一次全量广播耗时）作为量级参考。总评：证据以单次运行、单一任务分布为主，奖励上升被明确标注为观察而非受控改进，缺少组件级消融与多次运行的统计比较。

1. 端到端案例为 GLM-5.2 744B-A40B 上的全异步 agentic RL，面向 terminal-use coding 任务，在 64 张 GB300 GPU 上运行，前 30 个实测步的中位步时为 263 秒。

   fully asynchronous agentic RL on a GLM-5.2 744B-A40B model over terminal-use coding tasks, running on 64 NVIDIA GB300 GPUs with a median step time of 263 seconds over the first 30 measured steps

2. 744B 参数模型在 32 张 GPU 上训练，即 64 卡机群的一半，另一半用于生成。

   A 744B-parameter model trains on 32 GPUs. The parallel layout of Table 9 together with the memory mechanisms of Section 3.2 fits the trainer on half of the 64-GPU fleet and leaves the other half to generation.

3. 中位训练步为 263 秒，统计范围是前 30 个实测步；第 0 步的 1,042 秒预热值被裁掉。

   The median training step takes 263 seconds. The median covers the first 30 measured steps in panel (a) of Figure 5 ; the 1,042-second warm-up value of step 0 is clipped from the plot.

4. 采样粒度补充使机群同时约有 90–100 个请求在生成，低于 128 个 in-flight trajectory 上限；等待工具调用的 trajectory 占着名额但不生成。

   Sample granularity (Section 2.2.1 ) refills a generation slot as soon as one trajectory finishes, so roughly 90 to 100 requests generate at once across the fleet. The count stays below the limit of 128 trajectories in flight because a trajectory waiting on a tool call holds its slot without generating.

5. 亲和路由使前缀缓存命中率保持在 96%。

   Affinity (Section 2.1 ) returns each later turn to the data-parallel rank that already holds its prefix, and the prefix-cache hit rate stays at 96%.

6. rollout 与 trainer 对相同 token 的 log-prob 分歧在 100 步上平均为 0.0369，并由 TIS 校正。

   That divergence averages 0.0369 over the 100 steps and ends near its starting value, and the truncated importance sampling of Section 3.4 corrects for it in the update.

7. 原始任务奖励的九步移动平均在 100 步内从 0.438 升到 0.556，但作者仅作为观察报告，未声称是测量到的改进。

   Panel (c) plots the raw task reward, the score that each task’s own test script returns before GRPO centers it within its group; its nine-step moving average rises from 0.438 to 0.556 over the same 100 steps.

8. 在 Qwen3-30B-A3B 上，优化器状态流式化把 actor 卸载从 24 秒降到 5.2 秒，重载从 8.9 秒降到 1.3 秒。

   On Qwen3-30B-A3B, streaming optimizer state cuts the actor’s offloading from 24 s to 5.2 s, and its reloading from 8.9 s to 1.3 s.

9. R3 路由张量在 32K token、60 层、k=8 时每条 trajectory 约占 60 MB。

   For a 32K-token sequence over 60 layers at k = 8 k=8 , that tensor occupies roughly 60 MB per trajectory, and the payload must remain in memory and move alongside the trajectory.

10. Kimi K2 1T-A32B 的全量 NCCL broadcast 耗时接近一分钟。

    a full NCCL broadcast of Kimi K2 1T-A32B [ 28 ] takes almost a minute.

11. FP32 主权重加两个 Adam 矩合计每参数 12 字节。

    the FP32 master weights and two Adam moments together use 12 bytes per parameter.

12. 权重准备管线的固定大小 bucket 缓冲默认 512 MB。

    appends it to a fixed-size buffer, 512 MB by default.

Novelty：新颖性：本文不追求新学习算法或新理论，核心贡献是系统集成与工程机制。TITO 会话服务器（由服务器而非 harness 独占 tokenization、checkpoint 前缀复用）与 R3（把 MoE 专家路由作为 rollout 数据回放）有一定设计新意，但二者都可看作对既有问题的工程化解法；低精度"端到端契约"、双后端、三种权重传输、优化器流式化等多为成熟技术的组合与工程化封装。总体 novelty 属中等偏工程：单点没有突破性算法，作为完整、可替换、可验证的全栈框架是其主要新颖所在。 Soundness：可靠性/严谨性：系统设计的推理链条清晰，很多机制（group 粒度、悲观 staleness、TITO 注册校验、权重随机填充检查）体现了对静默失效的防范意识，值得肯定。但实证严谨性较弱：主结果来自单一 100 步运行、单一任务分布，作者明确承认无法把奖励上升与运行间波动分开；没有对 R3、TITO、staleness 上限、替换规则、三种权重传输、各精度格式做受控消融或对照；量化配方只以 log-prob 对比与"奖励曲线接近 BF16 基线"的定性表述支撑，缺少数值表。因此系统正确性主张可信度尚可，性能/收益主张的证据强度不足。 Significance：意义：前沿 agentic RL 的后训练基础设施是当前高价值方向，MoE、全异步、低精度契约、权重同步与显存卸载都是实际瓶颈。若开源实现真正可复现并被社区采用，对中小团队进入 frontier-scale RL 有显著降低门槛的意义。但当前为 v0.1，多个格式与连接器为 Beta/实验状态，覆盖有限，证据偏单点，因此现实影响力取决于后续成熟度与社区采纳，短期内更多是工程参考价值而非已被验证的基准结论。

局限：1) 实证单一：一个 100 步运行、单一任务分布，奖励上升不能排除随机波动；无消融。2) 主案例关闭 R3，无法验证 R3 在异步 agentic MoE RL 上的净收益，且报告自承异步下 R3 效果可能有限。3) 视觉-语言模型不能走 TITO 会话服务器（不支持图像/视频输入，也不记录截图），computer-use 类连接器只能退到 generate 层自行记录。4) MXFP8/NVFP4 仍为 Beta，仅在少数模型上测过；FP8/INT4 细节放到了别的报告。5) 权重传输路径只覆盖部分模型族；FSDP 后端不能卸载到 host RAM 之外、不支持 LoRA。6) 连接器与沙盒集成被标注为实验性质。7) 流式优化器有强约束：恢复必须用相同并行布局、不能从非流式 checkpoint 恢复、checkpoint 保存变慢。8) 未注册的模型族回退到 generic handler，增量 tokenization 可能偏离模板。9) 许多测量来自单一配置，泛化性未证。

跟进方向：1) 补消融与对照：R3 开/关、TITO 开/关、不同 staleness 上限、group vs sample 粒度、三种权重传输、各低精度格式对奖励与崩溃风险的因果效应。2) 多任务分布、多种子、长步数重复实验，报告置信区间，把"观察"升级为"测量改进"。3) 扩展 TITO 到视觉-语言与截图，使 computer-use 连接器上移到 agent 层。4) 将 MXFP8/NVFP4 配方在更多模型族上验证，并给出数值表而非定性"接近基线"。5) 扩展权重传输的模型族覆盖，评估 disk-delta 在无共享 fabric 场景的实测。6) 对 on-policy distillation、true-on-policy alignment、LoRA RL、扩散模型路径给出端到端案例。7) 与 verl/openRLHF/slime 等基线做系统吞吐与数值保真度对比；独立复现启动脚本。8) 研究异步设置下 staleness 与策略改进的权衡，给出自动调节规则。

World-Action Models inherit world knowledge from video-generative priors, and channel it into executable control signals through embodied experience. Existing systems, however, are monolithic: the generative backbone, visual representation, architecture, information flow, inference procedure, and training data are tightly coupled, obscuring which design choices matter and why. We introduce OpenWAM, an open research stack that turns world-action pretraining into a controlled experimental program. OpenWAM-Infra factorizes the WAM design space into composable modules with unified training, inference, deployment, and evaluation. On this substrate, OpenWAM-Study examines three questions through controlled experiments: what to inherit, how world and action learning interact, and how their synergy scales; and distills three principles: upstream knowledge transfers through a sufficiently capable generative backbone and a compact, information-rich latent space; world-action synergy requires ded

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文提出 Marigold V2：一个把图像编辑型扩散 Transformer（Qwen-Image-Edit-2509）重新用于单目深度估计的轻量微调方案。它延续 Marigold 系列“从生成先验蒸馏稠密感知”的路线，但把对象从卷积 U-Net 迁移到 DiT，并直面两类长期缺陷：VAE 潜空间监督造成的细节丢失/过平滑边界，以及透明、纤细、歧义像素上的噪声真值监督。核心是两阶段训练——Stage 1 用固定 timestep 的 rectified-flow 潜空间回归、像素与梯度损失、以及对真值深度图（而非 RGB）提取的 DINOv3 语义特征做 iREPA-depth 对齐；Stage 2 用新提出的 SinkLoss（非重叠块内 Sinkhorn 最优传输匹配）放松像素级空间对齐，换取更锐利边界与更少飞点。方法在多个零样本深度基准取得可比数据规模下的最佳结果，并可迁移到深度补全、透射深度、表面法线与反照率估计。

单目深度估计从单张 RGB 恢复逐像素深度，本质是病态问题：同一 2D 图像对应无穷多 3D 配置，需要场景结构、材质与光照的高层推理。早期几何方法依赖多视约束或形状先验，在单图设定下失效；深度学习把它变成监督回归，但判别式模型受限于百万级标注深度数据的稀缺与分布偏差，在非朗伯表面、透明/反射物体、恶劣天气等角落场景明显退化。 与此同时，十亿级数据训练的生成扩散模型学到几何一致的世界表征。Marigold V1 率先把 Stable Diffusion 的 U-Net 微调为深度估计器，证明了生成先验的有效性；后续工作分化为多步扩散、单步前馈、辅助模态输入、扩展 VAE 输出等路线。随着社区从 U-Net 转向 DiT（PixArt-α、SD3、FLUX、Qwen），重训练成本急剧上升：从头训练需数十 GPU，LoRA 也不总能降低成本（DICEPTION、Lotus-2 等仍很昂贵）。因此本文选择 QLoRA 量化 + LoRA 的便宜配方。 表示对齐是另一条线索：REPA/iREPA 用预训练视觉编码器特征正则化扩散模型，改善语义保真与收敛；DepthMaster、Pixel-Perfect Depth 把该思想引入深度估计，但对齐目标都取自 RGB 输入。本文改为从真值深度图提取 DINOv3 特征作为对齐目标。 边界与细节质量方面，已有工作分别用边缘损失、架构改进、扩散后处理、预测器-锐化器、像素空间扩散等处理，但普遍仍过平滑或丢失细结构，且没有方法在单步 VAE 框架下同时处理“细节保留”与“噪声/歧义真值下的稳健监督”。本文的 iREPA-depth 与 SinkLoss 正是针对这两个缺口。

Marigold V2 把 Qwen-Image-Edit-2509 当作一个条件 DiT，训练其把 RGB 潜变量直接变换成深度潜变量。整体是两阶段流水线：Stage 1 建立强仿射不变深度先验；Stage 2 用 SinkLoss 细化边界。 【深度归一化】给定 RGB 图像 I 与度量深度真值 D，先转成仿射不变的对数深度。公式为 d = 2·((log(D+ε)−d₂)/(d₉₈−d₂) − 1/2)，其中 d₂、d₉₈ 是 log(D+ε) 在有效像素上的 2% 与 98% 分位数，用于稳健裁剪；区间外值被裁剪后线性映射到 [−1,1]。这样去掉了全局尺度与平移歧义，保留相对几何。为兼容 RGB 图像编辑骨干，归一化深度被复制到三个通道，当作灰度 RGB 图。 【单步 rectified-flow 适配】设 VAE 编码器为 ℰ、解码器为 𝒟，编码得到 z_I=ℰ(I)、z_d=ℰ(d)。定义目标速度为 v=z_I−z_d，并在固定 timestep t=0.5 上训练 DiT f_θ 回归它：L_latent=‖f_θ(z_I,t)−v‖₂²。由于 t 固定，rectified-flow 参数化退化为直接潜变量回归，无需积分轨迹。推理时一次前向得到 ẑ_d=z_I−f_θ(z_I,t)，再解码为深度。相比只做潜空间监督的旧方法，本文额外加入像素空间损失：L_pix=‖d̂−d‖₁，以及空间梯度损失 L_grad=‖∇ₓd̂−∇ₓd‖₁+‖∇_y d̂−∇_y d‖₁。 【iREPA-depth 语义正则】像素级损失只约束局部重建，不显式保证高层结构一致，密集区域（树丛、重复纹理）仍会丢细节。因此对 DiT 内部表示做特征对齐。与既有方法从 RGB 提取特征不同，iREPA-depth 从冻结 DINOv3 编码器作用于真值深度图得到对齐目标，给几何重建提供更直接监督，且不引入推理期依赖。论文比较了 RGB 特征与深度图特征：两者都优于无正则基线，但深度域特征给出更好的 AbsRel 与 δ1。Stage 1 总目标为 L_DiT=λ_latent·L_latent+λ_pix·L_pix+λ_grad·L_grad+λ_iREPA·L_iREPA；最终权重取 λ_latent=1.0、λ_pix=1.0、λ_grad=5.0、λ_iREPA=0.2。直接 LPIPS 感知损失不带来同样的密集区改善。 【Stage 2 的 SinkLoss】除全局尺度歧义外，透明与极细物体引入局部歧义：即使 HyperSim 这类高质量合成数据，细结构的深度真值也常是噪声，V-Ray 准蒙特卡洛渲染使透明/边缘像素几乎随机地取前景或背景深度，严格逐像素对齐会迫使模型复制噪声。SinkLoss 的思路是放弃严格空间对齐：把图像切成非重叠 K×K 块（K=5），在每块内对 K² 个预测深度与 K² 个真值深度做 Sinkhorn–Knopp 匹配，得到软一对一指派，只要求网络在块内产生与真值相同的深度值集合（允许置换）。这样透明/细物体像素可以取内聚的前景或背景值，而不会被噪声像素惩罚。 具体地，块内成本矩阵 C_ij=|d̂_i−d_j|。无效像素（mask m_i=0）通过把触碰它的所有对的成本替换为大数 B≫max C_ij 来排除：C̃_ij=C_ij 当 m_i·m_j=1，否则 C̃_ij=B（B=10⁶）。被惩罚的行数与列数相同，B/τ 很大时最优计划会让它们互相匹配，因此无效真值不监督预测，有效像素保持均匀边际。软指派 M 由熵正则化最优传输得到：M=argmin_{M∈U} ⟨M,C̃⟩ − τ·H(M)，其中 U={M≥0 : M1=1/K², Mᵀ1=1/K²} 是均匀边际传输多面体，H 是 Shannon 熵。M 通过在 G=exp(−C̃/τ) 上跑 Sinkhorn–Knopp 迭代求得（对数域以保证数值稳定），取 τ=0.1、5 次迭代。SinkLoss 定义为有效对上的运输成本：L_SinkLoss=Σ_ij m_i m_j M_ij C_ij / Σ_ij m_i m_j M_ij，再对有真值的块取平均。Stage 2 权重取 λ_iREPA=0.2、λ_SinkLoss=1.0；论文还提到在 VAE 解码器微调期间关闭 SinkLoss 的对照实验，确认其对细结构识别的重要性。 【训练与数据细节】骨干用 4-bit 量化 + 秩 128 QLoRA 适配器，所有训练 batch size=1，并用梯度裁剪稳定优化、削弱噪声样本影响。训练数据是 HyperSim 与 vKITTI 的刻意紧凑混合：过滤掉无效深度像素超过 0.1% 的 HyperSim 样本；vKITTI 用 1216×352、HyperSim 用 768×512，按 90%/10% 概率采样。所有实验在单张 32GB GPU 上完成：消融训练 30,000 步约一天，Stage 2 再续 30,000 步约一天；最终 Stage 1 延长到 160,000 步，略超五天。评估沿用 Pixel-Perfect Depth 协议，用稳健 RANSAC 对齐预测与真值度量深度后再算指标；AbsRel 为平均绝对相对误差，δ1 为预测深度落在真值 1.25 倍因子内的有效像素比例；除 ETH3D 用 1008×672 输入并上采样到 2048×1360 外，其余数据集按原生分辨率推理。 【设计直觉】iREPA-depth 在收敛初期加速并改善视觉质量，长训练后量化差距缩小但视觉收益仍在；log-depth 的 L1 惩罚在一阶上等于逐像素相对误差，故优于线性深度与视差表示；SinkLoss 通过块内集合匹配解耦“锐利边界”与“像素级噪声真值”的冲突，是方法最独特的部分。

实验部分包括：五个零样本数据集的仿射深度估计对比；HyperSim 上的边界软误差（SEE）评估；Stage 1 损失组合与训练步数消融；深度参数化（线性/视差/对数）比较；不同骨干（SD1.5、FLUX.2、Qwen）上的 SinkLoss 迁移消融；Stage 2 消融与延迟/显存测量；以及四个稠密回归扩展——度量深度补全、透射深度、表面法线、反照率估计。具体数值结论均以下方 claim+quote 对给出。

1. 主表中 Marigold V2 在五个零样本数据集上的指标为 NYUv2 AbsRel 3.6/δ1 98.0、KITTI 5.4/97.4、ETH3D 2.8/99.2、ScanNet 3.7/97.9、DIODE 5.2/97.1。

   Marigold V2 (depth, ours) | 74K | 3.6 | 98.0 | 5.4 | 97.4 | 2.8 | 99.2 | 3.7 | 97.9 | 5.2 | 97.1

2. 在最具挑战性的 ETH3D 上，最佳模型 AbsRel 为 2.8，显著优于最强基线 3.8。

   Our method achieves the best zero-shot performance across all evaluated datasets among methods trained on comparable data and obtains especially strong results on the challenging ETH3D, where our best model achieves an AbsRel of 2.8 2.8 , substantially improving over the strongest baseline result of 3.8 3.8 .

3. 边界软误差 SEE 上 Marigold V2 全面低于 PPD 与 InfiniDepth：SEE3/SEE5/SEE7 分别为 0.352/0.333/0.320。

   PPD (NeurIPS 2025) ( Xu et al., 2025a ) | 0.404 | 0.385 | 0.371 InfiniDepth (CVPR 2026) ( Yu et al., 2026a ) | 0.470 | 0.451 | 0.436 Marigold V2 (depth, ours) | 0.352 | 0.333 | 0.320

4. 30K 步 Stage-1 消融中，加入 iREPA-depth 的配置在五个数据集上总体最强，例如 NYUv2 4.36/98.01、KITTI 6.72/96.38、ETH3D 3.62/98.90。

   ✓ | ✓ | ✗ | ✓ | 4.36 | 98.01 | 6.72 | 96.38 | 3.62 | 98.90 | 4.22 | 97.91 | 5.55 | 96.82

5. 训练步数增至 160K 后，iREPA-depth 行仍给出 ETH3D AbsRel 2.68/δ1 99.18 等结果，但相对无 iREPA 的量化差距缩小。

   ✓ | ✓ | ✗ | ✓ | 3.68 | 98.03 | 5.30 | 97.43 | 2.68 | 99.18 | 3.81 | 97.82 | 5.02 | 97.02

6. Log-depth 参数化优于线性深度与视差表示：AbsRel 4.72，而线性深度 5.04、视差 5.28。

   Linear Depth | 5.04 | 97.10 Disparity | 5.28 | 97.15 Log Depth | 4.72 | 97.71

7. SinkLoss 在 SD1.5、FLUX.2 与 Qwen 三个骨干上均降低 SEE（如 SD1.5 的 SEE3 0.553→0.485，FLUX.2 的 SEE3 0.491→0.377），说明增益来自训练配方而非特定骨干。

   Stable Diffusion V1.5 ( Rombach et al., 2022 ) | ✗ | 7.51 | 0.553 | 0.531 | 0.514 ✓ | 7.12 | 0.485 | 0.464 | 0.449 FLUX.2 klein ( BFL.ai, 2026 ) | ✗ | 4.88 | 0.491 | 0.472 | 0.457 ✓ | 4.82 | 0.377 | 0.359 | 0.345 Qwen-Image-Edit-2509 [-1pt] ( Wu et al., 2025 ) | ✗ | 4.10 | 0.449 | 0.429 | 0.414 ✓ | 4.12 | 0.352 | 0.333 | 0.320

8. 延迟/显存上，1024² 时 Marigold V2 为 1.9s/16.9GB，2048² 为 9.6s/29.3GB，而 PPD、Lotus-2、FE2E 在 2048² 均 OOM。

   InfiniDepth (CVPR 2026) ( Yu et al., 2026a ) | 0.2 | 1.9 | 1.2 | 3.4 PPD (NeurIPS 2025) ( Xu et al., 2025a ) | 1.4 | 5.6 | OOM | OOM Lotus-2 (w/o sharpener) | 1.1 | 26.1 | OOM | OOM Lotus-2 (arXiv 2025) ( He et al., 2025a ) | 8.9 | 26.1 | OOM | OOM FE2E (CVPR 2026) ( Wang et al., 2026a ) | 3.9 | 27.5 | OOM | OOM Marigold V2 (depth, ours) | 1.9 | 16.9 | 9.6 | 29.3

9. 深度补全的 tiled local adaptation 配置在四个基准上取得所列最低 RMSE：iBims-1 0.122、NYUv2 0.110、KITTI-DC 1.333、DDAD 5.323。

   + tiled local adaptation | 0.030 | 0.122 | 0.009 | 0.995 | 0.044 | 0.110 | 0.015 | 0.994 | 0.318 | 1.333 | 0.016 | 0.994 | 1.226 | 5.323 | 0.038 | 0.976

10. See-through 微调把验证集 AbsRel 从 13.66 降到 8.17，δ1 从 83.96 提升到 92.65。

    Marigold V2 (depth, ours) | 13.66 | 83.96 Marigold V2 (see-through depth, ours) | 8.17 | 92.65

11. 法线任务中 SinkLoss 把 SAEE3/5/7 从 11.25/9.42/8.53 降至 10.76/8.86/7.99，而 MeanErr 从 18.53 微升到 18.84。

    ✗ | 18.53 | 11.25 | 9.42 | 8.53 ✓ | 18.84 | 10.76 | 8.86 | 7.99

12. 反照率估计取得所列最佳 PSNR 20.78 与 LPIPS 0.195，SSIM 为 0.811。

    Marigold V2 (albedo, ours) | 20.78 | 0.811 | 0.195

Novelty：新颖性中等偏上。整体“重训生成模型做稠密回归”并非全新——Marigold、Lotus-2、PPD 等已确立该范式，QLoRA、rectified-flow 单步化、像素/梯度损失也都是已知工具。真正的增量是两处：iREPA-depth 把表示对齐目标从“RGB 特征”改为“真值深度图特征”，虽是小改动但有明确动机（几何域特征更相关、无推理期依赖）；SinkLoss 则较有新意，用块内 Sinkhorn 最优传输把逐像素 L1 监督松弛为“集合匹配”，直击透明/细结构真值噪声这一实际问题，且能迁移到法线。不过 SinkLoss 本质上是一种稳健的块级分位数/置换损失，与 trimmed loss、排序损失、边缘感知损失的对比缺失，削弱了其作为独立贡献的辨识度。 Soundness：方法上总体扎实：有分层消融（Stage 1 各损失、iREPA 的 RGB/深度来源、训练步数、深度参数化、骨干迁移、Stage 2 SinkLoss），有零样本多数据集、边界指标、效率指标和多任务验证。但存在若干薄弱点：SinkLoss 只与“无 SinkLoss”比较，未与更简单的稳健损失（分位数损失、裁剪损失、边缘加权损失、排序损失）对照，无法确认最优传输是否必要；SinkLoss 允许块内任意置换，可能削弱块内空间结构约束，K、τ、B、迭代数的影响未系统消融；SEE 只在合成 HyperSim 边界上评估，真实边界泛化未知；batch size=1 且未报告多次运行方差，指标差距较小时（尤其 160K 步消融）稳定性存疑；RANSAC 对齐评估对仿射模型友好，可能高估几何质量。整体可复现性较好，但关键损失的消融完备性不足。 Significance：实践意义较强。它证明只需单张 32GB 消费级 GPU、几天训练和少量合成数据，就能从开源图像编辑 DiT 蒸馏出可比肩甚至超过专用判别式模型的深度估计器，显著降低生成先验迁移的门槛。对计算摄影、3D 重建、增强现实等下游任务，其“边界更锐利、细结构更完整、飞点更少”的质量提升比平均误差更有价值。方法还自然迁移到深度补全、透射深度、法线与反照率，显示这是一个通用稠密回归配方，而非深度特化技巧。主要局限是骨干过大、非实时，限制了在机器人/移动端的直接部署；但对离线、高质量深度/法线/材质生成场景足够可用。

第一，Qwen-Image-Edit 这类大骨干决定了非实时、显存占用高，不适合嵌入式或对延迟敏感的应用；论文也承认这一限制。第二，反射、运动、失焦区域仍然歧义，模型缺乏不确定性输出，可能在玻璃、镜面、透明物上产生幻觉几何；see-through 实验表明基础模型对透明表面偏向玻璃平面深度，需专门微调才能改。第三，SinkLoss 的块内置换只保证“值集合一致”，不保证空间布局一致：在 K×K 块内可能把前景/背景值排错位置，若块内包含复杂边界，几何可能被扭曲；K、τ、B、迭代次数均固定，缺乏对块尺寸与正则强度的消融。第四，与更简单的稳健损失（分位数/裁剪/排序/边缘加权）没有对照，SinkLoss 的必要性未被严格证明。第五，训练与边界评估高度依赖合成数据 HyperSim/vKITTI：HyperSim 的透明物体标注偏差已被作者承认，SEE 也只在合成边界上计算，真实场景（LiDAR 噪声、运动模糊、反射）的边界行为未量化。第六，评估采用 RANSAC 对齐，对仿射不变模型有利，且深度补全的 test-time LoRA + 分块推理带来 4–14 倍单次推理成本，实际部署代价不可忽略。第七，batch size=1、单次运行、未报告方差，小数值差异（尤其长训练后的消融）可能不稳定。第八，VAE 编码/解码本身可能引入潜空间信息瓶颈，论文虽用像素损失缓解，但未讨论其极限分辨率下的保真度。

值得跟进的方向：一是给 SinkLoss 做更系统的理论分析，把它与熵正则化 OT、trimmed/quantile loss、排序损失、边缘感知损失的关系讲清楚，并消融 K、τ、B、迭代数、块重叠与多尺度版本，回答“置换松弛到底该放多宽”这一核心问题。二是将 SinkLoss 推广到法线之外的稠密任务（语义、材质、光流、多平面表示），并尝试用可学习边际替代均匀边际，让无效像素掩码处理更优雅。三是把 iREPA-depth 的“几何域特征对齐”扩展到法线、曲率、分割等多种真值表示，系统比较不同对齐源对收敛与细节的作用。四是解决大骨干的实时性：向判别式小模型蒸馏“锐利边界 + 细结构”的先验，或与任意分辨率查询、神经隐式场（InfiniDepth 路线）结合，保留细节的同时降低推理成本。五是加入不确定性估计或多层/多假设输出，处理透明、反射、失焦区域的固有歧义，并用真实 LiDAR/ToF 数据做验证。六是把单图方法扩展到视频，引入时序一致性与多视几何约束，避免帧间抖动。七是开发更贴近真实边界的评估基准（真实深度不连续处、透明物体），弥补目前只看合成 HyperSim SEE 的不足。

本文提出 SceneMosaic，定位在「仿真可用」室内场景生成，属于 agentic 文本到 3D 与参数化图像到 3D 之外的第三条路线：用图像先验做快速初始化，再用 VLM agent 迭代演化布局。其差异化主张有三点：以混合范式同时缓解效率-保真度权衡；以局部单元分解加笛卡尔组合把单次演化扩成组合级多样候选；以正交二维抽象降低 agent 空间推理与位姿编辑难度。整体属于面向 embodied AI 仿真环境规模化的系统型工作。

仿真可用室内场景对交互娱乐与 embodied AI 很有价值，但现有仿真环境家具稀疏、多样性不足。生成范式主要有两类。其一是 agentic 文本到 3D 流水线，由 VLM 迭代提议、放置、调整物体并管理工具、记忆和上下文；随 VLM 能力提升，这类方法能产出高保真且物理有效的场景，但反馈闭环对每个物体都需工具密集操作，SceneSmith、SAGE 等单场景耗时达数小时。其二是参数化图像到 3D 场景模型，把场景构建分解为逐物体资产生成与 6D 位姿估计，便于程序化监督并受益于二维视觉布局先验，如 MIDI、SceneGen、SAM3D；它们速度快，但位姿常不精确、易产生碰撞与越界。更关键的是，两类方法对单个输入通常只输出一个确定性布局，缺少真实场景因人类活动而产生的结构化重排多样性。相关研究线包括：基于标注布局数据集的室内场景合成（自回归、扩散、约束图）、LLM/VLM 驱动的场景生成（直接布局预测、程序合成、agentic 流水线）、以及前馈图像到 3D 资产生成。SceneMosaic 的立场是取两者之长：图像先验提供快速、语义合理的起点，agentic 演化负责物理与语义精修，局部单元分解则带来低成本多样性。

SceneMosaic 把生成拆成初始化、结构化、物理预稳定、Critic–Actor 演化、多样性组合与选择五个阶段。 （1）问题形式化。输入为单一参考图像或文生图提示，目标输出一个基础场景与 m 个变体。场景 S 由 N 个对象组成，对象 o_i 由其网格 M_i、空间布局参数 T_i=(p_i,R_i,s_i) 以及仿真属性描述：p 是三维平移，R 是 SO(3) 旋转（或以单位四元数 q 表示），s 是各向异性缩放。 （2）对象级重建与初始化。感知 agent 先做实例级对象注册，得到语义标签、文本描述与二维框；随后用 SAM3 以文本提示和框进行分割，并迭代校验以解决漏检、重复掩膜、边界歧义与嵌套区域。每个对象得到验证掩膜后，SAM3D 独立从场景图像和掩膜重建网格 M_i 与初始布局 T_i，建立语义身份、像素证据、网格、布局之间的对应。 （3）关系引导的场景结构化。系统结合初始布局、掩膜与多视角渲染恢复房间边界与墙面原语，并识别 attach（地面、墙面、天花板或物体支撑）与 contain 依赖。关系抽取组织为有向无环图（DAG）：manager agent 分析场景后动态调度支撑推理、包含分析、墙体恢复、墙面附着、语义精炼等专用子 agent，DAG 依赖保证信息流一致；同时估计每个对象的仿真属性。随后按 attach/contain 依赖构建分层场景树，局部单元定义为非叶锚节点及其全部直接子节点。单元大体独立，少量功能关系跨单元，因此抽取跨单元约束并注入单元上下文，例如落地椅须面向书桌、桌上显示器保持书桌朝向。 （4）物理预稳定。按场景树自顶向下对每个局部单元先做包含校正：在正交投影下检查目标对象是否被锚对象包围，并修正非法布局以建立稳定基础。再把局部单元放入刚体仿真，重力方向随锚类型变化（地面单元向下、天花板单元反向、墙面单元沿外法线），让对象解决碰撞并消除漂浮，得到物理可行的演化起点。 （5）Critic–Actor 演化。对每个局部单元先生成若干候选变体，再与原布局并行演化。Critic 接收当前正交渲染、结构化二维布局状态、碰撞对、跨单元约束与布局记忆，判断是否存在硬物理错误（深穿透、越界）或语义错误（不合理位置/朝向），输出二值修改决定、无坐标的定性建议（如「把椅子略向桌子移近」）以及百分制布局质量分；几何检出的越界对象会转为强制修正提示。把建议限定为定性指引，是为了避免 Critic 锚定不准确的数值估计，并把诊断与执行分离。Actor 不直接输出原始坐标，而是输出引用当前布局状态的符号化位姿表达式，由沙箱算术求值器解析，使对齐、对称间距、相对偏移等关系调整精确化，并把编辑限制为可解释的二维平移与面内旋转；只有建议中显式提到的对象被修改，锚与其余对象固定。记忆机制逐轮记录初始位姿、Critic 建议、Actor 表达式、解析位姿与检测到的碰撞，注入后续提示，用于检测左右振荡、重复越界等失败模式并强制改换策略，是防止循环死锁的主要手段。收敛条件为 Critic 不再要求修改、达到最大轮数或满足早停（相邻轮最大单对象平移低于阈值、旋转不变且无碰撞/越界）；终止后若末轮无物理问题则选末轮，否则选物理质量最高的轮，再做一次以锚为地面的重力仿真消除残余穿透与漂浮。 （6）空间抽象。agent 不做透视图推理，而是渲染锚依赖方向的 1024×1024 正交视图（地面单元俯视、墙面单元沿外法线、包含单元沿锚正面），并叠加均匀坐标网格、对象二维框与朝向箭头。网格点存储其在锚面上的三维位置，建立 (u,v) 到三维位置的可逆映射；agent 预测的二维中心经双线性插值提升回三维，面内角转为绕投影轴的旋转并与原朝向复合。锚对象在演化中不被修改。这样三维位姿编辑被退化为二维平移与面内旋转，降低空间推理难度并促进局部一致的编辑。 （7）组合装配与新颖感知距离。各局部单元演化后得到若干验证通过的变体，对所有单元变体做笛卡尔积得到 k 个完整候选场景。组合采用锚相对坐标：子单元对象按 M_i^scene = M_a^scene (M_a^local)^{-1} M_i^local 变换到父场景，再做极分解恢复 (p,R,s)；每个候选再做场景级碰撞检查，剔除残余穿透。为筛选多样化子集，定义非对称的新颖感知场景距离 N(S_A,S_B)=w_p D_pos + w_u D_dist + w_r D_rot，权重取 (0.4,0.4,0.2)。D_pos 把成对位移向量投影到对象 i 的局部坐标系：v_{ij,local}^{(A)}=(R_i^{(A)})^T(p_j^{(A)}-p_i^{(A)})，比较两场景该向量的相对误差并按参考场景 A 的成对距离归一化，度量与全局刚体变换无关的相对排布差异。D_dist 比较全局成对欧氏距离的变化并归一化。D_rot 用四元数内积角 θ_i=2 arccos(|q_i^A·q_i^B|) 逐对象求平均并除以 π。由于归一化分母以场景 A 为参考，距离非对称；选择时始终以已选场景为 A。 （8）动态最大最小贪心选择。以原始场景 S_org 为种子，每轮加入与已选集 R 的最小距离最大的候选；每次选择后，把与当前已选集最小距离低于动态阈值 τ=α·d_max 的候选剪枝，α 取 0.1，以避免近重复并加速收敛；最终选 m 个变体加基础场景。训练与数据方面，框架不训练新网络，各 agent 由同一底层 VLM 经角色提示实例化并输出结构化 JSON；评测图像由 GPT-Image-2 从 SceneEval 提示合成；物理仿真使用刚体模拟器，并对每个网格用 CoACD 预计算凸分解碰撞壳，在稳定、演化与验证阶段复用。

在 SceneEval 评测集上，SceneMosaic 以明显更低的时间开销取得与最强 agentic 基线相当或更高的语义布局质量，并将碰撞与越界等物理违规基本消除；用户研究显示其语义与物理合理性评分最高，且评分者一致性较强。消融显示图像初始化、物理处理、正交二维抽象与局部单元分解各自贡献显著；多样性消融显示新颖性选择与组合式装配相比重复采样或随机选择，能在不牺牲语义质量的前提下获得更分散的布局集合。

1. 在 SceneEval-100 上，SceneMosaic 基础场景的 POS 为 84.3、ROT 为 78.4、NAV 为 99.2，碰撞率与越界率均为 0，耗时 0.14 小时。

   Base Scenes | 84.3 ± \pm 2.0 | 78.4 ± \pm 3.4 | 99.2 ± \pm 0.4 | 0.0 ± \pm 0.0 | 0.0 ± \pm 0.0 | 0.14h

2. 变体场景指标略高（POS 84.5、ROT 79.9、NAV 99.4），且单变体仅 0.03 小时。

   Variant Scenes | 84.5 ± \pm 2.4 | 79.9 ± \pm 3.6 | 99.4 ± \pm 0.3 | 0.0 ± \pm 0.0 | 0.0 ± \pm 0.0 | 0.03h

3. 最强 agentic 基线 SceneSmith 的 POS 为 83.5、ROT 为 80.9，但耗时 3.43 小时，显著慢于本方法。

   SceneSmith | 83.5 ± \pm 2.7 | 80.9 ± \pm 3.1 | 96.9 ± \pm 0.8 | 0.7 ± \pm 1.4 | 0.3 ± \pm 0.3 | 3.43h

4. 图像到 3D 基线 SAM3D 虽耗时仅 0.05 小时，但碰撞率高达 20.2、越界率达 8.9。

   SAM3D | 80.1 ± \pm 4.5 | 75.4 ± \pm 7.0 | 98.9 ± \pm 0.7 | 20.2 ± \pm 6.1 | 8.9 ± \pm 4.2 | 0.05h

5. 论文宣称 SceneMosaic 在语义布局质量上匹配最强 agentic 基线，并获得 24 倍加速。

   SceneMosaic matches the strongest agentic baseline in semantic layout quality with a 24 × 24\times speedup, substantially reduces physical violations, and receives the highest human ratings.

6. 用户研究中，SceneMosaic 的语义评分 4.33、物理评分 4.47，均为各方法最高。

   Ours | 4.33 ± \pm 0.89 | 4.47 ± \pm 0.82

7. 用户研究的 Kendall 一致性系数在语义与物理维度分别为 0.648 与 0.633，表明评分者一致性较强。

   Kendall’s W W | 0.648 | 0.633

8. 消融中去除物理预稳定与仿真工具后，基础场景碰撞率升至 18.9、越界率升至 8.5。

   (2) w/o Physics | 81.5 ± \pm 2.4 | 75.6 ± \pm 3.7 | 96.8 ± \pm 1.6 | 18.9 ± \pm 4.8 | 8.5 ± \pm 3.3 | 0.13h

9. 以文本初始化替换图像初始化后，基础场景耗时从 0.14 小时增至 1.25 小时，POS 降至 80.7。

   (1) w/o Image Init (Text-only Init) | 80.7 ± \pm 3.2 | 74.2 ± \pm 3.5 | 98.8 ± \pm 0.6 | 0.0 ± \pm 0.0 | 0.0 ± \pm 0.0 | 1.25h

10. 全局演化加透视 3D 操作使基础场景 POS/ROT 降至 72.3/64.9，碰撞率 12.1、越界率 6.2，耗时 0.68 小时。

    (4) Global Evolution + Perspective 3D Ops | 72.3 ± \pm 4.8 | 64.9 ± \pm 5.6 | 97.2 ± \pm 1.3 | 12.1 ± \pm 3.7 | 6.2 ± \pm 2.0 | 0.68h

11. 多样性消融中，完整 SceneMosaic 的 Div-IoU 为 0.42、Div-N 为 0.37、耗时 0.03 小时。

    Full SceneMosaic | 0.42 ± \pm 0.08 | 0.37 ± \pm 0.06 | 0.03h

12. 去掉新颖性选择后 Div-IoU 升至 0.58、Div-N 降至 0.19，说明多样性主要由选择策略而非候选池本身贡献。

    w/o Novelty Selection | 0.58 ± \pm 0.09 | 0.19 ± \pm 0.05 | 0.03h

Novelty：创新点中等偏上。最核心的新意是把「局部单元分解 + 笛卡尔组合」引入 agentic 布局演化，将一次演化放大为组合级多样候选，并用非对称新颖感知距离与动态最大最小贪心选择做多样性筛选；面向 agent 的正交二维抽象（把位姿编辑退化为二维平移与面内旋转）也有实用价值。但多数组件是现有技术的工程集成：SAM3/SAM3D 重建、VLM agent 循环、刚体仿真与凸分解、最大最小多样性选择都是已知思想。因此属于组合式、系统性的创新，而非单点理论突破。 Soundness：整体实验链条较完整，含主对比、用户研究、四组消融与多样性消融。但存在若干可靠性问题：其一，跨模态比较（文本输入给 agentic 基线、生成图像给图像到 3D 基线）虽作了说明，仍不完全公平；其二，语义 POS/ROT 由 GPT-5.5 判定，缺少裁判稳定性或与人工评分相关性的系统分析；其三，碰撞与越界恒为 0 更像是最终物理校验与候选过滤的结果，不能证明生成过程本身始终物理有效；其四，最强基线 SceneSmith 的 ROT 为 80.9，高于本方法的 78.4，因而「匹配最强 agentic 基线的语义布局质量」表述略强；其五，多样性只与自身退化变体比较，缺乏同资产、跨方法的多样性基准。 Significance：对 embodied AI 仿真环境规模化生成有实际意义：速度提升与多样化候选能降低仿真场景的构建成本，若后续验证能带来下游策略训练或评测增益，则影响力较高。当前贡献集中在场景生成本身，尚未展示对机器人策略泛化或评测覆盖率的直接收益；此外，其组合式多样性思路对其它布局类生成任务（家具布置、房间规划）也有一定迁移价值。

作者自述的主要局限是依赖单张图像初始化，因而通常只能覆盖单个房间，无法直接生成多房间房屋或整栋建筑，需要后续把房间级生成组合成房屋尺度。从审稿视角还有几点：第一，评测存在输入模态不对齐，且语义指标依赖 VLM 裁判，鲁棒性未充分论证；第二，物理违规为零可能是过滤机制所致，缺少对候选池淘汰率、失败案例与生成边界的报告；第三，多样性评测只与自身退化变体比较，未与共享资产下其它方法的重复采样或布局编辑作公平对照；第四，跨单元约束类型有限，复杂多房间、跨层或动态场景未覆盖；第五，没有下游 embodied AI 任务收益实验，仿真「可用性」的直接证据仍以人工与启发式指标为主。

后续方向包括：将房间级生成扩展为多房间、多层甚至建筑级场景，研究跨房间一致性与房屋尺度组合；建立共享资产、跨方法的布局多样性基准，区分资产生成多样性与布局重排多样性；在策略训练或评测任务上验证多样性带来的下游收益；引入更强、可校验的物理与几何指标以减少对 VLM 裁判的依赖；扩展跨单元约束的表达能力以处理更复杂的功能依赖；报告失败案例、候选淘汰率与极端输入表现，提升系统的可解释性与鲁棒性。

本报告提出 DriveZero：一个把端到端驾驶拆成「感知模型 + 动作模型」、各自在最适合的训练范式下预训练、再经蒸馏合一的系统。其核心主张有二：驾驶行为不应只由人类轨迹模仿获得，而应由闭环强化学习在交互世界中优化出超越演示的行为；视觉表征不必依赖任务级标注，而可由多个冻结视觉基础模型蒸馏而来。DriveRL 是特权教师，在 nuPlan 日志初始化的混合智能体模拟器中用 PPO 从头训练，并用值引导的测试时动作搜索增强；DriveVFM 把 DINOv3、SigLIP2、SAM、Depth Anything V2 合并为单一骨干；DriveZero 把冻结教师 rollout 出的轨迹蒸馏到纯相机规划器，并借助目标增强生成日志无法提供的多样监督。整体介于「RL 教师 + 视觉蒸馏」（ROACH、Gigapixel）与「多基础模型表征蒸馏」（RADIO）两条路线之间，卖点是闭环学习、无人类轨迹监督与跨基准 SOTA。

端到端自动驾驶通常通过模仿人类驾驶日志来学习「观测 + 导航意图 → 车辆运动」的映射。这一范式可扩展且稳定，但把记录的人类轨迹当作唯一监督源，使行为受限于日志质量与覆盖：每个场景只有一条已实现未来，即使存在多个合法动作；安全关键偏离与恢复机动稀少；由学习策略诱导出的状态在离线数据中缺失，于是策略一旦偏离演示分布，误差会复合累积。强化学习提供另一种行为来源：通过闭环交互优化显式目标，策略能观察自身动作的后果，把失败转为训练信号，访问被扰动状态并学习恢复，因此不受单条人类轨迹约束。但把 RL 直接用于端到端驾驶困难重重——直接视觉 RL 把样本密集的探索与昂贵的视觉仿真耦合，扩展性受限。这就形成核心张力：闭环 RL 适合学习「如何驾驶」，而部署所需的纯相机策略不适合大规模在线探索。ROACH 把 CARLA RL 教练蒸馏为单目策略，Gigapixel 通过自博弈 DAgger 把向量观测 RL 教师迁移到像素学生；它们都在闭环中训练策略，但视觉编码器是现成的。本文的不同在于分别预训练感知与动作：感知从大规模多样图像与丰富表征监督获益，动作从高吞吐闭环交互与紧凑结构化状态获益，最后通过蒸馏统一为可部署的相机策略。评估覆盖 nuPlan（DriveRL 闭环）、NAVSIMv1/v2（伪闭环）与 HUGSIM（真闭环零样本）。

整体分三阶段：DriveRL 学驾驶行为，DriveVFM 预训练视觉表征，DriveZero 把行为迁移到相机策略。 一、DriveRL：从头学习特权教师 输入与网络。每个时间步的观测 O_t 含 ego、周边交通参与者、局部矢量地图与交通灯状态。ego 与每个参与者用共 5 帧表示（当前帧 + 前 4 帧，5 Hz 采样），最多 96 个参与者；地图最多 256 个局部矢量元素 token，交通灯状态附着到其管辖元素。导航由 ego 坐标系中的两个 goal point G_t 表达：训练时从日志未来 ego 位置构造（可同点重复或取两个不同点），部署时沿当前路线取近、远两个锚点，前瞻距离随车速缩放（L = min(L_remain, 12·max(‖v_t‖, 5))），每步重算。两点经正弦位置编码 + 共享 MLP 后 mean-pool 成一个 goal 特征，因此是置换不变的空间集合而非有序 waypoint。三个专用编码器把 agent、ego 运动学、map 分别嵌入为 256 维 token；以 ego token 为唯一 query，先做两层 ego-to-agent 交叉注意力聚合 agent 上下文，再做一层 ego-to-map 交叉注意力提取地图上下文；ego token、goal 与运动学嵌入、地图上下文拼接后经共享 MLP 进入策略头，总参数量 5.7M。动作头对归一化 jerk 与轮胎转角速率输出独立 Beta 分布，形状参数取 softplus(x)+1 保证 α,β>1，使分布单峰、避免过度加权极端指令；训练采样，评测取解析 mode（(α−1)/(α+β−2)）；归一化命令映射到物理范围（jerk [−8,5] m/s³，转角速率 [−0.8,0.8] rad/s）后由运动学自行车模型执行，加速度上限 4.0 m/s²、转向角上限 π/3。 混合智能体仿真。把真实 nuPlan 日志转成可交互世界：每个背景 actor 通过统一物理 state–action 接口获得独立行为提供者，类别包括日志回放、规则行为（IDM、前车紧急制动）与学习策略（Self-Play），允许异质行为共存。默认只控制 ego；Self-Play 是真实部署配置，让策略控制的背景车辆与 ego 产生更自然的交互。迟到 actor 的插入做一致性门控：仅当该 actor 出现在当前日志帧、ego 位姿在记录的 5 m 与 0.35 rad 内、且不会与任何可见 actor 碰撞时才释放，否则按日志轨迹回放。整个 rollout 循环（背景行为、车辆动力学、奖励、场景编辑）以 GPU 批量实现，每个 rank 2048 个世界、共 96 GPU 并行跑 196,608 个世界，110 步 rollout@5 Hz，背景按 1:1 混合 log-replay 与 IDM。训练数据来自 nuPlan trainval 的 922,703 个场景，10 Hz 导出、每两帧取一得 5 Hz；每个 update 用 Muon 优化器做 4 个 PPO epoch，γ=0.99，GAE λ=0.95，clip 0.2/0.2，entropy 系数 0.01，value 系数 0.5，梯度裁剪 0.5，初始学习率 3e-4 余弦退火，共 2400 updates、约 21 小时。 奖励。r_t = h_t + (1−d_t)(g_t + (1/H)∏_{k∈K} q_{t,k})，H=110 为 rollout 长度。h_t 是硬事件惩罚（碰撞等，终止 rollout），g_t 是一次性到达奖励（到达不终止），q_{t,k}∈[0,1] 是六个覆盖安全、合规、舒适的软质量分，用乘积项要求它们「联合」满足。critic 被分解为每个奖励项一个 value channel，各 channel 求和得到总回报，便于多目标分解。 值引导测试时动作搜索（TTS）。PPO 把闭环中发现的策略压缩为动作分布，但 mode 执行丢掉了策略的局部多样性以及 critic 对延迟回报的估计。TTS 在每个规划更新保留 Beta mode 作为候选 0，并从同一策略采样 N−1 个候选首动作；保留 mode 使搜索成为部署策略的保守扩展。每个候选 rollout L 步：首步用该候选动作，后续动作取该状态下策略 mode，候选因此不仅首控不同、后续诱导轨迹也不同；背景 actor 用带加速度与横摆率上限的恒转率-恒加速度模型外推，故意短视以暴露即时安全、合规、舒适差异。打分 S(i)=Σ_{ℓ=0}^{L−1} γ^ℓ ∏_{u<ℓ}(1−d_u) r_ℓ + γ^L ∏_{u<L}(1−d_u) V(O_L)：滚动奖励加 critic 对末态的 bootstrap，一旦终止后续奖励与 bootstrap 全被 mask；复用训练奖励、折扣与 critic，使候选排序与 PPO 目标一致。只有最高分候选超出 mode 分数 δ 的余量时才替换 mode。候选数 N 增大主要是并行计算，搜索深度 L 增大是串行的策略/动力学/奖励评估，二者分别交换不同维度的推理算力。 二、DriveVFM：多视觉基础模型蒸馏 四个冻结基础模型各充当一类感知目标的代理：DINOv3 提供空间结构与视觉对应，SigLIP2 提供图像级语义与开放词汇信息，SAM 提供边界敏感特征（类似分割监督），Depth Anything V2 提供几何线索。共享 ViT 为每个基础模型输出一个 summary token 和一组共享 patch token；summary token 让异质图像级语义共存，共享 patch token 构成下游空间推理的统一稠密表示。每个模型配有轻量 adaptor，分别投影 summary 与 patch。监督是非对称的、只在各模型最强处匹配：DINOv3 监督 summary+patch，SigLIP2 只监督 summary，SAM 只监督 patch；Depth Anything 选择蒸馏视觉特征而非深度预测（实验证明特征蒸馏更好）。summary 用余弦距离匹配，patch 用 MSE；总损失 L_DriveVFM=Σ_k(λ_k^sum L_k^sum + λ_k^patch L_k^patch)。由于冻结模型特征尺度、方差与激活各向异性差异大，单靠每模型权重无法消除单个模型内部跨维度不平衡，故对每个模型的 patch 特征做 PHI Standardization：离线估计均值协方差，中心化后做 PCA–Hadamard 旋转使方差在各变换维度均匀分布，再按共享标量重缩放，使各模型呈现同等条件数的回归目标。此外针对注意力 query–key 点积过快增长导致 loss spike/发散，采用 Kimi K2 QK-Clip 启发的简单干预。训练分两阶段渐进分辨率：256×256 跑 600K 迭代、全局 batch 2048，再升到 512×512 跑 200K 迭代，均用 AdamW；数据混合 LAION-2B、ImageNet-21K、SA-1B 与 OpenDV、nuPlan、Waymo 驾驶图像。训练完成后丢弃基础模型与 adaptor，只保留骨干供 DriveZero 使用。 三、DriveZero：把 RL 教师蒸馏成相机规划器 原理是日志帧把多视图图像与结构化状态配对，冻结教师从该状态 rollout 出的轨迹即可监督图像学生，全程 open-loop、无需渲染、学生不进交互环境、不用人类轨迹。输入为四视图（CAM_F0/B0/L0/R0）、ego 运动学与导航命令（由教师 goal 派生，师生共享同一意图）。DriveVFM 加 rank-32 Q/V LoRA 编码各相机，输出 token 加 3D 位置嵌入；每相机 16 个可学习 register 压缩为少量 scene token；ego 运动学与命令嵌入为 ego token，加到 64 个可学习 trajectory query 上，trajectory decoder 经对 scene token 的交叉注意力输出 64 条候选轨迹；scoring decoder 把每条轨迹编码为 score query、对视觉 token 注意力后预测 PDM 的六个分项 logit。轨迹生成与评分用不同目标训练。每个日志帧，教师收到结构化状态与 goal，背景 actor 按日志回放 rollout，得到教师轨迹 τ^T，表示为 ego 相对 (x,y,yaw) 位姿序列，作为 winner-takes-all 回归目标：L_traj = min_m dist(τ̂_m, τ^T)，dist 是逐点平均 L1，只有最近的 proposal 承担损失，让不同 query 捕获不同驾驶模式。评分头对六个分项（碰撞、可行驶区、进度、TTC、舒适、行驶方向）做 BCE：L_score=(1/M)Σ_mΣ_k BCE(σ(ŝ_mk), s_mk)，推理时按基准规则聚合分项、选聚合分最高的候选；候选轨迹在进入评分分支前 detach，分离生成与排序。总目标 L_DriveZero=λ_traj L_traj + λ_score L_score。目标增强：教师是 goal-conditioned 的，可在同一初始场景状态用增强路线意图查询，产生多样且目标一致的轨迹，超越日志中单条记录；增强后的 route 同时用于评估学生 proposal，保持导航命令、教师轨迹与评分一致，从而把一个日志场景扩展为多个有效监督目标。训练用 navtrain 的 100K 场景；DriveZero-Scale 另加 237K SimScale OOD 仿真场景。学生训练 25 epochs、batch 256、AdamW、初始学习率 2e-4 余弦退火；主表用 ViT-L 骨干。

实验在三个层面展开：DriveRL 在 nuPlan 社区切分的非反应与反应闭环上验证「超越演示」这一核心命题，并单独考察测试时搜索的算力扩展；DriveZero 在 NAVSIMv1、NAVSIMv2 与真闭环 HUGSIM 上验证相机学生、零样本迁移与数据扩展；消融则分离视觉骨干、视觉基础模型教师组合、以及监督来源（人类轨迹 vs 教师轨迹 vs 教师轨迹加目标增强）的贡献。总体结论是：强化学习教师全面超过日志回放专家；蒸馏出的相机学生在无人类轨迹监督时即可与人类驾驶员相当；加入仿真扩展后各基准取得最优；每个附加视觉教师与目标增强都带来累加收益，且目标增强是教师监督反超人类监督的关键。

1. DriveRL-TTS 在 nuPlan 三个社区切分（Val14、Test14-hard、Test14-random）的非反应与反应模式下均值达到 93.57，并在所有三个切分上超过 Log-Replay 专家。

   On nuPlan, DriveRL with value-guided test-time action search achieves a mean score of 93.57 across the Val14, Test14-hard, and Test14-random community splits in both non-reactive and reactive modes, exceeding the Log-Replay expert on all three splits.

2. 基础 DriveRL（不做 TTS）在六个评测上的未加权均值为 93.01，并且在每个非反应与反应设置上都超过 Log-Replay。

   DriveRL obtains an unweighted mean score of 93.01 across the six evaluations and exceeds Log-Replay in every non-reactive and reactive setting, showing that closed-loop RL can learn driving behavior beyond the demonstrations that seed its training worlds.

3. 测试时搜索随候选数扩展：N=64 时均值达 93.57，Test14-hard NR 提升 1.16 分，Test14-random NR 提升 1.43 分。

   As shown in Table 3 , the mean score generally increases with the candidate budget, reaching 93.57 with 64 candidates. The largest gains occur on the non-reactive Test14 splits: Test14-hard NR improves by 1.16 points, while Test14-random NR improves by 1.43 points.

4. 用真值符号输入、4 秒 rollout 的 DriveRL 在 NAVSIMv1 navtest 上取得 95.8 PDMS，超过人类驾驶员 94.8 与 PDM-Closed 89.1。

   As shown in Table 4 , the RL-trained DriveRL achieves 95.8 PDMS with 4-s rollouts from ground-truth symbolic inputs, outperforming Human Driver (94.8) and PDM-Closed (89.1).

5. 纯相机输入的 DriveZero 无人类轨迹监督达到 94.8 PDMS，超过此前所有相机与相机-LiDAR 融合方法。

   High-quality, goal-controllable supervision from DriveRL, together with DriveVFM, enables the camera-only DriveZero to reach 94.8 PDMS without human trajectory supervision, outperforming all prior camera-only and camera–LiDAR fusion methods.

6. 加入 SimScale OOD 仿真数据后 DriveZero-Scale 提升到 95.3 PDMS。

   Scaling with OOD simulation data from SimScale [ 76 ] further improves DriveZero-Scale to 95.3 PDMS, providing direct evidence of the scalability of our framework.

7. 作者声称这是首个在 NAVSIMv1 navtest leaderboard 上超过人类驾驶员的端到端模型。

   To the best of our knowledge, this is the first end-to-end model to outperform the Human Driver on the NAVSIMv1 navtest leaderboard.

8. NAVSIMv2 navhard 上 DriveZero 达 51.5 EPDMS，加 SimScale 后提升 5.6 分至 57.1，其中 Stage2 提升 8.3 分。

   As shown in Table 5 , DriveZero achieves an EPDMS of 51.5, outperforming all methods trained exclusively on the navtrain split. It also exceeds GigaPixel [ 62 ] , another RL-Teacher-based approach, by 1.4 points, even though the student is trained open-loop on logged frames and never enters a simulator. Scaling with SimScale [ 76 ] data raises the combined score by 5.6 points to 57.1: the Stage 1 score decreases by 1.8 points, while the more challenging Stage 2 score improves by 8.3 points.

9. HUGSIM 零样本闭环上 DriveZero-Scale 平均 HD-Score 达 46.6，比此前最佳 GigaPixel 高 8.1 分。

   As shown in Table 6 , by data scaling, the DriveZero-Scale delivers the strongest zero-shot closed-loop performance. It achieves state-of-the-art HD-Score on the Easy, Medium, and Hard tiers, resulting in an average HD-Score of 46.6. This improves on the previous best result from GigaPixel [ 62 ] by 8.1 points (46.6 vs. 38.5).

10. 消融中 DriveVFM ViT-S 达 94.41 PDMS，比 DINOv3 ViT-S 基线 93.88 高 0.53 分。

    DriveVFM achieves a PDMS of 94.41, outperforming the DINOv3 ViT-S baseline at 93.88 by 0.53 points. This margin is notable on an already highly saturated benchmark.

11. 视觉教师累加有效：DINOv3+SigLIP2 为 93.69，加 SAM 到 94.10（+0.41），再加 Depth Anything V2 到 94.41（+0.31），累计提升 0.72 分。

    Adding SAM improves PDMS from 93.69 to 94.10 (+0.41), while further incorporating Depth Anything V2 raises it to 94.41 (+0.31). Together, the two additional teachers yield a 0.72-point improvement over the DINOv3 + SigLIP2 baseline, demonstrating cumulative gains from complementary supervision.

12. 监督来源消融：仅用 DriveRL 轨迹（93.61）略低于人类轨迹（93.92），但加目标增强后达 94.41，超过人类监督 0.49 分。

    Although using DriveRL trajectories alone yields a slightly lower PDMS than human supervision (93.61 versus 93.92), adding goal augmentation raises the score substantially to 94.41, outperforming DriveRL-only supervision by 0.80 points and the human-trajectory baseline by 0.49 points.

Novelty：新颖性中等偏上。核心拆解「特权 RL 教师 + 相机蒸馏」并非首创，ROACH 与 Gigapixel 已有先例；DriveVFM 的多教师聚合蒸馏本质是 RADIO 思路在驾驶场景的落地，PHI-S、QK-Clip 与值引导 TTS 也都源自既有方法。真正的新贡献是把三个环节组装成完整证据链：闭环 RL 从日志初始化世界中学出超越演示的行为、无标注多 VFM 蒸馏提供视觉表征、目标增强把 goal-conditioned 教师变成可扩展的监督源，并在 nuPlan、NAVSIMv1/v2、HUGSIM 上统一验证。其中「goal augmentation 使教师监督反超人类轨迹监督」的消融是最有信息量的增量证据，但单独每个模块的原创性有限。 Soundness：实验覆盖面较好（nuPlan 三切分双模式、NAVSIMv1/v2、真闭环 HUGSIM、三组消融），且做了与 Log-Replay、人类轨迹监督、多个视觉骨干的对照。主要顾虑：数字多为单次运行、无多次种子或方差；NAVSIM 是伪闭环，真闭环证据依赖 HUGSIM 与少量定性 rollout；消融统一用 ViT-S 而主表用 ViT-L，结论外推需谨慎；与有监督方法比较时输入模态不一致（GT / C&L / C），且主表最强者 DrivoR-Scale 同样使用 SimScale，部分差距可能来自数据尺度；奖励各分项、软指标权重与超参敏感性披露有限。整体方法链条逻辑自洽，但作为技术报告缺乏正式同行评审的严谨性检验。 Significance：若结果可复现，意义较大。它给出「RL 生成监督可替代人类轨迹」的直接证据，并展示了基础模型表征蒸馏 + 强化学习教师的可扩展配方，对减少人工标注与日志质量依赖的工业实践有示范作用；也可能推动端到端驾驶研究重心从模仿学习转向闭环交互与教师蒸馏。不过「首次超越人类驾驶员」等表述依赖特定 leaderboard 口径，真实验证只有定性演示，距离量产级安全论证仍有距离。

一、教师与学生的观测空间错位未完全闭合：DriveRL 使用特权结构化状态与真值输入，DriveZero 只在 open-loop 日志帧上蒸馏，学生不进交互环境，因此相机策略没有闭环纠错，蒸馏误差与传感器噪声的复合效应未被量化。二、TTS 依赖教师 critic 与结构化动力学/奖励，无法直接用于相机学生，其收益也只在特权教师上得到验证。三、nuPlan 评测背景车由 IDM 驱动，因此 Self-Play 在基准上收益小，真实世界自我博弈的价值缺少定量基准；真实部署部分只有定性视频、无指标与安全统计。四、消融统一用 ViT-S 与无 SimScale 设置，主表用 ViT-L 与 SimScale，结论外推存在尺度差异；且所有主结果无多次种子或置信区间。五、NAVSIM 是伪闭环，HUGSIM 虽为真闭环但 Hard/Extreme 档位的 HD-Score 仍明显偏低，鲁棒性上限未展示。六、DriveVFM 依赖冻结基础模型的许可与算力，蒸馏成本与数据配比细节有限；PHI-S 统计量、QK-Clip 参数未给全。七、目标增强的意图空间、覆盖密度、合法性与反事实安全性未系统刻画。八、与现有方法的公平比较受输入模态、训练数据规模（是否用 SimScale）与 backbone 容量差异干扰。九、技术报告未经同行评审，未承诺开源代码/权重，可复现性存疑。

一是把闭环信号直接接到相机学生：为图像观测学习价值函数以启用相机侧 TTS，或用渲染/仿真做 DAgger 式迭代蒸馏、甚至相机策略的端到端 RL 微调，消除教师-学生分布漂移。二是扩展 DriveVFM 到时序/视频、LiDAR、occupancy 与更多基础模型教师，并研究多相机融合与几何一致性目标。三是系统研究目标增强：意图采样分布、多样性度量、对安全关键反事实（如让行、变道、绕障）的覆盖，及其在长尾场景的泛化。四是对奖励分解、软指标乘积形式、混合智能体提供者比例做消融，并在奖励真实交互的基准上重新评估 Self-Play 价值。五是补充多次种子、置信区间与跨 backbone 的稳健性报告，发布代码/权重促进复现。六是推进真实车队的定量安全评估、仿真到现实域差分析与事故责任/安全兜底论证，把演示视频升级为可审计的闭环指标。