2026-10-09

本文定位在 Delta-rule 循环状态的训练后量化（PTQ），而非常见的权重或 KV cache 量化。在 Qwen3.8-27B（GDN）与 Kimi-Linear-48B-A3B-Instruct（KDA）等混合线性注意力模型中，循环状态虽不随序列长度增长，但每个并发请求都需持久保存，状态池在并发服务下会成为主要内存瓶颈；直接均匀量化会因误差跨步累积而严重掉点。作者提出 STEPQuant，从“何时累积”（时间维度）与“何处敏感”（空间维度）两个互补角度联合设计：时间上按误差幅值与记忆寿命分配比特，空间上按关键行影响和行列双轴幅度分布做尺度拟合，并集成进 SGLang。相较 Q-Mamba 的 DSQ 和同期 DAMP 的高比特保护路线，本文把可用的循环状态量化推向更低比特，同时给出系统级压缩收益。

循环线性注意力用固定尺寸状态矩阵 S_t∈R^{d_k×d_v} 替代随长度增长的 KV cache。GDN 与 KDA 的更新可写为 S_t=D_tS_{t-1}+β_t k_t(v_t^T-k_t^T D_tS_{t-1})，等价为 S_t=A_tS_{t-1}+B_t，其中 A_t=(I-β_t k_t k_t^T)D_t，B_t=β_t k_t v_t^T，读出头输出 y_t=S_t^T q_t。GDN 采用逐头标量门 D_t=α_t I，KDA 采用逐通道门 D_t=diag(d_t,i)。尽管状态尺寸固定，但每个活跃请求都要维护独立状态，服务系统还可能为缓存与调度预留槽位，因此状态池内存随并发增长，甚至可超过权重内存。 状态量化的难点在于误差反馈：若每步只保存量化后的近似状态 Ŝ_t，则更新为 X_t=A_tŜ_{t-1}+B_t，读头 ŷ_t=X_t^T q_t，再写回 Ŝ_t=Q_t(X_t)。上一轮量化误差会进入下一轮状态，而新一轮量化又注入新误差。论文从两个维度解释这一失败：时间上，误差经门保留与 Delta 修正传播，长寿命记忆中的误差会跨多步存续；空间上，相同范数的误差落在不同 key 行对输出的影响不同，且状态幅度沿 key 行与 value 列都出现显著异常值，单轴缩放不足以同时刻画。相关工作包括 Mamba 状态缓存量化（Q-Mamba 的 DSQ）与同期 DAMP 的衰减持久性保护方法，但针对 GDN/KDA 循环状态的低比特量化仍不成熟。

STEPQuant 由时间维度的 Lifetime-aware Bit Allocation 与空间维度的 Key-Row-Aware Dual-axis Fitting 构成，二者离线校准、解码时固定，不引入逐 token 分配开销。 一、误差传播与时间维度。令 E_t=Ŝ_t-S_t 为累积误差，ε_t=Q_t(X_t)-X_t 为第 t 步新注入的量化误差，则 E_t=A_tE_{t-1}+ε_t，且 ŷ_t-y_t=E_{t-1}^T A_t^T q_t。在 ‖k_t‖≤1、β_t∈[0,1]、0⪯D_t⪯I 条件下，‖A_t‖≤‖D_t‖≤1，转移非扩张。误差衰减有两个来源：门 D_t 先对上一轮误差整体衰减；Delta 修正 (I-β_t k_t k_t^T) 再消除误差沿当前 key 方向的分量，而正交于 key 的分量不受 Delta 修正影响。因此，若保留门接近 1，且后续 key 很少对齐，误差主要靠门衰减，可长期存续。这给出“记忆寿命是量化风险关键预测变量”的直觉。 二、Lifetime-aware Bit Allocation。分配单元 u 在 Qwen 中为整个 head，在 KDA 中为一个 key 行。校准阶段对每个单元估计 b 比特重构失真 d_u(b)，并计算平均对数保留 ℓ_u=E[log r_{t,u}]（GDN 用 α_t，KDA 用 d_t,i）。近似认为 j 步后的误差保留因子为 exp(jℓ_u)，平方误差按 exp(2jℓ_u) 衰减，于是定义寿命权重 L_u=Σ_{j=0}^{H-1} exp(2jℓ_u)。给定平均比特预算，通过最小化 Σ_u L_u d_u(b_u)，约束 Σ_u n_u b_u≤b̄Σ_u n_u，从候选比特集选择各单元位宽。目标函数同时惩罚“误差大”和“寿命长”的单元，使其获得更高精度。对极少数仍难量化的高风险单元，保留为 FP16 稀疏 pivot，与整数单元分开存储。 三、空间维度：行影响与双轴几何。读头误差可分解为 Δy_t=Σ_i (A_t^T q_t)_i E_{t-1,i,:}^T。令 g_t=A_t^T q_t，行影响分数 ω_i=E_cal[g_{t,i}^2]，表示 key 行 i 上单位误差对下一步读头平方误差的贡献。校准实验按 ω_i 分组做单组低比特扰动，验证高影响组带来的困惑度损失更大。此外，状态矩阵在 key 行和 value 列两个方向都出现大幅异常值，且随解码持续存在，因此单轴缩放不够。 四、Key-Row-Aware Dual-axis Fitting。将状态表示为 X̂_ij=r_i c_j z_ij，其中 r_i 是 key 行尺度，c_j 是 value 列尺度，z_ij 是低比特整数。行尺度 r_i=m_i^{1/2} w_i^{-1/2}，m_i=(1/d_v)Σ_j|X_ij| 刻画当前行幅度；w_i=ω_i^{γ/2}/GM_k(ω_k^{γ/2})（γ=0.25）是行影响的几何均值归一化因子。直觉是：行幅度越大，需要越宽的量化范围；行影响越高，需要越细的量化分辨率（更小尺度）。给定行尺度后，列尺度 c_j 通过最小化 Σ_{i,j} w_i^2 (X_ij-r_i c_j z_ij)^2 拟合，误差按 w_i^2 加权，使高影响行获得更高重建精度。KDA 的行影响在原生坐标下计算：g_t,i=d_t,i[q_t,i-β_t k_t,i(k_t^T q_t)]；其整数编码还使用固定归一化 z_ij=2^{8-b_i}q_ij，列尺度有闭式加权最小二乘更新，pivot 行不参与共享列尺度拟合。量化时对 X_ij/(r_i c_j) 按单元位宽取最近可表示整数，再乘回双轴尺度重建。 五、数据与实现细节。校准使用少量 WikiText-2 训练片段（每段 2048 token），用于估计失真、平均对数保留、行影响分数与 pivot。Qwen 的失真 d_u(b) 是按行影响加权的逐元素重建 MSE，KDA 的失真为无加权的逐元素 MSE，并每若干次更新采样一次状态。比特分配在 Qwen 用多重选择动态规划，在 KDA 用 Lagrangian 分配；候选位宽随预算取低比特集合。解码端实现为 packed-state kernel：融合分块状态重建、Delta 更新与当前读头，避免整状态额外遍历；双轴拟合与打包写回在独立 CUDA stream 上与后续层计算重叠，使状态在 token 间保持压缩。

在两个混合 Delta-rule 模型上，用 SGLang 与 GPU 评估长生成推理和短生成理解任务，基线与全精度状态及均匀整型状态量化对比，并引入 Q-Mamba 的双轴状态量化作为空间基线。实验覆盖低比特与更低比特两档预算、AWQ 量化权重组合、组件消融、生成长度以及服务内存和状态更新时间。总体结论是：STEPQuant 在低比特预算下贴近全精度状态，在更低预算下仍优于均匀高比特基线；空间拟合、时间分配与 pivot 保护具有互补增益；系统级内存和更新时间显著下降。

1. 官方SGLang部署中，Qwen的FP32状态池在70个并发请求时超过BF16权重的内存占用，说明并发下状态池成为主要内存瓶颈。

   the FP32 state pool of Qwen exceeds the memory footprint of its BF16 weights at 70 supported concurrent requests, as shown in Fig. 1 (a).

2. 均匀量化在低比特下显著破坏精度：4和6比特平均准确率急剧下降，8比特仍存在明显差距。

   Fig. 1 (c) shows that mean accuracy drops sharply at 4 and 6 bits on both models, and a clear gap remains even at 8 bits.

3. 在均匀6比特状态量化下，Qwen与KDA的寿命-状态误差全总体Spearman相关分别为0.8004和0.8017。

   Full-population Spearman correlations are 0.8004 and 0.8017, respectively.

4. 七个长生成任务上，6比特STEPQuant在两个模型上贴近FP32状态，平均准确率远高于均匀INT6。

   STEPQuant achieves mean accuracies of 80.59% on Qwen and 61.47% on Kimi, whereas uniform INT6 reaches only 45.04% and 45.70%, respectively.

5. 短生成任务上，4比特STEPQuant与FP32仅差0.15和0.25点，而均匀INT4大幅退化甚至无法产生有效答案。

   Here, 4-bit STEPQuant trails FP32 by only 0.15 points on Qwen and 0.25 points on Kimi, whereas uniform INT4 degrades sharply and can fail to produce valid answers even on short tasks.

6. 结合4比特AWQ权重时，6比特STEPQuant的七任务平均准确率相较FP32状态基线仅低0.05和0.33点。

   6-bit STEPQuant achieves seven-task average accuracies of 79.27% on Qwen and 58.62% on Kimi, only 0.05 and 0.33 points below their corresponding FP32-state baselines, respectively.

7. 消融表明，4比特下空间拟合显著优于DSQ，Qwen三项平均为73.95%对7.64%。

   At 4 bits, our spatial fitting substantially outperforms DSQ on Qwen (73.95% vs. 7.64%), with consistent improvements at 6 bits.

8. 仅保护1.39%的Qwen heads作为FP16 pivot，即可使4比特三项平均提升6.70点、6比特AIME提升14.16点。

   Protecting only 1.39% of Qwen heads with FP16 pivots improves the 4-bit three-task average by 6.70 points and the 6-bit AIME accuracy by 14.16 points.

9. Qwen在批大小512下，6比特STEPQuant将总服务内存从419.73 GiB降至131.18 GiB，减少68.7%。

   At a batch size of 512, STEPQuant@6bit reduces total memory from 419.73 to 131.18 GiB, a 68.7% reduction.

10. Qwen状态内存压缩80.1%（5.03×），状态更新时间降低65.6%（2.91×加速）。

    Fig. 3 (d) shows that STEPQuant@6bit reduces recurrent-state memory by 80.1% (5.03 × \times compression) and state-update time by 65.6% (2.91 × \times faster).

11. KDA在批大小512下，6比特STEPQuant将总服务内存从149.70 GiB降至69.36 GiB，减少53.7%。

    STEPQuant@6bit reduces total serving memory from 149.70 to 69.36 GiB (53.7%) at a batch size of 512.

12. KDA状态内存从100.04 GiB降至19.70 GiB，压缩80.3%；状态更新时间从8.48 ms降至4.76 ms。

    memory consumption decreases from 100.04 to 19.70 GiB (80.3%, 5.08 × \times compression), while state-update time decreases from 8.48 to 4.76 ms (43.9%, 1.78 × \times faster).

Novelty：新意中等偏上。论文的贡献不在于发明全新的量化原语，而在于把循环状态量化风险清晰地拆成“时间寿命”与“空间行影响”两个互补维度，并据此组合混合精度分配与双轴尺度拟合。相比 Q-Mamba 的 DSQ（面向 Mamba 状态缓存）和同期 DAMP 的 FP16 保护加高比特路线，本文针对 GDN/KDA 的 Delta 更新误差反馈机制给出专门校准，并把可用工作点推到更低比特。单项技术（按敏感度混合精度、平滑缩放、双轴量化、稀疏 pivot）在 LLM 权重量化中并不新，因此主要新意是问题刻画与面向循环状态的联合设计。 Soundness：论证总体扎实。方法有命题刻画误差递推，空间部分有一阶读头误差的 Gram 矩阵解释与受控注入/分组量化实验支撑；实验覆盖两类架构、长/短任务、权重量化组合、组件消融与系统效率，消融能区分空间拟合、时间分配和 pivot 保护的贡献。主要不足是比较基线偏少（主要是均匀量化与 DSQ），缺少重复实验的方差/误差条，寿命权重对时变且依赖 key 的状态转移做了近似，校准与部署条件固定；这些作者在局限性中亦有承认。 Significance：实践意义明显。循环状态在并发服务下可成为主内存瓶颈，该方法直接缓解部署中的状态池内存与更新时间问题，且已集成进 SGLang，对采用 GDN/KDA 的混合模型有直接参考价值；同时说明循环状态可以低比特量化而不必停留在高比特保护。局限是外部效度仍限于两个模型、固定硬件与固定负载，需更多架构与动态服务场景验证。

作者在附录中承认：寿命权重只用门衰减近似误差持久性，没有完整建模时变、依赖 key 的状态转移，因此无法完全捕捉量化误差的长期效应。低比特预算下，KDA 在长生成任务上仍有精度损失，Qwen 则可能出现输出变长但平均准确率接近的现象。评估覆盖两个 GDN/KDA 模型与固定硬件、固定工作负载，校准统计来自固定语料并在离线固定，缺少对动态并发、请求长度分布和分布外输入的鲁棒性证据。双轴拟合与 pivot 选择缺乏严格最优性保证，且需按架构重新校准；系统收益也只在与所测设置相近的部署条件下得到验证。

后续可沿四个方向推进。第一，用更准确的转移模型或二阶 Gram 矩阵替代门衰减寿命权重，显式建模 Delta 修正对误差方向的选择性抑制。第二，将离线固定的比特分配与 pivot 选择改为按请求、按层或按动态内存预算的自适应策略，并研究状态压缩与调度、缓存策略的协同。第三，扩展到更多循环/混合架构（其他 GLA、SSM、滑动窗口注意力）及更长序列、更极端分布，检验校准统计的迁移性。第四，联合权重、激活与状态做全栈量化，并建立更紧的误差界与自动化校准流程，进一步降低系统集成成本。

本文提出 UniWAM，一种"统一世界-动作模型"，试图弥合两类机器人基础模型的短板：VLA 语义理解/推理强但对世界动力学接地不足，WAM 时空先验强但 OOD 泛化与复杂推理受限。论文把 VLM 物理推理器、VGM 世界生成器与动作预测器放进同一 Mixture-of-Transformers 架构，通过联合注意力同时学习语义理解、视觉生成与动作预测。其定位不是单纯改造视频生成骨干，也不是单纯做语言-动作联合，而是以"三源预训练 + 组件化监督分配"为核心：VQA 保语言、人类自我中心数据教物理、机器人数据教精确动作。另有两个后训练设计（未来视觉加噪、历史条件流匹配）用于减少去噪步数，并报告人机共训练的对数线性标度律。整体是一篇以系统整合与规模化实证为主的工作，创新点在训练配方与效率技巧，而非全新架构。

VLA 建立在 VLM 之上，能继承大规模预训练的语义能力，但仅用动作做监督信号会限制其对世界动力学的理解；WAM 通常建立在视频生成模型上，从大规模视频预训练继承时空先验，通过预测下一帧获得稠密监督，却在 OOD 场景和复杂任务推理上仍然有限。相关工作分两支：大规模机器人预训练（RT-2、OpenVLA、π0/π0.5、GEN-0、Xiaomi-Robotics、Galaxea、Motus 等）大多强调语言-动作或视频-动作的联合建模；世界-动作模型（DreamZero、Cosmos Policy、Fast-WAM、GigaWorld-Policy、4D-WAM、MobileWAM 等）主要解锁视频生成模型的能力，或把生成骨干仅当推理期表示编码器。UniWAM 的差异化在于把 VLM、VGM、动作专家放进同一框架并用互补数据与监督优化。论文将预训练难点归纳为三点：适应 VLM 到具身任务时不能破坏其语言能力；异构数据/目标在多个 expert 之间会产生优化冲突，需要为每个 expert 设计合适的监督；大规模异构训练对数据质量要求极高。数据规模约 10013 小时，其中机器人数据 4958 小时（AgiBot World、Bridge、Droid、Fractal、Robocoin、Interdata-A1）、人类自我中心数据 5072 小时（EgoVerse、EgoDex、VITRA），另有约 829 万 VQA 对用于语义与具身推理监督。

【整体架构与联合分布】UniWAM 采用 Mixture-of-Transformers（MoT）：物理推理器来自 Qwen3-VL-2B-Instruct，以当前观测 o_t 和指令 I 为条件，保留语言头做自回归生成；世界生成器来自 Wan2.2-TI2V-5B，在冻结自编码器的潜空间预测未来视觉 flow，当前观测潜变量保持干净；动作预测器嵌入动作 chunk、位置信息与当前状态编码 s_t，预测连续 flow 场。模型学习式(1)的联合分布 p_θ(y, o_{t+1:t+h}, a_{t+1:t+h} | o_t, s_t, I)，其中 y 是物理语言 token 或答案 token。三者的关键交互是跨模态联合注意力：每个 modality m∈{u,v,a} 的 token X_m^ℓ 经过各自归一化（视频、动作再加 timestep 调制）后投影到公共注意力空间的 Q_m、K_m、V_m（式2）；每个注意力头沿 token 维拼接 [Q_v; Q_a; Q_u]，做 softmax(QK^T/√d + M)V（式3），输出再按 modality 切回各自的投影、残差连接与 FFN。这个设计让动作 token 同时读取语义上下文和正在演进的视觉预测，又不牺牲模态专属处理。 【物理语言监督】为在动作监督中保留 VLM 预训练能力，论文把末端执行器运动用自然语言描述（沿用 LAP 思路）：固定坐标约定和结构化模板把连续动作确定性写为文本。式(4)是语言自回归损失，只在 answer token 上计算。人类与机器人数据都施加该监督：任务指令是总体目标，物理语言 target 描述当前观测对应的局部行为。模板把平移按厘米取整、旋转按 10 度取整，映射为 move forward/back、move up/down、move left/right 以及 roll/pitch/yaw 的倾斜/旋转描述，夹爪按最后值给 open/close，双手机器人加 "Left arm:/Right arm:" 前缀。共享模板在人与机器人 embodiment 之间提供一致的局部动作语义，与连续动作监督互补。 【预训练目标与监督分配】视觉与动作都用 flow matching：预测速度场 u_θ^v、u_θ^a，目标速度是 source 与 clean target 之差 (Z_t^1 − Z_t^0)、(A_t^1 − A_t^0)（式5）。A_t^0 是目标动作 chunk a_{t+1:t+h}，Z_t^0 是未来视觉潜变量；独立采样 τ_a、τ_v，构造插值 A_t^{τa}=(1−τa)A_t^0+τa A_t^1 与 Z_t^{τv}=(1−τv)Z_t^0+τv Z_t^1。视觉变量只覆盖未来帧，条件观测 o_t 不参与视觉 loss。预训练阶段两个 source 都是高斯噪声，生成方向从 source(t=1) 到 clean(t=0)。总目标式(6)为 w_a L_act + w_v L_v + L_lang，附录给出实际权重比为 1:1:0.1。监督分配的直觉是：VQA 只监督 VLM，用于维持预训练知识；人类数据监督 VLM+VGM，利用其中的物理知识但避开低精度动作标签；机器人数据与下游后训练物理一致性最高、动作标注最准，因此监督 VLM、VGM 和动作预测器三者，学习精确动作输出。 【数据清洗流水线】机器人数据从三个视角筛选。时间/统计可靠性：用级联中值滤波 + Savitzky–Golay 平滑构造参考，残差超阈值且加速度或 jerk 也超阈值的点判为异常；对状态与动作的共享维度做互相关估计相对时延并补偿，再用一阶差分的方向一致性拒绝低质量 episode；按每维百分位 [q01−α(q99−q01), q99+α(q99−q01)] 剔除离群值，夹爪维度因其离散/双峰分布被排除。几何一致性：有可靠关节量、机器人模型与 EEF 语义时，用正运动学校验关节状态与记录的 EEF 位姿，检测关节角约定、TCP 定义、旋转表示或基座假设的不一致；对坐标语义明确的数据做刚体校正统一到"正 x 为前进方向"。视觉有效性：去掉黑帧、损坏、严重模糊与长时间静止帧，用视觉/状态/动作信号联合识别静止段，但保留夹爪闭合等交互关键帧。人类数据方面，EgoVerse 与 VITRA 已有子任务级标注，EgoDex 用自研 EgoANT 自动标注：先以 0.5s 采样组织成带时间戳的 contact sheet（每页最多 20 帧），VLM 单遍全 episode 预测粗边界（规则强调 pick/place/open/pour 等对象状态变化，而非接近动作或手部撤回），再做局部窗口细化以修正边界并可拆分欠分割提议；随后固定时间边界生成描述，通过 raw-frame、FFmpeg 解码路径、seed/prior 条件等生成多个候选描述，最后由语言模型选择器只依据候选文本选出符合 completed-action 规范的描述。最后把子任务区间与自我中心帧、头部相机位姿、双手腕轨迹对齐，手腕轨迹变换到条件时刻头部相机坐标系并固定，拼接左右手 3D 位置+四元数得到 14 维人手运动表示。 【后训练：未来视觉加噪】联合注意力可能使动作预测过度依赖近乎干净的未来潜变量，而推理时这些未来视觉并不可靠。因此后训练中以每样本 0.5 概率对插值后的视觉输入 Z_t^{τv} 再扰动：Z̃_t^{τv} = s_aug Z_t^{τv} + (1−s_aug) ε_v，s_aug~U(0.5,1)，ε_v~N(0,I)（式7）；当前观测潜变量保持干净，原始 flow 目标与 timestep embedding 不变。直觉是迫使动作专家从粗糙视觉表示中提取控制相关语义，而不是依赖精确未来预测，从而加强视觉生成与动作预测之间的信息传递。 【后训练：历史条件流匹配】动作 flow 的 source 不再使用高斯噪声，而是用已执行动作 chunk A_{t−1}=a_{t−h+1:t} 加小扰动：A_t^1 = A_{t−1} + ε_a，ε_a~N(0, η²I)，η=0.02（式8）。插值为 A_t^τ=(1−τ)A_t^0+τ A_t^1，目标速度 u_t^a=A_t^1−A_t^0（式9）。直觉是历史动作编码了动力学与时间连续性，将其映射到高维潜空间初始化 flow，使生成从"接近答案"的起点开始，用历史运动引导未来轨迹，因此只需 2–4 步即可获得高质量动作；视觉 source 仍是高斯噪声。 【实现细节】三个 expert 各 30 层；世界生成器隐藏维度 3072、24 个注意力头；物理推理器 512、动作预测器 1024；使用 14 维机器人状态/动作，预测 8 帧 384×320 未来帧，动作 chunk 长度 16。预训练在 32 块 H800 上跑 7 天；RoboTwin 后训练 batch size 40、200K 步、AdamW lr 5e-5、weight decay 0.01、200 warmup、梯度裁剪 0.5、bf16；LIBERO 与 RoboTwin 后训练分别用 8 块 H800 跑 20 与 12 小时；推理使用 2–4 步 flow 积分。

实验分为模拟与真实机器人两部分。模拟在 LIBERO（分布内）与 RoboTwin 2.0 Clean2Clean（C2C）评测分布内能力，在 LIBERO-Plus 与 RoboTwin 2.0 Clean2Rand（C2R）评测 OOD 鲁棒性与泛化；对比大量 VLA 与 WAM 基线。真实世界在双手机器人平台上评估指令跟随与长程任务，对比 Motus 与 π0.5。另有数据规模分析报告人机共训练的标度律与表示重叠，以及三组消融：多源预训练数据组合、VLM 训练策略（解冻与物理语言监督）、动作生成策略（历史初始化 A2A 与未来视觉加噪）。总体结论是 UniWAM 在多数聚合指标上取得最高成绩，人机共训练随数据量呈现对数线性收益，A2A 以更少去噪步数优于噪声初始化。注意：本段按约定不写具体数字，全部定量数值见下列 claim+quote 对。

1. 在 LIBERO 标准分布内评测上，UniWAM 平均成功率超过此前最佳基线 Xiaomi-Robotics-0。

   UniWAM achieves an average success rate of 99.2% on the standard LIBERO benchmark, outperforming the previous best-performing baseline, Xiaomi-Robotics-0, by 0.5%.

2. 在 LIBERO-Plus 的 OOD 评测上，UniWAM 总成功率是所列方法中最高的。

   UniWAM achieves an overall success rate of 92.6% on LIBERO-Plus, the highest reported value among the listed methods.

3. LIBERO-Plus 分维度上，UniWAM 在 robot、language、light、background 扰动下均报告最高成功率。

   At the dimension level, UniWAM has the highest reported success rates among the listed methods under robot (89.5%), language (92.2%), light (97.9%), and background (97.6%) perturbations.

4. RoboTwin 2.0 C2C（干净到干净）上 UniWAM 取得较高成功率，展示有限数据下的双臂能力。

   Table 5 shows UniWAM also achieves a high success rate of 75.14% in RoboTwin 2.0 C2C.

5. RoboTwin 2.0 C2R（干净到域随机化）上 UniWAM 成功率是表中所列方法的最高值。

   UniWAM achieves a success rate of 68.32%, the highest reported value among the methods listed in Table 5 .

6. UniWAM 从 C2C 到 C2R 的成功率跌幅远小于 π0.5 与 Spatial Forcing，说明泛化衰减更小。

   Its success rate decreases by only 6.82 percentage points from C2C to C2R, compared with 24.70 and 50.46 percentage points for π 0.5 \pi_{0.5} and Spatial Forcing, respectively.

7. 真实世界四个指令跟随任务上，UniWAM 的平均成功率与指令跟随率均显著超过 π0.5。

   Averaged over the four tasks, UniWAM achieves a success rate of 67.5% and an instruction-following rate of 82.5%, outperforming π 0.5 \pi_{0.5} by 13.1 and 21.9 percentage points, respectively.

8. 在需要同时接地对象与交互动词的 Diverse-Interaction 任务上，UniWAM 把成功率与指令跟随率从 π0.5 的水平大幅提升。

   On Diverse-Interaction, where the policy must jointly identify the target object and infer the intended interaction, UniWAM improves the success rate from 40.0% to 72.5% and the instruction-following rate from 50.0% to 80.0%.

9. 长程整理任务上 UniWAM 的任务进度高于 π0.5 与 Motus，表现出更强的持续执行能力。

   UniWAM achieves an average Task Progress of 5.0, compared with 4.8 for π 0.5 \pi_{0.5} and 3.2 for Motus, indicating stronger sustained execution over long-horizon manipulation sequences.

10. 随机器人数据量从 250 小时增至 5k 小时，平均任务完成率单调上升且未见饱和。

    Average task completion rises monotonically from 0.35 at 250 hours to 0.67 at 5k hours, with no signs of saturation in the explored regime.

11. 验证损失随数据规模呈对数线性关系，拟合优度接近 1。

    The fitted curve achieves an R 2 ≈ 0.983 .

12. 消融表明在机器人+人类混合上加入 VQA 后取得所有变体中最高的 C2C、C2R 与平均成功率。

    Adding VQA to the robot–human mixture yields the highest reported success rates among the evaluated variants: 75.14% in C2C, 68.32% in C2R, and 71.73% on average.

Novelty：新颖度中等偏工程。架构层面是 MoT、LAP 物理语言、flow matching 的既有组件组合，单点新意有限；相对 Motus 等 WAM，论文自己承认"相似之处在解码器层结构，差异在训练配方、数据组成与整体能力"。真正有增量价值的是三处：其一，把 VLM 语义 + VGM 动力学 + 动作预测放在同一联合注意力下的三源互补监督配方，并系统消融各数据源；其二，未来视觉加噪与历史条件流匹配这两个后训练技巧，后者把 A2A 生成与 flow matching 结合并显著降步数，是较实用的设计；其三，人机共训练对数线性标度律的实证，具有社区层面的参考价值。总体看，这是"系统整合型"创新而非"机制型"创新。 Soundness：结论大体有多个基准支撑，但若干关键证据偏弱，需谨慎采信。第一，标度律只用了 250/500/1k/2.5k/5k 小时五个数据点，R² 在五个点上接近 1 不足以确立"law"，也没有多种子或跨 embodiment 的稳健性检验；"小尺度人类数据有害、1k 小时起才有益"的结论同样只建立在五个点上。第二，真实世界评估每个任务 40 trials、仅两个 baseline、单一平台，无方差或统计显著性；IFR 的判定（如拿错杯子即算失败）虽有定义，但未报告一致性或人工/自动判定细节。第三，消融以柱状图呈现，无种子重复或置信区间。第四，C2C 上 75.14% 并非表中最强（OpenWAM-α 为 89.4），平均 SOTA 主要由 C2R 优势拉动，论文对 C2C 的措辞较克制，但"state-of-the-art across multiple evaluations"的总体表述需结合这一事实理解。第五，物理语言模板将厘米取整、旋转取 10 度量化，与"连续动作任意精度"的说法有张力，且它与连续 flow 的双轨关系未做单独消融。总体而言，方向合理、设计与实现完整，但标度律与真实世界结论的证据强度应视为初步。 Significance：对机器人基础模型社区有一定启示意义。首先，它证明语义推理、视频生成与动作预测可以在单一 MoT 中共同优化且相互增益，为"VLM + VGM + policy"路线提供了较完整的训练模板；其次，对数线性标度律（若后续被更严格验证）对预训练数据投入与混合配比有直接指导价值；第三，历史条件流匹配与未来视觉加噪属于可迁移的工程技巧，2–4 步推理即可超过十步噪声初始化，对部署效率敏感的场景有实际意义。但显著性受制于：多数数字绑定特定评测协议（尤其 RoboTwin 的 C2R 优势与真实世界仅两 baseline 的对比），跨机构可复现性未验证；且论文未展示失败模式与安全边界。整体是"有影响力的系统实证 + 值得跟进的标度律假设"，而非范式级突破。

其一，标度律证据薄弱：仅五个数据点、单次拟合，缺多种子、缺跨平台/跨数据源配比的对照，"对数线性 scaling law"应视为假设而非已确立定律；"小数据下人类数据有害"的交叉现象也需要更大密度采样确认。其二，真实世界实验规模小：每任务 40 trials、两个 baseline、单一 AgileX Piper 平台，无显著性检验、无多平台/多场景泛化验证，长程任务只设计了单一"整理桌面"场景且 Task Progress 的里程碑判定具有一定主观性。其三，C2C 分布内成绩并非最强，平均 SOTA 依赖 C2R 优势；论文未充分解释为何在干净数据上落后于 OpenWAM-α 等，也未在统一协议下与 GigaBrain、Kairos 等最强基线做全维度对比。其四，物理语言模板的量化（厘米取整、旋转 10 度取整）与"任意精度连续动作"表述存在张力，且物理语言监督、连续动作流、VQA 三者的消融未完全解耦。其五，数据清洗流水线（尤其是 EgoANT 的配置与备选方案评估）主要放在附带的 EgoANT report，正文证据有限，读者难以独立判断其贡献。其六，计算成本高（预训练 32×H800 七天），消融的成本控制、种子鲁棒性与失败模式均未报告。其七，对部署相关指标（动作频率、端到端延迟、不同 flow 步数下的实时性、异常恢复）讨论不足。

后续值得推进的方向：1）用更多数据点（包括中间密度与更大规模）、多种子、多 embodiment 重新检验并证伪/确认人机共训练标度律，明确其适用范围与饱和点；2）在统一评测协议下与 OpenWAM-α、GigaBrain、Kairos、X-WAM 等做 C2C/C2R 及 LIBERO-Plus 的全维度公平对比，特别回答"为什么 C2C 落后但 C2R 领先"；3）把物理语言监督与连续动作流解耦消融，研究语言量化粒度（取整尺度）对精度与语义对齐的权衡，以及只用其一时性能如何变化；4）检验未来视觉加噪与历史条件流匹配是否可移植到其他扩散策略/WAM 骨干，量化 2–4 步 A2A 的误差-效率曲线；5）从机制上验证图 8 的人机表示重叠与 OOD 增益的因果关系，例如用探针或干预实验；6）扩展世界生成器的表示域（几何/4D 或推理期仅作 encoder），观察与语义/动作专家的增益是否持续；7）在真实世界增加多平台、多任务、更多 trial 与统计检验，定义更客观的长程进度指标，并报告失败模式、安全边界与部署延迟。

本文提出 GRACE（Generation-Aware Latent Compression for Efficient Video Generation），属于视频扩散模型的潜在空间压缩与预训练管线高效适配方法。它不从头训练高压缩视频自编码器，也不把陌生潜在空间强加给预训练 DiT，而是对已有的 Wan2.1 自编码器–DiT 管线做“压缩+再对齐”：保留冻结编码器产出的 base 潜在，学习 residual 潜在补齐压缩损失，在冻结 DiT 特征空间里监督压缩，再用 LoRA 与不对称去噪轻量适配 DiT。其位置处于高效视频生成、视频自编码器压缩、潜在空间可学习性（latent shaping）与预训练 DiT 适配（如 DC-Gen）的交叉点，核心主张是“重建质量≠生成质量”，因此压缩过程应由生成模型自身来监督。

视频扩散模型的生成质量已很高，但计算开销仍是主要瓶颈。成本主要由 DiT 处理的 token 数决定，注意力随序列长度二次增长；token 数又取决于视频自编码器潜在量的时空分辨率，因此提高压缩比是最直接的加速途径。然而 token 越少，潜在表示容量越低，重建质量会明显下降。此前工作通过增大每个 token 的通道数来保住重建，但高维潜在会损害生成质量、收敛更慢，且通常要重训自编码器。直接复用开源高压缩自编码器（如 Video DC-AE）则把适配负担转嫁给预训练 DiT，后者要适应一个从未见过的潜在空间，Open-Sora 2.0 甚至报告在 160 GPU 上仍未完全收敛。给预训练自编码器加轻量压缩块看似能保持兼容，但仅优化重建会使其潜在分布偏离 DiT 已学到的分布，生成质量仍会下降。GRACE 的关键洞察是：预训练自编码器与 DiT 已经构成一条良好对齐的生成管线，压缩时应当反过来利用这种对齐来监督压缩本身，从而同时缓解“高效复用预训练知识”和“缩小重建–生成差距”两个挑战。

总体框架。GRACE 是两阶段训练框架。Stage 1 把预训练自编码器微调为“冻结 base + 可学习 residual”的双潜在，并用冻结 DiT 做生成感知对齐；Stage 2 冻结自编码器、轻量适配 DiT，对 base 与 residual 做不对称去噪。骨干是 Wan2.1：潜在由 f8t4p2 压缩到 f16t8p2，空间降采样 r_s=2、时间子采样 r_t=2，residual 通道 C'=16；I2V 用 Wan2.1-I2V-14B、T2V 用 Wan2.1-T2V-14B，两阶段均在 Panda-70M 上训练。 Stage 1 的双潜在表示。设预训练编码器为 E，它只按固定因子 f、t 压缩。为达到更高压缩比，GRACE 不改动 E 内部，而是先把输入空间上双线性降采样 r_s、时间上隔帧子采样 r_t，得到低分辨率输入 x_low，再送入冻结的 E：z_base = E(x_low) ∈ R^{C×(1+L/(t·r_t))×H/(f·r_s)×W/(f·r_s)}。base 潜在继承了预训练表示，锚定在 DiT 熟悉的潜在空间，使 Stage 2 需要适配的东西更少；但它丢掉了降采样之前就消失的空间细节与帧间运动，重建能力受限。于是引入 residual 编码器 E_res（以预训练权重初始化），输入全分辨率视频，输出 C' 个额外通道：z_res = E_res(x) ∈ R^{C'×(...)}。E_res 在中间块与 head 之间多加一个下采样块以匹配 base 的时空尺寸，并配一个无参数捷径：把空间和时间折叠进通道（借鉴 DC-AE 的 residual autoencoding），对通道分组求平均后与下采样块输出相加，使该块只需学习残差。两个潜在沿通道拼接为 z=[z_base; z_res] ∈ R^{(C+C')×(...)}。这种分离让潜在更有组织：base 承载整体场景，residual 承载被降采样删掉的细节和运动，先验工作发现这有利于高维潜在的生成。解码器 D̂ 把输入卷积从 C 扩到 C+C'，残差通道零初始化，使训练从预训练重建质量起步；I2V 中把首帧经 E_res 编码后的中间特征通过门控交叉注意力注入 D̂，恢复压缩潜在带不动的首帧细节。 Stage 1 的生成感知对齐。只做双潜在与重建损失还不够：residual 通道只被 L_recon 驱动，没有直接考虑 DiT 能否学得动这个潜在。GRACE 在冻结 DiT 的特征空间里比较压缩潜在与预训练潜在，对二者施加共享的 τ（取自预训练调度）和独立采样的 ε 噪声。对预训练潜在，用冻结 E 编码全分辨率视频得到 z_pre，patchify 后经原始输入投影 W_in 进入 transformer，取第 l 层特征 h_pre^l = v_θ^l(z_pre,τ,τ,c)。对压缩潜在 z，使用 v_θ,+：它与 v_θ 共享冻结的 transformer 主体，只把输入投影沿通道轴扩展为带零初始化 W_in^res 的版本以处理 residual 通道。由于该分支运行在更低的潜在分辨率，特征 token 更少，因此先 reshape 回时空网格、三线性上采样到全分辨率网格，再过零初始化的逐层残差投影 P_l：ĥ_cmp^l = interp(h_cmp^l) + P_l(interp(h_cmp^l))。对齐损失为 L_align = Σ_{l∈S}[1 − sim(h_pre^l, ĥ_cmp^l)]，sim 是对 token 求平均的余弦相似度，S 取 40 个 DiT 块中的前 10 个。z_pre 的特征保持固定，因此 L_align 只优化压缩表示。由于 L_align 与 L_recon 尺度不同，GRACE 用二者相对 E_res 最后一层卷积的梯度范数之比作为自适应权重：L = L_recon + w_adaptive·L_align，w_adaptive = ‖∇L_recon‖/‖∇L_align‖，避免手工调权。直觉上，这一项把“重建出来的潜在好不好”换成“DiT 眼里像不像原来的潜在”，使压缩不会悄悄漂移出 DiT 的分布。 Stage 2 的 DiT 适配。自编码器冻结后，压缩潜在多了 C' 个未见通道。GRACE 把 DiT 的输入/输出投影从 C 扩到 C+C'，新增通道零初始化，使适配从预训练行为开始；mask 宽度随时间压缩因子翻倍，旧通道复制预训练权重。RoPE 索引按 r_s（空间）和 r_t（时间）缩放，恢复压缩后 token 在视频中的原始间距。对 transformer 块施加 LoRA（注意力、FFN 的线性层，I2V 的图像交叉注意力 K/V 投影），并完全微调输入投影、输出头与新增调制投影，保持低适配成本。训练目标是对 base 与 residual 分别计算的 flow matching 速度损失的平均。 不对称去噪。核心思想是让 base 始终领先 residual：base 先被去噪到更干净、更确定，residual 再在一个稳定底座上恢复缺失信息。训练时每个视频采样 base 领先偏移 δ ~ U(δ_min, δ_max) 和调度时间 û ~ U(0,1+δ)，令 u_base = max(û−δ, 0)，u_res = min(û, 1)。u=1 表示纯噪声、u=0 表示干净潜在，因此 base 永远比 residual 更干净。由 u 换算成噪声级 τ_base、τ_res，分别加噪：z_τ = [(1−τ_base)z_base + τ_base·ε_base; (1−τ_res)z_res + τ_res·ε_res]。采样 δ 而非固定 δ，使一个模型学会任意偏移下的行为。两个时间步共享 φ，但走两条调制路径：m = W_mod·φ(τ_base) + W_mod^res·φ(τ_res)，W_mod^res 零初始化，因此适配开始时接近预训练行为。DiT 输出 [v̂_base, v̂_res] = v_θ(z_τ, [τ_base, τ_res], c)。推理时固定 δ=0.15，在 û ∈ [0, 1+δ] 上跑同样采样步数；base 与 residual 在同一个前向里一起去噪，而非先后两次，因此函数评估次数不变。共享调度在运动大的地方会破坏面部细节，而不对称调度能恢复。 训练与数据细节。自编码器分两阶段训练：阶段一在 256×256×81 更新 E_res、D̂ 以及 W_in^res、P_l，其余 DiT 参数冻结；阶段二升到 512×512×81，只训 D̂（借鉴 DC-AE 的解耦高分辨率适配），E 全程冻结。L_align 只在阶段一施加。优化用 AdamW（lr 8e-5/4e-5，bf16，批大小 32/64），L_recon 为 L1(1.0)+LPIPS(3.0)+KL(3e-6) 的加权和；对齐深度 10，P_l 瓶颈 16 通道，新增模块用 1e-4 学习率。DiT 侧输入维 I2V 为 72、T2V 为 32，隐藏维 5120，共 40 块；进入 DiT 前对 base/residual 分别用训练集统计量做标准化。

实验分重建与生成两条线。重建在 Panda-70M 上用 PSNR/SSIM/LPIPS/rFVD 评估，对比 Wan2.1-VAE、Step-Video-VAE、Video DC-AE、LTX-VAE 与单潜在基线；生成在 VBench 的 I2V 与 T2V 上评测，对比 Wan2.1-14B、Open-Sora 2.0、DC-Gen、LTX-Video 与单潜在基线，并在多个分辨率下测量单卡 GPU 延迟。结果显示：重建更好的自编码器不一定生成更好；GRACE-VAE 以最少 token 取得压缩自编码器中最高的生成质量。GRACE 在 I2V 上接近预训练管线、在 T2V 上超过它，延迟大幅下降，且随分辨率提高加速比增大。训练成本消融表明复用预训练 DiT 是关键、但仅靠复用不够，对齐损失使 residual 更快收敛。消融验证了双潜在、生成感知对齐、base 领先偏移各自的贡献；对齐目标对比显示预训练 DiT 特征优于通用视频基础模型特征；去噪顺序对比显示领先方向是关键。人类评估进一步支持对 DC-Gen 的优势，并显示与压缩前 Wan2.1-14B 在 T2V/I2V 上各有胜负。

1. 在480×832、81帧下，GRACE使Wan2.1-I2V-14B的token数减少近8倍、延迟降低11.1倍，并在VBench上匹配压缩前流水线的生成质量。

   GRACE reduces the token count of Wan2.1-I2V-14B by nearly 𝟖 × 8\times and its latency by 11.1 × 11.1\times at 480 × 832 480{\times}832 resolution with 81 frames, while matching the VBench generation quality of the pretrained pipeline before compression.

2. 加速随分辨率增长，在736×1280×81下达到15.5倍。

   The gain grows with resolution, reaching 15.5 × \mathbf{15.5}\times at 736 × 1280 × 81 736{\times}1280{\times}81 .

3. 重建与生成质量脱节：Step-Video-VAE比LTX-VAE重建高1.91 dB但VBench-I2V低3.01分；单潜在基线比GRACE-VAE重建高1.13 dB却低1.46分。

   Step-Video-VAE reconstructs 1.91 dB above LTX-VAE but scores 3.01 lower on VBench-I2V, even at 4 × 4\times the tokens, and our single-latent baseline reconstructs 1.13 dB above GRACE-VAE yet scores 1.46 lower.

4. GRACE-VAE以最少token获得压缩自编码器中最高的生成质量（距预训练流水线0.02），而Video DC-AE和Step-Video-VAE分别用2倍和4倍token仍低2.98和3.87分。

   GRACE-VAE reaches the highest generation quality among the compressed autoencoders at the smallest token count, within 0.02 of the pretrained pipeline, while Video DC-AE and Step-Video-VAE use 2 × 2\times and 4 × 4\times more tokens yet score 2.98 and 3.87 lower than the pretrained pipeline.

5. GRACE在I2V上距预训练流水线0.02以内、在T2V上超过它，同时快11.1倍。

   GRACE stays within 0.02 of the pretrained pipeline before compression on I2V and exceeds it on T2V, while running 11.1 × 11.1\times faster.

6. T2V增益主要来自语义分，GRACE领先次优5.28；消融显示双潜在保持语义分在预训练水平，对齐和base领先偏移分别贡献3.90和2.43。

   The T2V gain comes mostly from the semantic score, where GRACE leads the next best model by 5.28. The ablation in Tab. 4 traces this gain to both stages: the dual latent alone keeps the semantic score at the pretrained level, and generation-aware alignment and the base-ahead offset raise it by 3.90 and 2.43.

7. 在736×1280×81下，GRACE以最低延迟取得最高T2V总分，I2V距预训练流水线0.04以内、快15.5倍。

   At 736 × 1280 × 81 736{\times}1280{\times}81 (Tab. 3 ), GRACE again reaches the highest T2V total at the lowest latency and stays within 0.04 of the pretrained pipeline on I2V while running 15.5 × 15.5\times faster.

8. GRACE以8.5个H200 GPU天训自编码器加30个训DiT即匹配预训练流水线。

   As a result, GRACE matches the pretrained pipeline with 8.5 H200 GPU days for the autoencoder and 30 for the DiT.

9. 对齐目标消融：V-JEPA 2.1特征只把语义分从78.65提到80.04，而预训练DiT特征提到82.55。

   Aligning to V-JEPA 2.1 raises the semantic score from 78.65 to 80.04, while aligning inside the pretrained DiT raises it far higher, to 82.55, with the totals following the same order.

10. 去噪顺序消融：先去噪base提升总分，反转顺序则低于同步调度。

    Denoising the base first improves the total, while reversing it drops below the synchronous schedule, showing that the direction of the offset is what matters.

11. 人类评估中，相比DC-Gen，GRACE在视觉质量与时间一致性上获得60.3–71.2%偏好，DC-Gen仅14.1–24.4%。

    Against DC-Gen, which also operates in a compressed latent space, participants prefer our model by a wide margin in both settings, choosing it in 60.3–71.2% of the votes on visual quality and temporal consistency against 14.1–24.4% for DC-Gen.

12. 相比压缩前Wan2.1-14B，GRACE在T2V三项上以46.8–52.6%对25.6–35.3%被偏好，而I2V中Wan2.1-14B以34.6–44.9%对22.4–29.5%被偏好。

    Against Wan2.1-14B before compression, our model is preferred in T2V on all three criteria, with 46.8–52.6% of the votes against 25.6–35.3%, whereas Wan2.1-14B is preferred in I2V with 34.6–44.9% against 22.4–29.5%.

Novelty：从单个组件看，双潜在并不全新（分离低频/高频或 base/residual 的想法与 DC-AE 的残差捷径、以及“更少 token+更多通道”路线相关），在冻结 DiT 特征空间对齐也延续了“让潜在更易被扩散模型学习”的思路（如 VA-VAE 用基础模型正则化高维潜在），LoRA 适配与不对称去噪亦有先例色彩。GRACE 的新意主要在于组合方式与目标设定：不重训自编码器、不重训 DiT，而是把“预训练 AE–DiT 已对齐”这一事实变成压缩的监督信号——用 DiT 中间特征做对齐、用自适应梯度权重平衡重建与生成损失，并用 base 领先的同一前向去噪让分离的潜在可生成。该完整配方对预训练管线做近 8× 压缩并保持生成质量的系统性验证是新的。总体属于务实、可复用的增量创新，而非概念层面的突破。 Soundness：方法层面较扎实：零初始化、冻结 base、冻结 DiT 主体、梯度范数自适应权重、对齐层数消融与对齐目标消融、去噪顺序消融都做得细致，训练预算在各对比模型间也做了控制（总预算一致，只是 AE 与 DiT 分配不同）。但有几处需要审慎：“匹配生成质量”主要靠 VBench 总分差支撑，该指标是聚合分且对美学预测器等有偏；人类评估显示 I2V 下用户其实更偏好压缩前的 Wan2.1-14B，与“匹配”的强表述略有张力；延迟比较中 LTX-Video、Open-Sora 2.0 因第三引导分支多跑一次 DiT，“最低延迟”部分受推理协议差异影响；自适应权重和“前 10 层”的选择偏经验。总体方法可信、消融较完整，但强结论需要更多指标与用户研究佐证。 Significance：实践意义明显：在 Wan2.1-14B 上把 token 数压缩近 8 倍、端到端延迟降一个数量级，且只需数十 H200 GPU 天的适配预算，对部署视频生成模型有直接价值；“重建好≠生成好”的论证和“让预训练管线监督自身压缩”的范式对后续高效扩散研究有参考意义。通用性方面，方法绑定到给定管线的冻结编码器与 DiT，换管线要重跑 Stage 1，限制了即插即用性；但它证明了无需从零训练即可获得高压缩、低延迟且保持质量的视频生成管线，属于高实用价值、中等科学影响的贡献。

论文自述的限制：压缩后每帧 token 更少，小物体最受影响，远处人脸、标识文字、细薄结构常丢失或断裂，效果随分辨率提高而减弱；GRACE-VAE 为生成而非重建优化，牺牲了重建保真度，同 token 数下 PSNR 低于单潜在基线；增加 residual 通道虽可能补回细节，但让预训练 DiT 适配更高维潜在本身困难，留作未来工作；把 GRACE 用到新预训练管线需重新训练自编码器，每个新管线多一次 Stage 1 开销。审稿视角还可补充：只在一个骨干（Wan2.1）上验证，泛化证据有限；VBench 总分与人类评估不完全一致，I2V 场景下用户仍更偏好原管线；延迟对比受不同模型推理协议（第三引导分支）影响；对齐层数、对齐目标、δ 取值等超参数缺少更系统的敏感性分析；未深入讨论双潜在在极低 token 下的信息瓶颈是否会随视频时长或内容复杂度出现更明显的失效模式。

可跟进方向：其一，把 GRACE 迁移到其他预训练管线（如 HunyuanVideo、CogVideoX、LTX 系列），并研究降低换管线时 Stage 1 成本的方法，或设计可迁移的 residual 编码器/对齐目标；其二，探索更高维或分层的 residual 潜在（多尺度 residual、更多通道），同时解决高维潜在适配困难的问题；其三，把生成感知对齐与量化、剪枝或 token 合并结合，进一步压缩推理；其四，系统研究对齐目标选择、对齐层数与自适应权重的稳定性，给出理论或经验规律；其五，改进小物体与文字细节的保持，例如在 decoder 侧引入条件化恢复、超分辨或局部高保真分支；其六，建立比 VBench 总分更敏感的压缩评价协议，用更细粒度的人类评估与失真归因区分重建退化与生成漂移。

本文提出 UltraText Bench，一个面向“仅提示生成”（prompt-only）图像模型的双语密集视觉文本渲染基准。它把视觉文本生成定义为文本复现任务：提示中给出全部目标字符串，模型必须将其渲染到指定区域；评价则依据结构化逐区域真值检查内容、位置、载体与场景整合。与短字符串基准相比，它强调多区域、高字符负载与整景持续性能；与 OCRGenBench、InfoTextBench 等密集文本基准相比，它的主要增量是 24 个真实场景类别、统一的六字段 per-region 参考、以及用 Q-Judger 对整图输出四个报告维度加覆盖度。文章自我定位为压力测试而非对网络图像的频率加权采样，并明确声明当前只给图像级分数、不做区域级归因。

文本到图像模型已在一般视觉质量上取得显著进展，但视觉文本渲染要求字符拼写正确、位置准确、清晰可读；密集场景还要求数百到数千字符跨多个区域持续正确。文本是离散、组合性的，一个错字可能改变价格、时间、代码或表单字段，因此不能用一般图像相似度指标替代。已有方法可分几类：显式字形与布局条件（GlyphControl、GlyphDraw、TextDiffuser 系列）、字符感知与多语言建模（AnyText、Glyph-ByT5、JoyType、ViType）、密集多区域生成（TextCrafter、GlyphDraw2、PosterMaker、BizGen、TextGuider、GlyphAnchor、TextGround4M）以及少步生成（TwinFlow、APEX、Duality Models、Three-Body Scattering）。这些方法输入条件不同：有的接收字形/布局控制，有的仅从提示预测布局。评价资源也分短字符串（MARIO-Eval、AnyText-Bench、TypeScore、LeX-Bench）、密集与长文本（CVTG-2K、LongText-Bench、TextInVision、OCRGenBench、InfoTextBench）、视频文本（VTR-Bench）和编辑基准（TextEditBench、WeEdit、TextSculpt-Bench、TextWand-Bench）。其中 InfoTextBench 最接近，但本文认为其 target-text 条目与自己的 region 不同。自动评价方面，CLIPScore、ImageReward 等全局指标不强制逐字转写；OCR 指标依赖检测器/识别器和语言设置；TIQA 只评已检出区域的视觉质量，无法发现“应出现却未出现”的区域。VLM 裁判（VIEScore、QIB 的 Q-Judger、RichHF、T2LSC-Bench）可执行细粒度 rubric，但存在阅读能力、视觉质量偏好和版本/提示敏感性。本文正是在这一背景下，用完整结构化参考驱动 Q-Judger，并同时评估文本保真、清晰度、空间与场景质量。

一、任务形式与数据单元。每条基准实例是一对 (p, R)，p 是自然语言提示，R={r_1,…,r_K} 是 K 个文本区域的结构化参考。生成器只接收 p，输出 I=M(p)；R 仅用于评价。一个“区域”是人工标注的目标文本组件，可含多行或多条目，例如整份菜单算一个区域。示例记录 A1_L1_EN_001 是一家面包店门面，K=4，GT 共 423 字符：大店名位于木质招牌、中等标语位于下方橡木板、粉笔菜单位于中左、黄铜牌上的营业时间位于右下；重要性从高到低。该例说明区域是“承载文本的组件”，不是 OCR 行。 二、提示与真值构造。提示把目标字符串作为引用文本、围栏段落或结构化内容块嵌入场景描述。示例：“…a hand-carved wooden shop sign features cream-white serif lettering that reads: “DAILY BREAD — Artisan Bakery & Fine Patisserie Since 1987””。构造规则是把“图像必须包含以下文字：DAILY BREAD”这类机械指令改写成同时命名承载面的句子，目标字符串原样保留。每条记录的 gt_regions 只随记录作为评价元数据，绝不作为额外布局输入交给生成器。每区域有六个字段：精确文本、3×3 网格位置、相对大小（large/medium/small/tiny）、类型、载体、重要性（high/medium/low）。位置、大小、重要性是封闭词表；类型和载体是描述性标签。重要性不进入任何评分公式，但 rubric 明确禁止因重要性低而忽略区域。网格只给粗略位置，无边界框、无范围、无区域内排序；多个区域可共享同一格。字符负载定义为所有区域字符串的 Unicode 字符数之和（含空格与标点），不是词数，也不是提示长度。 三、场景与难度。24 个类别归入六域：A 标牌标签（Sign/Label/Poster/Billboard）、B 文档印刷（Article/Newspaper/Letter/Resume）、C 商业（Menu/Receipt/Invoice/Product packaging）、D 数字界面（Webpage/Slide/Social media/Dashboard）、E 结构化数据（Schedule/Form/Certificate/Code）、F 创意特殊（Caption/Dialogue/Comic panel/Infographic）。每个类别都有对应渲染挑战、密度与典型布局。三档难度 L1/L2/L3 为 Hard/Very Hard/Extreme。英文设计带为 250–600、600–1200、1200+ GT 字符；中文为 350–600、550–900、600+。边界含端点、L3 开放；级别描述的是分配的工作量，不是互斥字符分箱。文本负载与区域数量同时增加，因此级别不能单独分离长度效应。构造采用 24 类别 × 3 级别 × 2 语言 × 每格 3 提示 = 432 提示；每提示 4 张样本，完整运行每种语言 864 张图像、每模型配置 1,728 张图像。该套件是有意设计的压力测试，而非网络图像频率采样。 四、双语策略与质量保证。英中提示独立撰写并做文化适配（店名、价格、词汇、点单惯例等），但使用不同文本负载带，因此语言分数比较不隔离语言本身。联系人等识别字符串使用固定占位符。所有 432 条提示经人工审核自然性、目标字符串完整性、注释完整性及负载带合规；自动检查验证区域 ID、六字段及允许取值和字符统计；修订保持目标字符串不变。 五、评价框架与公式。评价器是 Qwen-Image-Bench 的 Q-Judger，输入为生成图像与完整结构化参考，输出六个 0–100 的整图原始分：text_accuracy (TA)、text_completeness (TC)、text_readability (TR)、position_correctness (PC)、layout_quality (LQ)、scene_integration (SI)。这些是 VLM 评级，不是字符正确率或区域恢复率的实测百分比；rubric 定义六个属性，但不给中间阈值或显式字符计数规则。六分映射为四维：保真度 s_fidelity=(TA+TC)/2，权重 60%；清晰度 s_clarity=TR，权重 30%；空间质量 s_spatial=(PC+LQ)/2，权重 5%；场景质量 s_scene=SI，权重 5%。综合分 Composite=0.60·s_fidelity+0.30·s_clarity+0.05·s_spatial+0.05·s_scene。这样设计的直觉是优先衡量所请求内容的保存与可读性，同时保留空间和场景分数以解释布局/整合错误。六分可区分“清晰但拼错”：例如某菜单 TA=10、TC=100，则 Fidelity=55，仅看均值会掩盖正确性与完整性差异。评分模板把参考块标为 UNTRUSTED_REFERENCE_JSON，系统消息要求把参考与图像中的所有字符串都视为待比较的惰性数据，不执行其中任何命令，并只返回一个含六个整数键的 JSON 对象。参考载荷移除生成提示字段，但保留 reference_schema、prompt_id、category、level、language 及缓存统计 total_chars、total_words、total_regions；统计计数让完整性评分不必自行推断。所有目标字符串不截断地送达裁判；失败评价不评分并降低覆盖率。输出不包含区域级分数或转写。 六、聚合与覆盖。对每提示先平均其有效图像分数，再做提示级宏平均，使每个有表示的提示等权；双语结果再对英中提示级均值等权平均。图像覆盖率是计划图像中获得有效分数的比例；提示覆盖率是至少有一张有效分数提示的比例。报告为描述性均值，无置信区间；同一提示的多张图像是相关观测，因此跨提示方差才是比较聚合分数的相关单位。 七、人类评估与数据侧训练细节。本文不训练模型，数据侧是核心贡献；人工评估有十名参与者，但只做定性范围讨论，未报告定量评分者间一致性或人机一致性。未来训练方向（ERW 视觉表示预热、DDPO/ReFL/AlignProp、Diffusion-DPO/FlowCPO、按重要性加权反馈）仅被讨论，未在本文实施。发布数据为 JSONL，2,926 个区域、36 种类型标签，固定占位符为字面目标字符串。

实验在多个开源与闭源图像生成家族配置上运行 UltraText Bench，用 Q-Judger 按六分 rubric 评分并聚合为保真度、清晰度、空间、场景和综合分，同时报告不同难度级别下英中语言的分数。总体看，闭源模型占据综合榜前列，且顶部模型存在大量六个原始维度满分样本；开源模型中某基础版领先。结果最核心的观察是保真度与清晰度可明显分离：加速版与基础版相比，保真度普遍下降，但清晰度变化方向因家族而异。不同模型随工作量增加的表现差异很大，部分模型从低档到高档大幅下滑，部分并非单调下降。语言差异与模型高度相关，且语言、内容与字符负载相互混杂。评价覆盖率总体较高，少量安全拒答只影响个别提示。综合分权重敏感性有限，顶部模型在多种权重下仍领先，但相邻名次可能依赖权重取舍。人类评估仅提供定性例证，未给出定量一致性证据。

1. 基准共 432 条提示，覆盖 24 个场景类别与三个难度级别，英中各半。

   It contains 432 prompts spanning 24 real-world scene categories and three difficulty levels, split equally between English and Chinese.

2. 每条人工审核的提示提供四到十二个文本区域的精确字符串，并配有内容、位置和视觉属性结构化参考。

   Each human-reviewed prompt supplies exact strings for four to twelve text regions, paired with structured references for their content, placement, and visual attributes.

3. 完整运行中每种语言有 864 张图像，每个模型配置有 1,728 张图像。

   At four generated samples per prompt, a complete run contains 864 images per language and 1,728 images per model configuration.

4. GPT Image 2 [Low] 在综合分和四个报告维度均居首，综合分为 99.35。

   GPT Image 2 [Low] | 99.35 | 99.23 | 99.52 | 99.41 | 99.57 | 99.73 | 99.32 | 99.58 | 99.48 | 99.36 | 98.61

5. 开源权重模型中 Boogu-Image-0.1-Base 综合分最高，为 77.89。

   Boogu-Image-0.1-Base | 77.89 | 75.77 | 78.31 | 88.04 | 90.53 | 84.16 | 87.75 | 76.42 | 78.11 | 57.67 | 83.23

6. Qwen-Image-2512 综合分 67.96，保真度 59.30、清晰度 79.89，说明高清晰度未必对应高内容保真。

   Qwen-Image-2512 | 67.96 | 59.30 | 79.89 | 79.13 | 88.93 | 86.50 | 89.47 | 71.57 | 67.44 | 42.86 | 49.90

7. 保真度与清晰度可明显分离：Z-Image-Turbo 清晰度 74.41 但保真度仅 40.75；Qwen-Image-2512 分别为 79.89 与 59.30。

   Z-Image-Turbo receives 74.41 Clarity and 40.75 Fidelity; Qwen-Image-2512 receives 79.89 and 59.30.

8. Qwen-Image-2512 的英文综合分从 L1 的 86.50 跌至 L3 的 42.86，中文从 89.47 跌至 49.90，高档工作量暴露低档不易见的问题。

   Qwen-Image-2512’s Composite falls from 86.50 at L1 to 42.86 at L3 in EN, and from 89.47 to 49.90 in ZH.

9. 在三对 Base/Turbo 中，Turbo 保真度全部下降，清晰度则有的上升、有的下降。

   Under reported settings, Turbo Fidelity is lower than Base by 14.76 points for Z-Image, 7.62 for LLaDA-Image, and 9.50 for Boogu-Image-0.1. Clarity rises by 3.81 and 7.37 points for Z-Image and LLaDA-Image, but falls by 13.45 for Boogu-Image-0.1.

10. 英文图像覆盖率为 859/864，中文为 864/864；英文提示覆盖率 215/216，中文 216/216，少数安全拒答只影响个别提示。

    Image coverage is 859/864 in EN and 864/864 in ZH. Four EN safety rejections affect one prompt and the fifth affects another, yielding prompt coverage of 215/216 and 216/216.

11. GPT Image 2 [Low] 有 1,723 张有效图像，其中 1,440 张（83.6%）在六个原始维度全得 100。

    Of its 1,723 valid images, 1,440 (83.6%) receive 100 on all six raw dimensions.

12. 英文 L3 平均字符负载远高于中文 L3，因此语言比较同时混杂内容与工作量。

    EN L3 averages 2,386.68 GT characters and ZH L3 averages 743.62, so language, content, and workload all contribute to the comparison.

Novelty：新意中等。单独看，密集文本、双语覆盖、目标字符串列表、OCR/VLM 评价都不是首次；InfoTextBench 已接近“密集双语文本列表 + OCR/VLM”的设定。UltraText Bench 的增量主要在组合与协议：24 类真实场景、统一的六字段逐区域参考（文本、粗网格位置、大小、类型、载体、重要性）、四个报告维度加评价覆盖率、以及显式测量保真度与清晰度的分离。它没有提出新模型或新度量，而是复用 Q-Judger，把完整参考以“不可信数据”方式交给裁判以防注入。因此这是一项 benchmark 资源与评价协议创新，而非方法创新；其新意足以支撑一篇评测论文，但不应被描述为全新的评价范式。 Soundness：方法学基本合理但可靠性证据不足。数据侧构造严谨：封闭词表、自动检查、逐条人工复核、目标字符串保持不变，均有清晰描述。评分公式简单透明，六个原始分映射为四维的权重明确，且保留原始 TA/TC 以避免平均掩盖正确性与完整性差异。系统提示显式把参考视为惰性数据，降低提示注入风险。关键问题是单一 VLM 裁判、图像级评分、无区域级转写或 OCR 交叉验证；人类评估只有十名参与者且未报告定量一致性或人机相关；没有置信区间，每个 cell 仅少量提示且同提示图像相关；语言与难度未做受控隔离；顶部模型出现大量满分，评分饱和风险高。因此，方向性结论（保真与清晰分离、工作量暴露弱点）较可信，但具体名次和相邻差异应谨慎对待。 Significance：对视觉文本生成社区有较高实用意义。它提供了一个系统化的密集文本压力测试，能在同一框架下比较多个模型配置，并揭示保真度/清晰度、工作量与语言层面的差异，尤其对少步与加速模型有参考价值。作为可复用资源，它可用于模型选型、失败模式检查和未来训练信号构造。主要削弱因素在于评价器可靠性未充分验证、高分饱和、图像级粒度粗，使其作为精确定量榜单的可信度受限。若后续补充字符级 OCR 证据、区域级输出和更稳健的裁判协议，其实用价值会进一步提升。

本文局限可从数据、评价与解释三个层面看。数据层面：每个 category×level×language 单元只有 3 条提示、完整运行 12 张图像，统计精度有限；同提示的多张图像是相关观测，但论文只给描述性均值，无置信区间或跨提示不确定性估计；语言提示独立撰写且采用不同字符负载带，难度级别同时改变文本负载与区域数量，因此不能把语言差异或长度效应单独归因；套件是压力测试而非网络图像频率采样，外推到一般提示分布有限。评价层面：仅使用一个 VLM 裁判（Q-Judger），没有 OCR 字符级交叉验证，VLM 阅读器可能静默纠错或受视觉质量偏好影响；输出是整图分数，没有区域级分数或转写，无法定位具体缺失/错位区域；评分是 rubric 评级而非实测字符正确率，最高分不代表零错误；GPT Image 2 [Low] 出现大量六维满分，且附录展示低分分歧与满分仍有可见错误，说明裁判误差未被量化；人类评估仅十名参与者，未报告评分者间一致性和人机一致性；失败评价只降覆盖率，未交代缺失机制。解释层面：模型使用各自标准采样设置，分辨率、纵横比、API 行为不同，不能把 Base/Turbo 差异完全归因于加速；综合分权重敏感性只讨论均值重加权，不解决提示采样不确定性和裁判可靠性；对扩散模型连续空间、子词分词、VAE 细节损失等机制只作讨论，未做因果检验；当前协议也未惩罚额外未请求文本，且网格只给粗略位置、无像素边界。

最有价值的跟进是区域级评价：把整图四维分数扩展为逐区域文本保真、位置与载体匹配，并输出 OCR 转写或定位，使“哪块文本错、哪块缺失”可检查。为此可联合 OCR/检测器做字符级验证，缓解 VLM 静默纠错。其次，把结构化 GT 作为训练信号：用区域级错误做奖励或偏好对（DDPO、ReFL、AlignProp、Diffusion-DPO、FlowCPO），并按重要性对店名/价格类错误加权。第三，改进裁判可靠性：多裁判集成、与人工标注的定量一致性、校准满分饱和、以及动态/抗饱和题库。第四，做受控消融：固定提示内容，单独改变分辨率、纵横比、采样步数、API 设置；在保持区域数不变时增加字符负载，或保持负载不变时增加区域数，以分离长度、区域数与语言效应。第五，扩大每单元样本并报告基于提示的置信区间/bootstrap，以判断相邻名次是否显著。第六，增加英中受控对照（匹配负载与语义）而非独立撰写。第七，扩展到视频与编辑，如论文提到的 Vidu S2，检查文本持久性与时序一致性。最后，可将评分与下游效用关联，例如价格/营业时间错误造成的语义后果，而不只报告 rubric 分数。

本文是一篇面向单图像三维场景重建的方法论文，提出 Tetris3D 框架并配套发布仿真数据集 ComOb。其定位是修复现有场景生成方法中“物体各自独立、局部接触区域不可靠”的短板：既要恢复多个完整物体，又要保证它们之间的物理与几何一致性。作者的核心取向是把“物理交互”从事后评估指标上移为生成时的显式条件——在共享场景坐标系中自回归生成每个物体，以邻域表面几何（无符号距离场）与物理关系类型作为逐体素条件，注入基于 TRELLIS.2 的体素扩散主干，并用可见到不可见交叉注意力补全被遮挡区域。相对“独立生成后组装”和“隐式特征聚合联合生成”两条既有路线，本文的差异在于提供了与生成空间逐体素对齐的局部空间兼容性引导，属于组合式场景生成、amodal 补全与物理感知生成的交汇工作。

从单图重建多物体场景，可服务于物理仿真、VR/AR 与机器人操作，要求不仅物体形状合理，还要恢复物体之间的支撑、容纳等交互所需的细粒度空间兼容性。难点在于：物体交互区域（接触、遮挡部分）恰恰最常被邻域物体遮挡，仅靠可见证据难以恢复。近年 3D 生成沿两类路线发展：一类把形状编码为无序潜向量集，另一类把潜码附着在稀疏体素网格上并解码为资产（如 TRELLIS 系列）；输入条件通常经交叉注意力注入规范姿态生成器。场景重建则要么独立生成各物体再组装/配准，要么通过隐式特征聚合联合生成多物体或位姿，但两者都缺乏对接触区域局部兼容性的显式指导。amodal 补全相关工作（图像空间或 3D 潜空间）只利用物体自身可见区域完成遮挡部分，没有利用周围场景的几何与物理线索。数据方面，现有场景数据集或限于室内、桌面等特定环境，或对复杂物理交互覆盖不足。本文据此提出：像人解释场景时那样，用周围几何推断物体可占空间、用物理关系推断其如何搁置或嵌入邻域，从而在交互区域被遮挡时仍能约束形状与位姿。

整体框架。Tetris3D 建立在 TRELLIS.2 的体素扩散主干上，含稀疏结构生成与结构化潜码生成两阶段（各为 30-block DiT）。输入为单 RGB、深度图、相机参数与每物体掩码；目标是在共享场景空间（输入相机坐标系）中直接生成每个物体被观测到的位姿，从而免去独立位姿估计或后对齐。物体按物理依赖顺序自回归生成：先用视觉语言模型推断有向物理依赖层级，拓扑排序得到生成顺序，使每个物体生成时其依赖的邻域几何已存在，可作为交互条件。 位姿对齐生成。对目标物体，用其掩码 M 内像素与深度图提升出三维部分点云 P，再在包围 P 的立方体（含额外 margin）上定义物体网格 G。体素级条件两部分：c_depth(x) 在含 P 点的体素处为可学习嵌入 e_depth、否则为零，表示“已观测表面占位”；c_img(x) 把体素中心沿相机射线投影到 DINOv3 特征图，取 F(π(x))（公式 1）。直觉是：部分点云锚定物体位置与朝向，图像特征提供形状/外观先验，二者共同把生成约束到与输入场景对齐的网格坐标，避免先生成规范姿态形状再配准带来的额外误差。 交互感知生成。交互条件由“空间上下文”与“关系类型”组成。为容纳非水密网格，空间上下文用无符号距离场 UDF 而非有符号 SDF。对目标网格 G 中每个体素 x（中心 p(x)），取其到邻域物体表面并集 H_union 的最近表面点 q(x)，定义三个量：截断无符号距离 d(x)=min(||p(x)-q(x)||,τ)、从体素中心指向最近表面点的方向 u(x)、以及最近表面点处的表面法向 n(x)（公式 2）。方向与法向刻画体素相对邻域表面的方位与朝向，帮助模型知道“表面在哪、朝哪边”。关系类型来自预定义集合 R={stack, lean, contain, touch, none} 的可学习嵌入表 W_rel；对每个体素，r(x) 是目标物体与 q(x) 所属邻域物体之间的物理关系。二者合并为逐体素交互条件 c_int(x)：当 d(x)<τ 时，c_int(x)=MLP([(1-d(x)/τ)e_dist, MLP([u(x);n(x)])]) + W_rel[r(x)]，否则为零（公式 3）。其中 (1-d/τ) 是邻近因子，使越靠近邻域表面的体素获得越强的距离嵌入权重——生成最需要精细贴合的部分正是接触区域；τ 以外体素不受邻域影响。距离通道用可学习嵌入 e_dist 乘以邻近因子，方向/法向经 MLP 编码，关系以查表嵌入相加。 体素对齐注入。由于 c_img、c_depth、c_int 都定义在同一物体网格 G 上，生成 token 与条件 token 天然空间对齐。作者在每个 DiT 层 l 将三者分别经层专用 MLP 投影后加到 token 特征 h(l)(x) 上；深度项与交互项各带一个初始化为零的可学习标量门 λ_depth、λ_int（公式 4）。零初始化保证微调开始时原有图像条件更新不被破坏，训练中逐步吸收新条件（类似 gated injection 技巧）。该注入在稀疏结构生成阶段作用于 dense 潜码体的全部 token，在结构化潜码生成阶段只作用于 active voxel token。这样几何约束被施加在生成发生的同一体素坐标上，而非经全局注意力间接融合。 可见到不可见注意力（V2I）。遮挡使不可见区域缺少条件引导。作者把目标遮挡掩码定义为其他物体掩码的并集 M_i^occ=∪_{j≠i}M_j，并沿相机射线把穿过这些像素的体素 token 标记为不可见集合 T_invis，其余为可见集合 T_vis。在每个 DiT 层新增交叉注意力：以不可见 token 为 query、可见 token 为 key/value，残差乘零初始化标量门 λ_V2I（公式 5）。直觉是可见部分蕴含被遮挡部分的形状先验，显式聚合可见 token 可为不可见区域提供 amodal 补全引导。实现上，该分支 query/输出投影从预训练交叉注意力初始化、key/value 投影从自注意力初始化；无不可见 token 时整层跳过，以降低对预训练主干的扰动。DINOv3 patch 特征还会按遮挡率 ρ 与可学习空嵌入 e_empty 混合（公式 6），投影图像条件同样掩码，使模型学会区分可见与不可见证据。 ComOb 数据集。为获得物理一致且带交互标注的训练数据，作者围绕 TRELLIS-500K 中约 400K 个唯一目标物体构建 ComOb。每场景含一个目标物体与若干参数化基元（共 12 类：box、plank、cylinder、cone、sphere、wedge、tube、torus、cup、open bin、polygonal bin、bowl），按五类构造交互 {stack, lean, contain, pile, touch} 初始化，并在 MuJoCo 中把目标沉降到稳定姿态（基元保持固定），保留通过速度阈值的场景（线性 <0.025 m/s、角速度 <0.12 rad/s）。五类构造各有校验：stack 要求沉降后至少一半足迹与支撑面重叠；lean 在侧向基元移除后的单独仿真中必须倾倒；contain 通过改变目标直径与容器开口比例得到 roomy、near-fit、oversize 配置；pile 用 2–4 个基元围成凹槽后丢入目标并丢弃掉出配置；touch 先留小缝再消除缝隙建立接触并满足穿透容差。每对目标-基元赋予关系 r∈R；pile 只是构造方式，其中接触基元标 stack、其余标 none。最终得到 1.2M 场景、3.4M 标注样本，含 RGB、掩码、深度、网格与关系标签。渲染用 Blender EEVEE，视场在 [35°,70°] 采样，并筛选目标可见比在 [0.3,0.9] 的视点以制造自然遮挡。相比既有室内/桌面数据集，ComOb 目标是覆盖通用物体间的多样物理交互与交互性遮挡。 推理管线。推理输入为单 RGB + 深度 + 相机参数 + 每物体分割掩码；深度与相机用 MoGe3 估计，掩码用 SAM3 提取，物体实例用 Qwen3-VL-30B 识别。为确定生成顺序，作者用 VLM 两阶段提示：第一阶段给图像与彩色分割图，提取每物体视觉属性与颜色对应；第二阶段结合元数据推断有向物理依赖及置信度，边带关系标签。有向边 o_j→o_i 表示 o_i 依赖 o_j 支撑，应先于 o_i 生成；touch 为无向接触，只要求生成时至少有一个交互邻域已可用。由于 VLM 可能输出冲突或环，作者不用朴素拓扑排序，而用置信度加权排序：增量加入至少有一个已生成物理相关对象的物体，并在所有可行顺序中最小化与结果冲突的有向边总置信度，丢弃不一致边得到无环图后自回归生成。如此，支撑物体先生成，其重建表面为后续依赖物体提供交互条件。 训练细节。主干与图像条件分别从 TRELLIS.2 与 Pixal3D 初始化；稀疏结构模型训练 200K 步、结构化潜码模型 100K 步，AdamW 学习率 1e-4、权重衰减 0.01、batch 16、两块 H200，分别约 7 天与 9 天。采用两阶段课程：Stage 1 只在无遮挡完整图像上训练并提供全部条件；Stage 2 加入基元遮挡与合成遮挡图像，三种图像按 1:2:1 采样。条件 dropout 用于分类器无关引导：全部条件联合丢弃概率 0.1，各组独立丢弃 0.05（稀疏结构阶段组为图像特征、深度、邻域几何、关系；结构化潜码阶段为图像、几何、关系）。为鲁棒处理推理时的深度误差，训练中以 0.3 概率沿相机射线对深度点做高斯扰动并重体素化，再随机丢弃 10% 的深度体素，且只扰动深度条件、不动图像特征。消融实验采用更短的稀疏结构训练（100K 步）并保持同配置以排除训练量影响。两阶段模型分别约 1.83B 与 1.68B 参数。

作者在 Toys4K 合成基准（由 ComOb 生成器将基元围绕物体摆放以制造交互与遮挡）与 MessyKitchens、Picasso 真实接触场景上评估，所有方法获得相同图像、掩码与深度（主表用真值深度，附录另测估计深度）。评估分三层：场景级重建（CD-S、F1-S、IoU-B、ICP-Rot）、物体级重建与生成质量（CD-O、F1-O、MMD、COV、P-FID、Uni3D、ULIP）、物理稳定性（PD、D_mean、E_peak）。对比对象包括 SAM-3D、ShapeR、WorldSculpt、MIDI、SceneGen、SceneMaker 等场景生成方法，以及 Amodal3R、GENA3D 配 FoundationPose 的 amodal+位姿估计路线。消融考察交互条件与 V2I 注意力的贡献，敏感性实验考察估计深度与 VLM 推断关系，另有与 GPT-6 Astra agentic 生成的定性对比。

1. 主实验（Toys4K，真值深度）：Tetris3D 的场景重建 CD-S 为 3.68、CD-O 0.97、F1-S 0.8407、F1-O 0.8084、IoU-B 0.7918、ICP-Rot 5.29；生成质量 MMD 1.501、COV 83.11、P-FID 1.599；物理稳定性 PD 0.0036、D_mean 38.91、E_peak 0.1721，全面优于所有基线。

   Ours | 3.68 | 0.97 | 0.8407 | 0.8084 | 0.7918 | 5.29 | 1.501 | 83.11 | 1.599 | 0.6884 | 0.7182 | 0.0036 | 38.91 | 0.1721

2. 真实场景（MessyKitchens / Picasso）：MessyKitchens 上 CD-S 0.11、PD 0.0011、D_mean 102.0、E_peak 0.3347；Picasso 上 CD-S 0.27、PD 0.0016、D_mean 434.4、E_peak 2.147，显示向真实接触场景的泛化。

   Ours | 0.11 | 0.63 | 0.9620 | 0.8284 | 0.7113 | 5.19 | 0.0011 | 102.0 | 0.3347 | 0.27 | 1.06 | 0.9053 | 0.7325 | 0.7264 | 8.913 | 0.0016 | 434.4 | 2.147

3. 消融：与 Full model 相比，w/o Interaction Cond. 的 CD-S 从 3.90 升至 8.56、PD 从 0.0192 升至 0.4980、D_mean 从 39.22 升至 69.24、E_peak 从 0.1193 升至 0.3240，证明交互条件对重建与稳定性贡献显著。

   Full model (Ours) | 3.90 | 1.28 | 0.7963 | 0.7691 | 0.7603 | 5.50 | 1.563 | 84.3 | 1.875 | 0.6704 | 0.7069 | 0.0192 | 39.22 | 0.1193 w/o Interaction Cond. | 8.56 | 1.37 | 0.7599 | 0.7134 | 0.6918 | 8.66 | 1.841 | 80.66 | 1.938 | 0.6385 | 0.6766 | 0.4980 | 69.24 | 0.3240

4. V2I 消融：w/o V2I Attn. 的 CD-S 4.46、PD 0.0270；w/ Amodal3R Attn. 的 CD-S 4.29、PD 0.0281，二者均不及 Full model 的 3.90 与 0.0192，验证 V2I 设计优于移除或替代方案。

   w/o V2I Attn. | 4.46 | 1.37 | 0.7905 | 0.7591 | 0.7506 | 6.00 | 1.629 | 84.01 | 1.949 | 0.6474 | 0.6897 | 0.0270 | 42.04 | 0.1396 w/ Amodal3R Attn. | 4.29 | 1.34 | 0.7909 | 0.7659 | 0.7496 | 5.82 | 1.573 | 84.25 | 1.951 | 0.6615 | 0.7018 | 0.0281 | 40.67 | 0.1322

5. 估计深度（MoGe3）：Ours 的 CD-S 7.56、CD-O 1.58、PD 0.0047、D_mean 50.49、E_peak 0.2208，仍优于所有基线，表明对深度估计误差有鲁棒性。

   Ours | 7.56 | 1.58 | 0.6457 | 0.6679 | 0.6522 | 12.7 | 2.462 | 75.58 | 2.518 | 0.5795 | 0.6188 | 0.0047 | 50.49 | 0.2208

6. VLM 关系推理：Ours (GT) 的 CD-S 3.68、PD 0.0036 与 Ours (VLM) 的 CD-S 3.76、PD 0.0038 接近，说明推理时可用 VLM 推断关系替代真值注释且质量几乎不变。

   Ours (GT) | 3.68 | 0.97 | 0.8407 | 0.8084 | 0.7918 | 5.29 | 1.501 | 83.11 | 1.599 | 0.6884 | 0.7182 | 0.0036 | 38.91 | 0.1721 Ours (VLM) | 3.76 | 0.98 | 0.8399 | 0.8063 | 0.7905 | 5.37 | 1.538 | 83.38 | 1.651 | 0.6891 | 0.7195 | 0.0038 | 41.25 | 0.1780

7. 与 GPT-6 Astra agentic 生成对比（定性）：Tetris3D 更忠实于输入图像与深度，而 agentic 场景出现穿透与悬浮等物理无效配置。

   The resulting scenes exhibit physically invalid configurations, including penetration (top row) and unsupported floating (middle and bottom rows).

Novelty：新颖性判断：中高。核心新意不在单个模块，而在于把“物理交互”从评估指标前移到生成条件：用 UDF 距离+方向+法向作为逐体素空间上下文、用关系类型嵌入作为逐体素语义条件，并利用与体素潜码同网格的对齐关系逐层注入，是针对场景重建中接触/遮挡区域一致性的直接而合理的方案。V2I 注意力是对 amodal 补全的简洁扩展（可见到不可见），物理依赖排序与 ComOb 数据集补足了“如何获得生成顺序与监督”的工程闭环。但各成分多基于 TRELLIS.2、Pixal3D、gated injection、cross-attention 等既有模块，方法学层面的原创性属于组合式与任务迁移式，而非全新范式。 Soundness：可靠性判断：较好。主实验覆盖合成与真实场景、多组基线与三类指标，消融针对交互条件与 V2I 分别验证，并额外报告估计深度与 VLM 关系的敏感性及与 agentic 方法的对比，评估维度较完整；物理稳定性用穿透深度、沉降位移与峰值动能三指标，且有明确公式。主要疑虑：其一，表格未见方差或重复运行，难以判断差异是否显著；其二，主表与消融表“Full model (Ours)”数值不同（如 CD-S 3.68 vs 3.90、PD 0.0036 vs 0.0192），且附录说明消融用更少迭代，跨表比较时需注意训练预算不可比的风险；其三，真实场景基准的物体网格/位姿真值来源及 ICP 对齐对姿态误差的解释力未见深入；其四，物理稳定性只在 MuJoCo 设定下测量，质量、摩擦、接触参数等影响未报告。总体结论可信，但部分消融与敏感性结论的证据强度可加强。 Significance：影响力判断：中高。对需要物理一致性的单图场景重建（机器人操作、物理仿真、VR/AR 资产化）有实际价值；把交互作为生成线索的思路可迁移到视频/多视图场景生成与可微仿真闭环；ComOb 若开源，可为关系标注与物理感知生成提供基准。局限在于当前仅覆盖离散、成对、基元邻域的交互，且依赖多个外部模块，离端到端通用系统仍有距离，但其问题设定与数据贡献有潜力成为后续工作的常用参照。

作者在附录讨论中承认的局限是首要的：交互条件只提供学习到的引导而非硬物理约束，因此不能保证每个配置都物理有效；推理依赖 MoGe3、SAM3、Qwen3-VL 等外部模型，深度/分割/关系推断错误会扭曲物体网格、投影特征与交互条件，并沿自回归过程累积。除此之外，关系类型限定为 {stack, lean, contain, touch, none} 的离散集合，难以表达连续接触力、多点支撑、摩擦/悬挂等更丰富语义；ComOb 的邻域由参数化基元构成，与真实场景中物体-物体交互分布存在域差，真实基准虽验证泛化但规模有限。遮挡定义把其他物体像素并集全部视为目标遮挡，属保守近似，可能把本可见区域划入不可见；V2I 只在目标网格内做可见-不可见聚合，若目标大部分被遮挡则可用证据不足。自回归逐物体生成带来顺序敏感性与累积误差，推理速度也未讨论。物理稳定性评估仅基于 MuJoCo 的特定参数，且未报告物体质量/摩擦/接触建模设置，结论对模拟参数可能敏感。

可沿多个方向跟进：(1) 把离散关系替换为连续/概率化接触表示，或从物理模拟中学习接触特征，以表达更细粒度的支撑、悬挂、挤压与多点接触；(2) 引入硬约束或可微物理层，把稳定性作为训练信号做闭环优化，而非仅事后评估；(3) 减少对外部模块的依赖，联合或端到端训练深度/分割/关系推理，并对估计不确定性建模，以降低误差传播；(4) 用多假设采样、重排序或全局一致性精调缓解自回归累积误差；(5) 扩展到多视图/视频输入与更大规模真实场景，验证在杂乱桌面、厨房、仓库等环境中的鲁棒性；(6) 将 ComOb 作为基准用于关系推理、物理视觉 grounding 与 world model；(7) 评估下游任务收益，如抓取规划、放置稳定性与真实机器人操作；(8) 提升推理效率，研究并行或层次化场景生成以避免逐物体串行。

本文是一篇面向具身智能评测的基准与实证研究，不提出新的控制算法或训练方法，而是引入“robot use”这一统一概念：智能体通过机器人接口，把指令与观测转化为物理任务执行。RobotWorld 的定位介于数字智能体评测、机器人学习任务套件与具身智能体评测之间：它保留各来源仿真器的原生物理与控制器，同时用统一交互协议、任务契约（接口、辅助、预算、可执行成功判定）和跨形态任务集，把“数字能力向物理世界迁移”变成可测量的问题。文章贡献分两层：一是作为严格“试金石”的基准（84 个任务、多形态、明确预算与检查器），二是基于执行轨迹的迁移能力画像与失败机制分析，并据此给出训练与智能体设计的改进方向。其学术目标不是刷新控制性能，而是刻画当前多模态智能体在物理任务上的覆盖率、失败模式与模型差异。

研究背景建立在两条线上。其一是通用数字智能体的快速成熟：Operator、Claude Cowork 等已能写代码、用工具并完成多步知识型任务；GPT-6 Astra 等前沿模型使机器人控制成为日益现实的可能性，社区实验也从机械臂控制扩展到仿真中的灵巧抓取与实时 rollout。这引出一个争论：抓取演示是否证明灵巧与动力学能力，还是智能体使用控制器与机器人工具更有潜力。其二是机器人基础模型与 robot-use 智能体的进展。VLA 模型（RT-2、OpenVLA、π0、π0.5）从视觉与语言生成动作；世界-动作模型（SelfWAM、OpenWAM、Rolling-WAM）耦合动作生成与未来观测预测。robot-use 智能体则通过推理、程序与工具连接指令和物理动作：Code as Policies、VoxPoser 生成可执行控制逻辑与空间表征，EmbodiedSWE 研究编码智能体求解灵巧与移动操作，PyRUA-Lean、ASPIRE、RPG 分别研究程序化动作组合、程序修复沉淀为技能、仿真练习与失败诊断，RLE-Bench 则考察编码智能体做机器人研究。评测方面，CaP-X 关注不同原语抽象与反馈下的编码智能体，EmbodiedBench、VLABench、EmbodiedEval 覆盖规划、导航、操作等能力，底层任务套件还包括 RLBench、CALVIN、LIBERO、BEHAVIOR-1K、RoboCasa365。RobotWorld 的空白在于：缺少一个跨多样形态与物理需求、同时把结果与执行机制关联起来的统一评测。因此本文把任务结果、反馈使用、恢复、完成评估与交互成本放在一起分析，试图把零散演示转化为可测的能力缺口。

RobotWorld 的核心设计是“任务契约 + 统一交互循环 + 独立评估路径”。其机制可分四层理解。 第一层是任务定义。每个任务 i 被表示为七元组 (E_i, ρ_i, g_i, O_i, A_i, C_i, B_i, V_i)：环境 E_i、初始条件 ρ_i、目标 g_i、观测接口 O_i、动作接口 A_i、控制器辅助 C_i、预算 B_i 与评估器 V_i。作者强调这是一份“任务契约”，因为统一工具协议本身不能掩盖不同任务在感知与控制在上的差异；接口文档明确单位、坐标系、边界以及绝对/增量语义，并保留各来源系统的原生控制器（如 RoboDojo 中的 cuRobo 运动生成），同时区分运动生成、底层伺服与学习式任务/平衡策略——这些辅助程度决定了智能体实际面对的控制问题。 第二层是交互循环。在交互步 k，智能体依据目标 g_i、接口文档 D_i 与允许的历史 h_k 选择响应 z_k（近似写为 z_k ~ π_θ(·|g_i,D_i,h_k)），响应可以是请求机器人执行、调用工作区计算或输出文本；模型参数在单集内固定。前端 harness 管理对话与工具，独立的环境进程执行机器人请求并返回反馈；评估则走一条独立的“状态-事件”路径，因此完成一次工具调用或智能体声称完成都不等于任务成功。观测分为三类：允许观测（指令、接口文档、相机图像、可用机器人状态与执行反馈）、评估专用状态（不暴露给智能体）、以及带时间戳的历史包，以区分新观测与旧证据。可选的隔离工作区支持图像检查、几何估计、数值计算和控制程序开发，但不推进物理仿真，且工作区访问与代码控制权限独立配置。 第三层是动作执行。直接动作始终可用：一次 robot-tool 调用携带动作值/目标与步数（如 move_joints 指定关节目标），环境验证请求后通过原生控制器执行，返回允许观测与反馈（含完成步数与错误），从而能区分“被拒绝的命令”与“已执行但未达成预期效果的命令”。代码控制是可选增强：环境端运行智能体生成的反馈程序，每个控制步读观测、更新局部内存并选动作，无需再次调用模型，受步数上限约束，可因停止条件、错误或剧集终止提前结束；结束后智能体可修改程序或回到直接动作。机制上的关键在于：代码控制改变的是“生成程序接收反馈的频率”，而智能体在工具调用之间仍会重新规划。 第四层是执行记账与评估。物理只在机器人执行时推进，智能体推理/离线计算时暂停；设 n_k 为累计原生控制步，完成 d_k 步的请求使 n_{k+1}=n_k+d_k，计算或文本使 d_k=0。控制步、工具调用与墙钟时间度量不同资源维度。剧集记录留存观测、请求与已完成动作、检查器结果、错误/终止原因，用于把结果与物理执行关联。 基准构建层面，84 个任务来自 20 个来源项目，覆盖操作、移动操作、运动、驾驶、空中五个领域；任务选择瞄准互补的 robot use 形式（建立物体关系、操作关节物体、多阶段协调、维持稳定、作用于移动目标），当目标或物理约束（进入方向、地形、时机、协调）变化时视为不同任务，别名或替代控制模式不增加计数。除领域外，任务还被标注为五类可重叠的控制需求：空间目标、约束接触、多子目标、平衡/跟踪、定时交互。构造时区分“目标来源”与“接口/场景改动”：来源已有合适目标与可执行成功条件则保留，否则补显式完成目标（例如在连续奖励环境中定义“受扰后到达目的地”或“载荷稳定在界内”，“存活到终点”不够）。成功判定由六族证据组成：位置与姿态（几何谓词）、物体状态（语义/计数/量化关系）、接触与运动（支撑、释放、速度）、持续性（同时满足的保持条件与固定窗口条件，窗口内违反不可通过后续恢复抹除）、事件与顺序（计数器/状态机，如按键需先释放再按下）、路径与安全（历史依赖的路由/进入方向/边界）。检查器按任务定义决定需要哪些证据，与求解策略无关。验证层面区分“检查器是否实现其规范”与“目标能否通过合法动作到达”，用正/负/边界夹具、场景探针、状态事件回放与轨迹/视频检查来分别提供证据；成功轨迹只证明可达性，参考覆盖不完整，且检查器受采样率与所表示物理关系的限制。 评测协议上，五个模型在全部 84 个任务上各跑一集，共 420 个评分剧集；环境端代码控制关闭，智能体只发直接 robot-tool 调用并从反馈重规划，辅助计算与图像检查按环境权限开放；观测历史含当前观测与至多四个较早观测（每两轮采样一次）；智能体不能访问隐藏检查器状态或参考解。每任务有预设控制步地平线，另有非动作预算限制辅助调用、零步请求与无动作回合（83 个任务为 15 个连续事件与 30/60/120 总事件，排球 1v1 为 20 与 150），执行控制步会重置连续计数器；这些档位由 Astra 交互记录校准后跨模型套用。成功度量采用任务等权成功率 SR_G(m)=1/|G| Σ S_i(ξ_i,m)，S_i∈{0,1}，原生奖励与部分分不跨任务平均；在适用预算边界取结果，边界处未完成计为失败。资源度量记录墙钟时间、机器人请求与全部工具调用（含 shell、显式图像查看，机器人反馈内嵌图像不重复计数），并报告中位数与四分位距。后续分析复用同一五模型评测：成功按适用边界判定，资源分布描述完整日志，配对 Astra–Opus 5.5 案例比较可达可比进展的不同路径，Kimi/DeepSeek 案例暴露状态跟踪与继续执行的失败；这些案例用于确立单集内的机制，而非其在全基准中的频率。

实验部分对多个前沿多模态代理在全部任务上进行单次配对评测。总体完成率很低，头部模型明显领先，但仍留下大量未解任务；不同模型解决的任务部分重叠、部分各自独有。按领域看，固定基操作与移动操作构成主体，头部模型在移动操作上的差距更大；动态控制领域出现不同的领先者；驾驶与运动几乎整体未解。资源方面，更长耗时与更多交互并不对应更高成功率，成本、token 与耗时的排名也不一致；配对任务分析显示交互成本与物理执行成本不必同向变化。定性案例揭示了反馈驱动的适应与恢复、状态丢失、过早认定完成、恢复过晚等机制。总评：这些结果主要描述本次单次评测的覆盖率与机制特征，不能外推为重复运行下的可靠率估计，也不支持对视觉、编码、控制能力贡献的因果分解。

1. 整体成功率很低：Astra 完成 16/84（19.0%），Opus 5.5 完成 13/84（15.5%），Kimi K3 完成 2/84（2.4%），DeepSeek 与 Gemini 各完成 1/84（1.2%）。

   As shown in Figure 1 , Astra completes 16 of 84 tasks (19.0%), followed by Opus 5.5 with 13 (15.5%), Kimi K3 with 2 (2.4%), and DeepSeek V4.1 Flash and Gemini 3.8 Flash with 1 each (1.2%).

2. 头部两模型的成功集合部分重叠、部分各自独有，合并覆盖仅 21/84（25.0%），63 个任务无任何模型解决。

   Astra and Opus 5.5 share eight successes; Astra solves eight additional tasks and Opus 5.5 solves five. Their combined coverage is 21/84 tasks (25.0%).

3. 移动操作领域两强差距明显：Astra 完成 4/20，Opus 5.5 完成 0/20。

   In mobile manipulation, Astra completes 4/20 tasks (20.0%), while Opus 5.5 completes none.

4. 空中任务中 Opus 5.5 明显领先，完成 3/4，Astra 与 DeepSeek 各完成 1/4。

   Opus 5.5 completes 3/4 aerial tasks (75.0%), compared with 1/4 each for Astra and DeepSeek.

5. 驾驶与运动领域几乎未解：剩余九个驾驶任务与十一个运动任务中的十个无模型完成。

   No evaluated model completes the remaining nine driving tasks or ten of the eleven locomotion tasks.

6. 耗时中位数：Astra 30.9 分钟、Opus 5.5 54.0 分钟、Kimi 67.6 分钟、DeepSeek 16.0 分钟、Gemini 12.8 分钟；更长耗时并不对应更多成功。

   median elapsed times are 30.9 minutes for Astra, 54.0 for Opus 5.5, 67.6 for Kimi, 16.0 for DeepSeek and 12.8 for Gemini.

7. 成本与 token 排名不一致：Astra 以 19.0% 成功率花费约 $9,913 与 941M token，Opus 5.5 以 15.5% 成功率花费约 $2,916 与 1.63B token。

   Astra reaches 19.0% success at a reported $9,913 and 941M tokens. Opus 5.5 reaches 15.5% at $2,916 and 1.63B tokens.

8. 跨任务能力画像：Astra 在空间目标与约束接触目标上领先，Opus 5.5 在连续平衡/跟踪与定时交互上领先。

   Astra succeeds on 13/45 spatial tasks versus Opus 5.5's 6/45, and on 6/41 constrained-contact tasks versus 1/41. Opus 5.5 leads on continuous balance/tracking (4/20 versus 1/20) and timed interaction (4/7 versus 2/7)

9. 在两者共同解决的八个任务中，Astra 在七个任务上工具调用更少、在六个任务上控制步更少，说明交互成本与物理执行成本可能相反。

   Among eight tasks solved by both models, Astra uses fewer tool calls in seven and fewer control steps in six

10. 无人机颠球中，Opus 5.5 维持 15 次有效击球（其中 14 次达到高度要求）并运行超过 800 步，Astra 仅记录 3 次有效击球（1 次达高度要求）并在第 188 步因球过低终止。

    Opus 5.5 sustained 15 valid hits, including 14 height-qualified hits, over 800 steps; Astra recorded three valid hits, one height-qualified, before ball-too-low termination at step 188.

11. 评测规模：五个模型在 84 个任务上各跑一集，共产生 420 个评分剧集。

    The experiments were collected from 30 September to 6 October 2026, with one episode per model–task pair, giving 420 scored episodes.

12. 倒立摆跟踪中 Astra 终点误差仅 2.45 cm，但从 0.5 s 检查开始即违反跟踪容差，最终稳定区间只有 0.565 s 而非要求的一秒，说明有利的最终帧可能掩盖时序失败。

    In inverted-pendulum tracking, Astra completed the horizon with only 2.45 cm final tip error, but violated the tracking tolerance when checking began at 0.5 s. Its final stable interval was 0.565 s rather than the required second

Novelty：新颖性中上，属于“基准整合 + 实证刻画”而非方法创新。新颖之处在于：一是以“robot use”统一把指令、观测、计算与机器人接口连接起来，并把接口、控制器辅助、预算、检查器显式化为任务契约的一等对象；二是跨操作、移动操作、运动、驾驶、空中五种形态与多样物理需求做统一评测，覆盖比 CaP-X、EmbodiedBench、VLABench 等更广，与偏研究/工程任务的 RLE-Bench、偏编码求解的 EmbodiedSWE 形成互补；三是把成功率与执行轨迹、资源消耗联合分析，提炼出“状态丢失、无效修正、恢复过晚、完成误判”等失败类别和不同模型的组合画像。但统一 harness、状态机检查器、预算与资源记账等单点技术都不是新发明，且未提出任何新训练或智能体设计并验证其改进，因此作为基准论文新颖性合格，作为方法论文有限。 Soundness：严谨性总体合格但存在明显局限。设计优点：成功判定与智能体自述分离、检查器验证区分“实现规范”与“物理可达”、保留原生控制器、显式预算、任务等权成功、资源与成功分开记账。主要问题：每个模型-任务对只跑一集，对随机性与初始条件不稳健，结论只能描述单次评测；预算档位由 Astra 交互记录校准后跨模型套用，可能对交互风格不同的模型产生系统性偏差；回溯裁决截止与完整日志的口径不一致，使成功指标与资源分布不完全对应；token/成本统计口径不一（Kimi 从 57 条有效记录外推）；领域样本严重不均（空中仅 4 个任务，单一任务即改变 25 个百分点），动态领域的统计可靠性弱；模型画像被作者自述为探索性假设，未隔离视觉、编码、控制变量的贡献。因此该工作适合作为覆盖率与失败机制的定性表征，不适合支撑因果结论或重复运行可靠性主张。 Significance：意义中高。若基准公开、可复现并持续维护，它能为“数字能力向物理世界迁移”提供一个统一的试金石：大量无模型解决的任务给出明确 headroom，失败机制与模型画像直接指向训练与智能体设计的优先项（把感知/计算落地到动作、错误恢复、时序协调、完成识别）。这对具身智能体评测社区有实用的参考价值。但显著性受制于几个因素：单次评测与仿真-现实鸿沟限制其结论强度；覆盖不均与同源项目使结果描述的是该套件而非一般机器人使用分布；训练数据污染风险削弱“泛化能力”解读；且没有提供新训练方法或改进后的效果验证，闭环价值尚未兑现。因此短期价值在于系统化问题定义与评测，长期价值取决于社区采纳与后续闭环改进。

作者在讨论中承认并应被认真对待的限制包括：其一，仿真到物理部署仍是开放问题，仿真在模型推理时暂停去除了真实世界的时序约束，物理机器人必须面对推理延迟、传感器噪声与接触/动力学差异，本文结果不能证明硬件上的能力。其二，每个模型-任务对只有一集，结果是单次评测而非重复运行的可靠率，无法刻画方差。其三，套件覆盖有限且不均：操作与移动操作占 69.0%，空中仅 4 个任务、运动 11 个，且任务来自共享来源项目，相关任务会放大特定场景的影响；结论描述的是该套件而非所有机器人使用的代表性分布。其四，公开任务描述、代码或演示可能已进入模型训练数据，难以区分可复用物理能力与任务特定记忆。其五，任务预算档位由 Astra 交互记录校准并跨模型套用，可能对交互风格不同的模型不公平。其六，token/成本统计口径不一，Kimi 从 57 条有效记录外推，成本为列表价估算而非账单，且不能把 token 总额解释为统一货币预算。其七，回溯裁决截止与完整日志的差异使成功指标与资源分布口径不同；资源度量描述资源消耗而非成功效率。其八，模型画像（Astra 偏空间/约束接触、Opus 5.5 偏平衡/定时交互）是探索性假设，未隔离视觉、编码、控制的贡献，也未识别训练数据差异。其九，检查器受其表示的物理关系与采样率限制，参考覆盖不完整，成功轨迹只证明可达性，不证明对初始条件的鲁棒性。最后，作者没有做访问消融（如开关观测、辅助计算、控制器辅助），因此无法回答“哪种干预能提高任务完成率”。

可跟进的方向：第一，实时回路与硬件迁移，去掉“推理时暂停物理”的条件，加入推理延迟、传感器噪声与接触/动力学差异，验证同样策略在实时与真实机器人上的存活情况。第二，目标化消融，系统性地开关视觉观测、辅助计算工作区、代码控制与控制器辅助，隔离视觉推理、程序构建与闭环执行各自对成功率的贡献，检验文中“组合方式不同”的假设。第三，统计可靠性与泛化评测：新构造任务、多样初始条件、更多形态与重复运行，以区分可复用物理能力与任务特定记忆，并给出可靠率而非单次覆盖率。第四，失败机制驱动的闭环改进：把“状态保持、无效动作修正、时序协调、完成识别”作为具体训练目标，或用 RPG/ASPIRE 式技能库、程序修复与仿真练习来验证能否提升成功率。第五，统一预算与成本核算标准，公开轨迹、检查器与原始记录，便于跨模型公平比较与复现。第六，补充与端到端 VLA/WAM 策略的对照，因为本文只测了多模态 agent harness，未与动作生成基线直接比较。第七，扩充动态控制任务（空中、运动）与移动操作任务数量，使领域差异的统计结论更可靠；同时给出更均衡的形态-需求覆盖矩阵，避免由少数任务驱动百分比波动。

本文的定位是把视频事件预测（VEP）从"被动地根据历史依赖外推未来"改造成"主动地桥接因果过渡"。作者认为现有多模态大模型（MLLM）擅长对已观察内容做回顾性总结，但在 VEP 上存在三类系统性缺陷：因果逻辑缺口（无法推理从终止观察状态到未来事件之间的未观察中间状态）、语言先验捷径（靠选项与问题的高文本相似度答题而非看视频）、视觉证据缺失（遮挡、快动作、抽帧稀疏导致关键线索丢失）。VepAgent 的定位即针对这三者分别给出机制：结构化因果过渡推理、Anti-Prior 惩罚、以及诊断工具库的动态证据获取，并用 GRPO 强化学习把这三种能力联合优化。论文将自身描述为"agentic、面向未来的推理范式"，与"回顾式总结"的既有 MLLM 基线划清界限，并声称在 4B 规模模型上超越更大的 MLLM。

VEP 任务要求根据部分观察到的视频，预测最可能发生的未来事件，是主动机器人、自动驾驶、智能监控等应用的基础能力。与描述性视频理解不同，VEP 需要对时间动态做因果理解，核心难点是在不完整视觉证据下连接"已观察现实"与"未观察未来"。相关工作沿三条线展开：其一，脚本事件预测、动作预测与未来事件推理（VLEP、VidSitu、EventFormer、FutureBench、Video-CoE 等），这些工作多聚焦于对已观察时间历史做表征与组织；其二，MLLM 的强化学习后训练（DeepSeek-R1、Video-R1、LMM-R1 等）表明 RL 能激发结构化推理，但更强推理并不等于更强视觉利用，多模态模型仍可能依赖语言先验；其三，工具增强的智能体系统（FAST、MVoT、TACO、VITAL、Video-STAR 等）说明主动获取任务相关证据比固定视觉表征更有效，但多数面向通用视觉理解、识别或长视频，而非 VEP 特有的因果需求。VepAgent 在该背景下主张：VEP 中的工具调用必须服务于"已发生了什么、什么动作尚未完成、预测下一事件需要哪类证据"这三个问题。评估采用 FutureBench（1-Hop/2-Hop/3-Hop/Interp. 与平均）和 NEPBench（Charades/VidSitu/YouCook2 与总体）两个公开基准。

问题形式化。输入为部分观察视频 V、查询 Q、候选未来事件集合 O={o_k}_{k=1}^K，输出为预测事件 y∈O。模型必须从 V 中准确推断终止观察状态 S_final 与正在进行的未完成动作 A_ongoing，再逻辑地桥接"因果逻辑缺口"（即未观察的中间状态转移），以投射下一个物理上合理的状态。这一设定把任务重心放在"终止状态→未完成动作→未来事件"的前向链上，而非历史摘要。 两阶段智能体工作流。Stage 1（观察与工具选择）：模型先形成对 S_final 和 A_ongoing 的初步估计，同时构造未来轨迹的因果假设；当关键状态转移因遮挡、快速运动或均匀抽帧而模糊时，策略网络 π_θ 执行一步工具选择，从诊断工具库 T 中挑出一个子集 C⊆T。Stage 2（因果桥接与工具增强）：执行所选工具一次，把返回证据并入推理上下文后再产出最终预测。最终预测定义为公式(1)：p(y|V⊕V_aug, Q⊕E_aug)=π_θ(V⊕V_aug, Q⊕E_aug)，其中 ⊕ 表示模态特定的增强，V_aug 与 E_aug 分别是增强后的视觉与文本证据。工具输出不是简单拼接，而是各自增强时空理解。 工具库含四个诊断工具：① State Transition Tracker（STT）：重新分析视频，把观察到的事件链与最终状态组织成清晰的文本序列，用于消解动作顺序与状态变化的歧义；② Focused Evidence Retriever（FRE）：在指定时间窗内做稠密抽帧，补偿均匀抽帧造成的动作遗漏；③ Region Focus Magnifier（RFM）：裁剪并放大关键空间区域，检查局部细节（例如手是否已放开物体）；④ Visual Detail Extractor（VDE）：把最终帧中的细粒度视觉事实（如空间关系）转写成显式文本描述，把因果推理锚定在可验证的视觉证据上。四个工具分别对应时间顺序歧义、瞬时动作遗漏、局部区域歧义、被忽略的细粒度事实。 训练数据构造（futurebench-4K）。先用 Qwen3-VL-32B 探索 VEP 训练集：对每个部分观察视频执行 8 次独立策略 rollout，生成多样化的因果推理路径；若至少一条 rollout 在奖励计算所用的同一匹配协议下与真值一致，则视为可解，从而保证预测来自真实视觉状态而非语言先验捷径。随后用 Qwen-VL-Max 作为专家验证器评分，剔除观察状态事实错误、因果桥接逻辑不一致或存在语言先验捷径的链，得到约 4,000 条推理链用于 SFT；其余被确认有效但未入选 SFT 的成功轨迹用作 RL 训练数据。所有数据只来自训练划分以避免泄漏。生成管线为三步：识别 S_final 与 A_ongoing；在关键转移模糊时条件性引入诊断工具以恢复缺失时间证据；桥接因果缺口，演绎未完成动作如何进展到下一物理合理状态并给出未来事件预测。 SFT 冷启动。论文先尝试直接 RL，但观察到 rollout 中工具调用频率持续下降，作者将其归因于工具增强视觉特征与预训练分布之间的目标域分布差异，因此改为 SFT 在前。每个实例表示为 W=(X,Y,Z,O)，其中 X 为输入模态、Y 为任务指令、Z 为结构化推理过程、O 为最终目标输出。SFT 把推理过程与最终答案拼接成完整助手回复 Z~=[Z;O]={z~_1,…,z~_L}，并用公式(2)对整条回复做标准自回归负对数似然优化：L_SFT=−E_{W~D}[Σ_{t=1}^L log p_θ(z~_t | X,Y,z~_<t)]。因此结构化推理 token 与最终 <answer> 输出被联合优化。 强化学习（GRPO）。采用 Group Relative Policy Optimization：对每个查询 q 及其真值解 a，用旧策略 π_θold 采样一组 rollout {o_1,…,o_G}，再按公式(3)优化策略，目标为 −E[ (1/G)Σ_i ( min(r_i(θ)A_i, clip(r_i(θ),1−ε,1+ε)A_i) − β D_KL(π_θ‖π_ref) ) ]，其中 r_i(θ)=π_θ(o_i|q)/π_θold(o_i|q)。KL 项采用公式(4)的估计：D_KL(π_θ‖π_ref)=π_ref(o_i|q)/π_θ(o_i|q) − log(π_ref(o_i|q)/π_θ(o_i|q)) − 1，β 平衡探索与稳定。优势 A_i 由公式(5)的组内归一化奖励给出：A_i=(r_i − mean({r_1,…,r_G}))/std({r_1,…,r_G})。 复合奖励设计。每条轨迹 τ 的最终奖励由格式门控与三项内容奖励构成。R_format 是硬门控：τ 严格遵循 <thinking>/<answer> 结构时为 1，否则为 0。R_acc 是二元正确性指标，预测与真值语义匹配为 1 否则为 0。R_cau（因果缺口奖励）评估模型推理是否真正桥接了未观察中间状态：它把预测的终止状态与因果转移同参考推理做一致性比较，并对"指向未来事件的转移"赋予更大权重；该过程奖励再以预测正确性为条件，防止错误预测获得过高过程分。R_ant（反先验奖励）针对语言先验捷径：对给定查询和 K 个候选中正确选项，用句嵌入余弦相似度计算正确选项相对 Q 的文本相似度排名 k；当预测正确且 K>1 时，R_ant(τ)=(k−1)/(K−1)，否则为 0（公式(6)）。这一连续形式对最明显的文本猜测给 0，对最不明显的给 1，鼓励依赖视觉证据而非浅层文本相似。最终奖励为公式(7)：R(τ)=R_format(τ)·(0.65R_acc(τ)+0.20R_cau(τ)+0.15R_ant(τ))。 因果缺口奖励的实现细节（附录）。用 MiniLM 句嵌入余弦相似度：s_1 为生成的第[1]步终止状态描述，s_34 为第[3]、[4]步拼接；r_1 为参考终止状态，r_4 为参考因果转移。原始一致性分为公式(8)：g_raw=(0.45·sim(s_1,r_1)+0.55·sim(s_34,r_4))/(0.45+0.55)，体现对"朝向未来事件的转移"（权重 0.55）的偏重；若只有一个推理块可用则对该块权重归一化，若两块都缺失则回退到完整 <thinking> 内容。随后按公式(9)以正确性为条件裁剪：R_acc=1 时 R_cau=min(1, 0.20+0.80g_raw)，R_acc=0 时 R_cau=min(0.35, 0.20g_raw)，从而限制错误预测的过程分上限。反先验奖励的排名同样基于 MiniLM 编码查询与各选项的余弦相似度。 训练与超参数。骨干为 Qwen3-VL-4B-Instruct。SFT 约 4K 条构造轨迹、1 个 epoch、有效 batch size 16、学习率 5×10^{-6}；RL 约 5K 条验证轨迹、GRPO 优化 250 步、每样本 8 条 rollout、学习率 1×10^{-6}，最终组大小 G=8，KL 系数 β=0.04，裁剪下界 ε_low=0.2、上界 ε_high=0.3；组件消融统一用 G=4。训练在 8 张 NVIDIA RTX A5000（每张 24GB）上进行。

实验在两个公开 VEP 基准 FutureBench 与 NEPBench 上进行，按各自协议以语义匹配作为判定正确性的标准。主结果对比了多组已报告 MLLM 基线，并同时报告与同规模骨干（Qwen3-VL-4B）的对比：论文声称 VepAgent 在 FutureBench 平均指标与 NEPBench 总体指标上均刷新最强基线，并在 NEPBench 三个子集上取得最高分。消融分为训练阶段（零样本、仅 SFT、SFT+RL、完整工具增强）、工具移除（逐个去掉 STT/FRE/RFM/VDE）、奖励项（仅精度、精度+因果、精度+反先验、完整奖励）以及生成数量（GRPO 组大小）四组。附录补充了工具选择策略（无工具、全工具静态调用、随机工具、动态选择）与时空工具协同（仅时间、仅空间、全组合）两类消融，并给出定性案例：基线倾向于重复已发生事件，而 VepAgent 通过恢复缺失时间证据或解析细粒度状态歧义，从终止状态向前推理到后续事件。所有具体数值以 claims 与原文引用呈现。

1. 在 FutureBench 上，VepAgent(4B) 的平均准确率相较此前最强基线 Qwen3-VL-30B-A3B 有大幅提升。

   VepAgent (4B) raises AVG accuracy by 14.58 percentage points over the prior strongest reported baseline Qwen3-VL-30B-A3B, from 66.86% to 81.44% , under tool-augmented RL and the same 32-frame budget.

2. 在 NEPBench 上，VepAgent 的总体准确率相较此前最强基线 Qwen2.5-VL-72B 有大幅提升。

   VepAgent raises Overall accuracy by 22.70 percentage points over the prior strongest reported baseline Qwen2.5-VL-72B, from 47.50% to 70.20% .

3. 相对同规模 Qwen3-VL-4B 骨干，FutureBench 平均准确率提升显著。

   Relative to the same-size Qwen3-VL-4B backbone (59.09% AVG), this corresponds to a gain of 22.35 percentage points.

4. 相对同规模 Qwen3-VL-4B 骨干，NEPBench 总体准确率提升更大。

   Relative to the same-size Qwen3-VL-4B backbone (42.17% Overall), the gain is 28.03 percentage points.

5. VepAgent 在 NEPBench 三个子集 Charades、VidSitu、YouCook2 上均取得最高准确率。

   On the reported subsets, VepAgent also attains the highest accuracy: Charades 83.46% (next, GLM-4.1V-9B at 45.98%), VidSitu 54.78% (next, Kimi-VL-A3B at 53.06%), and YouCook2 83.57% (next, 64.48% for both GLM-4.1V-9B and Qwen2.5-VL-72B), under the same evaluation protocol.

6. 训练阶段消融显示零样本最低，SFT、RL 与完整工具增强依次带来提升。

   The zero-shot baseline in row (a) yields the lowest AVG accuracy of 59.09%. SFT-only training in row (b) raises AVG accuracy from 59.09% to 71.59%. Combining SFT with RL in row (c) further raises AVG accuracy to 75.09%, and the full tool-augmented model in row (d) reaches 78.79%.

7. 移除任一诊断工具都会降低平均准确率，其中移除 STT 的损失最大。

   removing STT in row (e) , FRE in row (f) , RFM in row (g) , and VDE in row (h) reduces AVG accuracy to 75.66%, 76.99%, 78.31%, and 77.46%, respectively, corresponding to absolute drops of 3.13, 1.80, 0.48, and 1.33 percentage points.

8. 奖励消融显示因果缺口奖励与反先验奖励各自带来提升，完整奖励最高。

   Using only the accuracy reward (i) yields the lowest AVG accuracy of 74.62%, showing that accuracy and format rewards alone are insufficient to guide causal reasoning. Including the causal gap reward in row (j) raises AVG accuracy from 74.62% to 76.42%, illustrating that explicit causal-logic bridging provides useful logical cues even without penalizing language shortcuts. Including the anti-prior reward (k) similarly raises AVG accuracy from 74.62% to 76.33%, confirming that mitigating language-prior shortcuts encourages visual grounding. The full reward in row (l) reaches the highest AVG accuracy among these reward settings, raising it from 74.62% under the accuracy-only reward (i) to 78.79% .

9. 增大 GRPO 生成数量总体上提高平均准确率，最终采用 Num=8。

   Increasing the number of candidate responses from 2 to 8 raises AVG accuracy from 78.60% to 81.44%, although individual metrics show some fluctuations: Num = 2 yields the highest 1-Hop score (84.39%), while Num = 8 (row (p) ) reaches the highest 3-Hop and AVG scores ( 80.10% and 81.44% ).

10. 动态工具选择在平均准确率上优于静态全调用与随机选择，且平均工具调用次数更低。

    Static tool invocation in (b) yields 74.91% AVG, slightly below the tool-free baseline (75.09%), as forcibly injecting all tool outputs can introduce irrelevant evidence that distracts the model from the true causal cues. Random selection in (c) raises AVG accuracy from 75.09% to 76.99% over No Tools, but remains below Dynamic and uses more average tool calls (1.85 vs. 1.13), reflecting the cost of sometimes retrieving uncorrelated spatial or temporal evidence. Our Dynamic Selection in (d) achieves the highest AVG accuracy (78.79%) and the best 1-Hop score (83.82%), with an average call count of 1.13.

11. 时空工具协同消融显示仅用时间或仅用空间工具均不及全组合。

    Relying solely on spatial tools (RFM, VDE) in (b) allows the model to verify local details but fails to capture chronological dynamics, yielding the weakest 3-Hop accuracy (71.64%) and the lowest AVG (75.38%). Conversely, temporal tools (STT, FRE) in (a) clarify action sequences and reach 77.84% AVG, but still fall short of the full model on 1-Hop and AVG. Combining both dimensions in (c) achieves the best overall results (83.82% / 76.12% / 78.79% on 1-Hop / 3-Hop / AVG)

Novelty：Novelty：中等偏上。单项技术（GRPO、工具增强 RL、SFT+RL 两阶段）均非首创，但针对 VEP 的"终止状态→未完成动作→未来事件"因果过渡这一具体问题的组合有区分度。真正的增量在于三点：一是把工具库按 VEP 的失败模式（时间顺序歧义、瞬时动作遗漏、局部区域歧义、细粒度事实遗漏）专门化；二是 Anti-Prior 奖励把"正确选项相对查询的文本相似度排名"转成连续奖励，显式惩罚语言捷径；三是 futurebench-4K 用 rollout+验证器构造带因果过渡链的 CoT 数据。这些都不是颠覆性创新，但整体形成了一套面向 VEP 的可复现配方。 Soundness：Soundness：存在若干需要保留意见之处。数据构造依赖 Qwen3-VL-32B 生成推理链、Qwen-VL-Max 做验证，参考推理本身来自 LLM，可能引入模型偏差并造成自洽循环；"可解"判定与最终奖励共享同一匹配协议，存在选择偏置风险。因果缺口奖励用 MiniLM 余弦相似度做软打分，阈值与权重（0.45/0.55、0.20+0.80 等）缺乏敏感性分析。主结果用最终 G=8，而组件/工具/奖励消融用 G=4，跨表对比不完全同构；没有多随机种子、没有误差棒或显著性检验，部分消融差异（如工具移除的 0.48 个百分点）可能处于噪声水平。基线数量有限，且若干基线来源与评估协议的完全一致性难以独立核验。缺人工评估与幻觉/错误案例分析。 Significance：Significance：中等偏上。VEP 对主动机器人、自动驾驶、监控等前向决策任务有实际价值，论文给出了一个"如何让 MLLM 从回顾式总结转向前向因果推理"的示范。Anti-Prior 奖励与诊断工具库的失败模式分类具有跨任务迁移潜力，尤其对多模态 RL 中普遍存在的"语言捷径/视觉欠利用"问题有借鉴意义。但目前评估仅限两个 VEP 基准、单骨干（4B），且未考察工具调用带来的推理延迟与成本，因此其工程影响力大于当前可确证的理论或生态影响力。

论文自述的局限是：评估仅覆盖 FutureBench 与 NEPBench，更广泛的视频理解设置未测试；未来工作将扩展诊断工具库并把因果过渡推理迁移到这些设置。除此之外，从方法本身还可指出：① 数据与参考推理均由 LLM 合成/验证，可能继承模型偏见，缺少人类标注的独立校验；② 因果缺口奖励依赖 MiniLM 句嵌入相似度，是启发式软信号，可能被表面措辞相似性部分欺骗；③ 反先验奖励只按文本相似度排名，未真正验证模型是否"看了视频"，可能只惩罚了可检测的捷径；④ 动态工具选择为单步、单次执行，无法在推理中迭代修正；⑤ 实验无多随机种子与统计显著性检验，部分消融差距很小；⑥ 未报告推理延迟、工具调用开销、token 成本与错误模式；⑦ 只在 4B 骨干上验证，规模外推性不明；⑧ 32 帧固定预算下未见对帧数鲁棒性的分析。

可跟进方向：第一，把框架迁移到更广泛视频理解设置（长视频 QA、时序定位、开放集未来任务），并扩展工具库（如音频、字幕、3D/几何证据、外部知识检索）。第二，对因果缺口奖励与反先验奖励做更严谨的验证：引入人类标注的因果链评估、消融相似度编码器、比较不同软打分函数，避免 LLM 合成参考带来的循环性。第三，研究多步、迭代式工具调用与何时停止检索的策略，以及工具调用延迟/成本与准确率之间的帕累托前沿。第四，补充多随机种子与置信区间，统一消融与主结果的组大小设置，报告统计显著性。第五，在更多骨干规模与更强闭源/开源 MLLM 上测试，并做跨域迁移（从 Charades/YouCook2 到真实驾驶或机器人视频）。第六，将 Anti-Prior 机制泛化到其他多模态 RL 任务，验证其对"语言先验捷径"的普适性。第七，与几何感知、动作预测、VLA 模型结合，形成从未来事件推理到控制决策的闭环。

本文将两条此前基本分离的研究线接合起来：用户模拟器（user simulator）与交互式 agent 的后训练。作者的核心立场是，模拟器不能只被当作"像不像真人说话"的评测工具，它同时决定了 agent 训练与评测时所接触的轨迹分布；因此模拟器的质量必须沿两个轴评估——对人类交互的保真度，以及在它生成的轨迹上训练出的策略能否迁移到未见过的用户模型。MIMESIS 的定位是一个"为交互式 agent 训练服务"的专用用户模拟器：先通过人类对话中训练、显式推理监督与 13 种现实行为强化学习把模拟器做真实，再冻结它作为多轮 RL 环境训练 agent，并用 CSD 把模拟器的私有思维转化为稠密教练信号。相比 OdysSim/Ditto 等只做模拟器、UserRL 只做 agent 训练的既有工作，本文的卖点在于证明"行为真实"与"学习有用"可以在同一个两阶段流程中同时成立。

背景动机建立在交互式 agent 的评测转向之上：大模型越来越多作为在长轨迹、部分可观测、有状态环境中运行的 agent，成功不能再被还原为单轮正确回答，多轮交互能更忠实地暴露长程推理、状态追踪、指令保持与错误恢复的缺陷。但多轮交互评测带来实际问题：很多任务的轨迹不能只由 agent 与环境决定，用户会提供缺失信息、回答澄清、对中间结果做出反应。直接收集人类轨迹昂贵、难复现、难扩展到评测和强化学习，于是用户模拟器成为常见替代。 问题在于，常见的做法是提示指令调优的助手 LLM 来扮演用户，而助手模型被优化为 helpful 且 explicit，倾向于过度结构化、过度合作、行为同质；与真实用户相比，它们在信息披露、歧义表达、挫败感与交互难度上存在系统差异。是否愿意澄清、耐心程度、对 agent 错误的反应等属性会实质改变测得的 agent 表现，所以模拟器不仅改变对话风格，也改变训练/评测轨迹的分布。作者用 τ-bench 上的校准实验说明这一点：同一个固定 agent 面对真实用户与面对前沿 API 模拟器时成功率差异巨大，而专用训练过的模拟器更接近真实用户带来的难度。 既有研究从两个方向分别推进：purpose-built 用户模型（如 OdysSim、Ditto、HumanLM、Sotopia）提升下一轮真实感、潜在状态建模或行为模拟；UserRL 则研究如何从模拟器生成的多轮轨迹优化 agent。尚未回答的问题是：模拟器能否同时做到行为真实与对学习有用。本文据此把评价拆成"对人类交互的保真度"与"训练策略对评测用户变化的鲁棒性"两层，并设计两阶段训练连接模拟器学习与 agent 后训练。

机制核心是一个两阶段闭环，外加 CSD 作为第二阶段的稠密监督插件。 【阶段一：训练用户模拟器】MIMESIS 在 Qwen3.5 的 4B/9B 骨干上执行三步，两个规格共用同一流程。 第一步是用户侧中训练（supervised mid-training）。给定任务上下文 c 与会话历史 H，模拟器 u_φ(x|c,H) 建模下一句用户话语的分布。训练方式沿用 user language modeling：把前文对话（包括助手轮次）作为上下文，仅把人类用户的下一句话作为预测目标，助手轮保留在条件里、模型只从用户视角续写。数据规模为 62 个语料、约 21.2M 样本、处理 9.51B token；关键配置为学习率 3e-5、约 0.97 个 epoch（5,000 步）、每步 4,096 条序列、最大序列长 24,576，训练期关闭 thinking 并采用 ChatML 模板。此阶段只监督公开话语，不监督"用户为何这么说"。 第二步是思维增强监督微调（ThoughtTrace SFT），用来解决"对话日志记录了用户说什么、却省略了为什么说以及如何解读助手回复"的问题。ThoughtTrace 把人类-助手对话与用户自述的动机、对助手回复的反应配对。对其中 2,155 条有人工标注的对话，模型被监督先产生一条私有推理轨迹、再产生观察到的用户话语；交互时只把公开话语返回给 agent，私有思维不暴露。配置为学习率 1e-7、3 个 epoch、每步 32 条序列、最大长度 32,768，开启 thinking 并使用 Qwen3.5 thinking 模板。直觉是：仅做 response-only 监督可能抑制显式推理生成，且匹配措辞不等于捕捉动机；ThoughtTrace 提供了用户自我报告这一代理信号。 第三步是联合多域强化学习。从 SFT checkpoint 出发，在 SOUL 环境集合与 ABCD 现实行为任务上直接训练同一个共享模拟器，所有域的 rollout 更新同一参数，而非 OdysSim 那种"每任务训专家再蒸馏"的方式。目标为 J_joint = E_d[E_τ~P_φ^d[r_d(τ)]]，用 GRPO 变体（FoldGRPO 优势估计 + PPO-clip，clip 范围 0.2/0.28、dual-clip 常数 10、学习率 8e-6、500 步、每步 64 prompt × 8 rollout = 512 条 rollout、rollout 开启 thinking、奖励/裁判模型为 GPT-5.5）。FoldGRPO 按唯一 rollout 标识计算组内统计，防止同一 rollout 的重复片段在优势归一化中被多次计数。 13 种现实行为是这一阶段的显式训练目标。分类法从 ThoughtTrace 用两阶段流程归纳：先用 GPT-5.6 在 2,155 条对话上做种子码本标注（记录类别、标签、相关轮次、引文、严重度、理由），再按"类别-标签"对合并去重，得到 13 类——隐藏评估标准、增量目标漂移、澄清不合作、不可行坚持、欠指定后指责、意图突变、人为约束堆叠、虚假/错误前提、低信号不耐烦、悬置放弃、自相矛盾、请求过载、贬损/施压，外加中性条件。行为任务在 ABCD 客服场景中实例化：场景提供结构化客户记录与服务政策，模拟器与冻结的支持 agent 交互，最多 8 个模拟用户轮次；例如"被隐藏的信息必须对用户可得、不可行请求必须与某条政策冲突"以保证行为落地在事实之上。每个 rollout 按行为表达 e、时序 p、自然度 n、任务一致性 c 打分，奖励公式为 r_beh = (2.0e + 1.5p + 1.0n + 0.5c)/5.0；若模型"描述"了指定行为而不是通过交互"表达"它，奖励减半。权重设计突出"是否发生行为"与"时机是否恰当"，自然度与一致性则奖励符合场景的逼真互动。这一步的意义在于：不指望这些行为从下一句话模仿中自然涌现，而是把它们做成 RL 的显式目标。 【阶段二：冻结模拟器训练 agent】模拟器训练完成后固定为 u_φ̂，作为多轮交互环境。每轮 agent 从公开历史 H_t 采样 y_t，模拟器生成私有思维与下一句公开用户话语 x_{t+1}；工具调用及结果也进入历史，直到停止条件或轮数上限，形成轨迹 τ。agent 目标为 J_agent(θ;φ̂)=E[R_agent(c,τ)]。训练用多轮 GRPO：采样一组完整对话，任务奖励确定组归一化优势 Â_{i,t}；对第 i 条对话第 t 轮的第 k 个 token，重要性比 ρ_{i,t,k}=π_θ/π_θ_old，裁剪损失为 -E[min(ρÂ, clip(ρ,1-ε,1+ε)Â)]。用户话语与工具输出只进入条件历史，不进入策略损失。模拟器在 agent 优化期间保持冻结。 【CSD：Coached On-Policy Self-Distillation】标量任务奖励不解释用户如何解读某条 agent 回复、也不指出可以如何改进。CSD 利用模拟器在采样中生成的私有思维 z_t 与后续用户话语 x_{t+1} 构造反馈。教练模型 G 接收 (H_t, y_t, z_t, x_{t+1})，生成简短教练笔记 h_t=G(H_t,y_t,z_t,x_{t+1})，回顾式地描述这条回复本可以如何更好地预判用户需求与调整行为；笔记在 y_t 生成时不可用，只用于随后的参数更新。 学习时对同一条采样回复在两个上下文下打分：学生只看到 H_t；教师（当前参数 θ 的 stop-gradient 拷贝 θ̄）额外看到 h_t。逐 token 计算教练教师与无教练学生的对数概率差 Δ_{t,k}=log π_θ̄(y_{t,k}|H_t,h_t,y_{t,<k}) − log π_θ(y_{t,k}|H_t,y_{t,<k})，再取权重 g_{t,k}=σ(β·sg(Δ_{t,k}))，sigmoid 把权重压到 (0,1)，stop-gradient 使权重在学生更新时固定；β>0 控制权重对概率差的敏感度。CSD 损失为 L_CSD = −E_𝒞[g·log π_θ(y|H)]，即加权似然：教练教师比学生概率更高的 token 获得更大权重，负 Δ 的 token 只是弱化而不被直接惩罚。作者强调这与 SDPO 和 On-Policy Context Distillation 的下一 token 分布匹配不同，且直接复用采样回复、不生成替代回复。总损失 L_agent = L_GRPO + α·L_CSD，α≥0 控制教练项的贡献。梯度只更新学生，不穿过教师分数、教练模型或模拟器；部署时 agent 仅从 π_θ(·|H_t) 生成，完全接触不到教练笔记与模拟器私有输出。公式直觉是：把"用户事后的反应"转化为采样回复内部的 token 级重要性权重，在稀疏任务奖励之上提供稠密监督，并用 stop-gradient 保持权重稳定。

本文在多个互补的模拟质量指标上评估不同参数规模的 MIMESIS，对比前沿闭源模型、已发布模拟器与预训练骨干。大规格模型在综合模拟能力上超过最强基线，小规格模型也超过全部已发布模拟器；优势集中在对话交互维度，而在社会模拟与角色扮演上部分闭源模型仍占优。轨迹级保真度的提升主要来自信息流与节奏，而非静态人格属性。下游实验中，在多个 Gym 环境、全部未见过的评估用户模型上，以 MIMESIS 为训练模拟器的多轮 GRPO 一致优于以 GPT-5.5 训练；加入 CSD 后在全部评估用户上进一步加分，均值排名也一致改善。一个重要例外是 Claude-Opus-5 在 PersuadeGym 上出现系统性角色拒绝，该环境分数应解读为模拟器失效而非智能体能力。

1. MIMESIS-9B 在 SOUL-Index 综合得分上超过 Claude-Opus-5、GPT-5.5 与最强已发布模拟器 Osim-8B。

   MIMESIS -9B achieves the highest overall SOUL-Index of 65.7, surpassing Claude-Opus-5 (64.9), GPT-5.5 (64.1), and the strongest released simulator, Osim-8B (58.8).

2. 在 RealUserSim PT3 上，MIMESIS-9B 的行为保真度比最强基线 Claude-Opus-5 高出 13.4 分。

   On RealUserSim PT3, MIMESIS -9B achieves a Fidelity Index of 94.0, exceeding the strongest baseline, Claude-Opus-5 (80.6), by 13.4 points.

3. 摘要宣称相对 Claude-Opus-5，MIMESIS 同时提升行为保真度并降低 SimulatorArena 的 Turing 距离。

   Compared with Claude-Opus-5, the strongest baseline on RealUserSim and SimulatorArena, MIMESIS improves behavioral fidelity by 13.4 points and reduces Turing distance by 3.6 points, respectively.

4. 固定 GPT-5.5 agent 面对真实用户的成功率与面对前沿模拟器/预训练模型的成功率存在明显偏离，说明现成 LLM 会扭曲任务难度。

   A fixed GPT-5.5 agent succeeds on 63.6% of interactions with real users, whereas the three frontier API simulators raise its success rate to 82.4–84.4% and pretrained Qwen3.5-4B/9B reduce it by 16.0 and 14.9 percentage points, respectively.

5. 相对预训练骨干，MIMESIS 的 9B 与 4B 模型在 SOUL-Index 上分别提升 15.2 与 18.0 分。

   Relative to their pretrained backbones, the 9B and 4B models improve by 15.2 and 18.0 points, respectively.

6. MIMESIS 的最大优势在对话模拟轴，两个规格都大幅超过该轴最强基线 Ditto-8B。

   The largest advantage is in conversational simulation: MIMESIS -9B and MIMESIS -4B score 75.1 and 74.4, exceeding the strongest baseline on this axis, Ditto-8B (61.7), by 13.4 and 12.7 points.

7. 行为保真度的提升主要来自信息交换与节奏，而非静态人格属性的恢复。

   Its gains over Claude-Opus-5 are particularly pronounced in interaction and information flow (91.3 versus 69.5) and pacing (91.2 versus 72.5).

8. 在固定 GRPO 目标下，把训练模拟器从 GPT-5.5 换成 MIMESIS-9B 后，在每一个评估用户上都提升了 agent 表现，均值从 26.10 升到 29.54。

   With the GRPO objective fixed, replacing GPT-5.5 with MIMESIS -9B improves overall performance under every evaluation user, raising the mean score from 26.10 to 29.54.

9. 换模拟器带来的单用户增益从 1.46 到 4.55 分不等，最低与最高分别出现在 Claude-Opus-5 与 Gemini-3.8-Flash 上。

   Gains range from 1.46 points under Claude-Opus-5 to 4.55 points under Gemini-3.8-Flash.

10. 在相同 MIMESIS 训练模拟器下，CSD 相对 GRPO 在所有九个评估用户上进一步改善，均值从 29.54 升到 31.09。

    CSD further improves performance under all nine evaluation users, increasing the mean score from 29.54 to 31.09.

11. 按环境内排名的均值（MR）比较，UserRL、UserRL+ 与 CSD 依次递减，支持方法排序的一致可迁移性。

    Averaging MR across users gives 3.42 for UserRL, 2.15 for UserRL + , and 1.75 for CSD.

12. Claude-Opus-5 在 PersuadeGym 上全部拒绝用户角色，使该环境的零分结果应被视为模拟器失效。

    Opus returns stop_reason = "refusal" with no content on all 672 turns; isolated replay reproduces the failure on 5 of 5 requests.

Novelty：新颖性属中等偏上，主要是集成性与机制微调层面的创新。用户侧语言建模、ThoughtTrace 式显式思维监督、GRPO 多轮 RL、以及 SDPO/OCD 的反馈条件自蒸馏都是既有技术，本文未改变任何单一模块的范式。相对新颖之处在于：第一，把显式推理监督与 13 种现实行为的显式 RL 目标组合进统一的用户模拟器训练，并明确反对"靠下一句话模仿自然涌现行为"的做法；第二，CSD 提出加权似然（sigmoid 加权）而非下一 token 分布匹配，并利用模拟器私有思维构造回顾式教练，这在反馈条件自蒸馏家族中是一个具体且有实际意义的变体；第三，13 类行为分类法本身是一个可操作的新资源，但它由 GPT-5.6 从单一数据集归纳，原创性与普适性有限。整体上，单点贡献不激进，但两阶段闭环把"模拟器保真度"与"策略可迁移性"连接起来，作为系统设计有实用新意。 Soundness：严谨性为中等。方法内部逻辑清晰，对照设计也较干净：固定 GRPO 只换训练模拟器、固定模拟器只加 CSD，能分别隔离两个因素的贡献；九个评估用户上的一致改进与 MR 排序强化了可迁移性结论；对四个评测维度（能力、保真、校准、下一轮真实感）做了区分。但存在若干实质性弱点：核心卖点"对人类交互的保真"只通过 τ-bench 单一固定 agent 的校准间接支持，没有真正的真人用户迁移实验；九个评估用户全是 LM 模拟器，可能共享行为偏差，无法排除"模拟器到模拟器"的假性泛化；SOUL 环境被用于 RL 训练，而 SOUL-Index 又用于评测，训练/评测可能重叠，论文未充分说明严格 held-out 划分；行为分类法、合并与奖励裁判大量依赖 GPT-5.5/5.6 私有模型，存在循环验证与不可复现风险；Claude-Opus-5 在 PersuadeGym 的全量拒绝使该环境结果无效；CSD 的均值增益幅度较小，且论文未报告方差或显著性检验。总体来看内部一致、外部效度证据不足。 Significance：若结论成立，这项工作对 interactive-agent 后训练有较高的实践意义：它提供了一个把用户模拟器从"表面自然"升级为"行为真实且可用于 RL"的完整配方，并给出"保真度 + 策略迁移"的双轴评价框架，可能推动模拟器成为 agent RL 的标准环境生成器。CSD 的思路——把用户事后反应变成 token 级稠密监督，同时部署时只依赖公开对话——也有望迁移到其他多轮交互训练场景。不过其当前影响力受限于：缺乏真人验证、依赖私有裁判与标注模型、以及模拟器之间可能共享偏差；因此短期更像方法论与基准层面的贡献，尚不足以确立为通用实践。

局限主要有以下几类。一是人类迁移未验证：九用户面板只衡量语言模型模拟器之间的泛化，论文自己也承认"向真实用户的迁移仍未测试"，且不同模型家族的模拟器可能共享行为偏差；模拟器生成的思维用于教练只是模型解读，不是人类心理状态观测。二是评测效度风险：SOUL 环境参与联合 RL 训练，SOUL-Index 又被用作核心评测，存在训练/评测重叠或污染的可能，正文未给出严格 held-out 保证；13 类行为分类法的标注、合并均由 GPT-5.6 完成，奖励与裁判也用 GPT-5.5，存在循环验证与对私有模型的依赖，复现困难。三是结果稳健性：CSD 相对 GRPO 的增益幅度较小，且论文未报告方差、置信区间或显著性检验；Claude-Opus-5 在 PersuadeGym 上全部拒绝角色导致该环境的零分不可解释，削弱了部分表格的可信度。四是方法与数据层面：中训练规模很大但 ThoughtTrace SFT 仅 2,155 条，思维监督的独立贡献可能与 RL 混淆；行为频率描述的是标注样本而非总体，也不等于 RL 采样分布；13 类行为来自单一数据源，领域普适性未验证。五是未说明是否开源模型、数据或代码，影响独立复现与后续研究。

可跟进的方向包括：第一，做真人用户 in-the-loop 评测与 RL，验证策略在真实交互中是否保持优势，这是论文最需要补的证据。第二，对裁判/奖励模型做消融与多裁判一致性检验，换开源裁判或反事实奖励，排除奖励黑客与 GPT 系模型循环验证。第三，明确 SOUL 训练集与 SOUL-Index 评测集的无重叠划分，报告严格 held-out 结果。第四，报告 CSD 的方差与显著性，跨随机种子、α 与 β 灵敏度、教练模型消融（去掉私有思维、换成真实人类反馈或仅用公开话语），并区分教练笔记中"思维信息"与"后续话语信息"的各自贡献。第五，把 13 类行为与思维 SFT 的贡献逐项隔离，量化每一阶段对下游 agent 学习效用的增益。第六，扩展到非客服、非英语领域，检验行为分类法的普适性。第七，研究模拟器拒绝/角色崩溃的检测与修复机制，为拒绝型输出设计 fallback 与评估修正。第八，用多模拟器集成或对抗式用户降低共享偏差，增强策略鲁棒性。第九，若许可允许，发布可复现权重、数据与 CSD 实现。第十，把附录中的 CSD 理论分析扩展为完整的收敛条件，建立加权似然目标与优势/价值函数之间的正式联系。