2026-09-24

本文把“3D 一致的生成”重新定位为表示问题而非单纯的建模问题。作者认为视觉生成器产生几何漂移，不是因为它缺少一个几何输出，而是因为它在“外观为中心的潜变量”上演化；而感知模型恢复的几何处于语义丰富、编码跨视角结构的空间。GAE 的定位是用几何基础模型（DA3）的特征重新参数化出一个紧凑、几何原生的潜空间，作为感知与生成的共同接口。具体做法：冻结 DA3 编码器与 DPT 几何头，在两者之间插入可训练瓶颈，把四层特征压缩为单一潜变量，同一潜变量可解码 RGB、深度、相机与点图；再在此标准化潜空间上训练一个 DiT 条件流。贡献边界刻意收窄：不主张新生成器或新几何模型，而是通过“固定生成器与训练协议、只替换潜变量”的受控对比，证明潜空间本身对几何一致性至关重要。

几何基础模型（如 DA3、VGGT 等）能从少量真实视角恢复在共同三维坐标系中一致的深度、相机与点图，但视频生成器产出的视角其几何会漂移、相机轨迹偏离指定路径。已有潜表示各有短板：像素 VAE（SD-VAE、WAN2.1 VAE）保外观但弱结构；语义表示自编码器（RAEv2）语义邻域好但没有原生几何读出；原始 DA3 特征几何原生但维度高、条件数极差。通常补救方式是在外观潜变量旁边外挂相机控制、对齐表示或几何后训练，作者认为应让感知与生成共享同一个几何原生潜空间。 几何基础模型的解码器依赖多层特征而非单一表示：浅层保细节与跨视角对应，深层提供语义与结构互补，但各层信息互补且冗余。GLD 用多级流级联直接建模层级，但“多级耦合状态”对生成不友好；单取一层又丢失几何解码所需信息。作者以 DA3 为受控案例具体化这一感知-生成失配：没有任何单层同时具备语义、空间、跨视角结构，又能提供平滑、良态的生成传输。因此问题不在于几何信息缺失，而在于原始参数化不适配生成。 据此 GAE 提出三条原则：（1）保留感知模型已编码的几何；（2）把外观与几何统一到单一紧凑表示；（3）把该表示组织成适合流建模的形式。相关技术背景包括流匹配（Lipman 等）、DiT 架构、REPA 式的表示塑形、SCoPE 的 Plücker 射线条件、DINOv2/C-RADIO 教师特征，以及 DA3、VGGT、MEt3R 等几何评测器。

方法分两阶段：Stage 1 训练“几何原生编解码器”（codec），Stage 2 冻结 codec 并在其标准化潜空间上训练条件流模型（式 1）。 一、Stage 1：几何原生 codec 冻结的 DA3 编码器对 V 个视角各产生四层特征层次 F_v^{0:3}={f_{v,ℓ}}，每层 f_{v,ℓ}∈R^{N×C_ℓ}，N=h_p·w_p 为 patch token 数。先用固定训练集逐通道统计量 m_ℓ、s_ℓ 对各层归一化，再把 patch token reshape 回空间网格并按通道拼接成融合张量 X_v∈R^{C_x×h_p×w_p}，C_x=ΣC_ℓ（式 3）；逐层归一化防止高方差通道主导融合。codec 仅压缩通道维，保留 DA3 patch 网格：Enc_φ 输出 (μ_v, log σ_v²)，z_v=μ_v+ε_v⊙exp(0.5 log σ_v²) 为 VAE 式采样（式 4-5），Dec_φ 重建四层层次 F̂_v^{0:3}（式 6）。C_z∈{64,128}，远小于单层 3,072 通道。编码器/解码器是带空间自注意的轻量卷积金字塔，保留 patch 布局并允许长程混合；KL 权重很小，不把瓶颈逼成强正则的 VAE 区制。codec 训练时采样 z_v，流训练/推理时用后验均值 μ_v。 解码端双读出（式 7）：学习式 RGB 头 D_θ^rgb 从紧凑潜变量渲染外观；冻结的原 DA3 DPT 头 H_DPT 从重建层次读几何（深度、射线、点图）。冻结 H_DPT 是关键：几何头无法适应压缩损失，重建几何必须仍能被原 DA3 头读取。codec 目标（式 8）为 L_codec=L_feat+λ_kl·L_kl+L_rgb+L_geo+L_repr。L_feat 是加权逐层特征重建；L_rgb 是像素+感知项；L_geo 监督深度与射线，其目标是“冻结 DA3 头作用在原特征上的伪目标”，而非真值标注；L_repr 负责潜空间组织。 二、表示塑形 L_repr（式 9-11） 作者区分“重建决定保留什么”与“表示监督决定如何组织”。仅重建的 codec 虽紧凑良态，但传输平滑度与语义邻域弱。先用逐 token 对齐：把后验均值 μ_{v,i} 经投影 g_η 后与共位置 C-RADIO 特征做 ℓ2 归一化余弦对齐（L_tok），改善传输平滑度与语义邻域，但逐位置独立处理会破坏 token 间关系，使 LDS/SRSS 骤降、跨视角对应略弱。再用冻结 DINOv2 的成对相似度在原始后验空间直接匹配（L_struct），恢复关系几何；它无需师生通道维一致。总项 L_repr=λ_repa(L_tok+λ_μ·L_struct)，λ_repa=0.25，λ_μ=8.0。教师与投影头在 codec 训练后丢弃。训练后取 z_v:=μ_v，并按训练集统计量逐通道标准化（式 12）。 三、Stage 2：条件流匹配 冻结 codec 后只对标准化后验均值建模。线性路径 z̄_t=(1-t)z̄^gt+t·ε，目标速度 ε−z̄^gt；网络按 RAEv2 方式预测干净潜变量 z̄̂^gt=f_ψ(z̄_t,t,C)，再转成速度 û_t=(z̄_t−z̄̂^gt)/max(t,t_ε)，t_ε=0.05（式 13-16）。流骨干是 DDT 式 DiT：28 个宽度 768 的编码块 + 6 个宽度 2048 的解码块，1×1 潜 token，跨视角自注意，时序用帧轴 rotary 嵌入，共享流骨干约 0.93B 参数；时间步在片段内共享。单个 transformer 联合建模全部目标视角，直接在紧凑几何原生状态内做跨视角交互。 四、推理对齐的条件设计 条件集 C={z̄^ref, r, e_text}，只有 V 个被请求输出潜变量是噪声 ODE 状态。几何编码器是 set-conditioned：参考图与目标视图联合编码的特征与单独编码不同，因此把全集合参考潜变量直接放进流状态会造成训练/推理失配。GAE 只用观测参考作为编码上下文，联合编码 K 个参考得到干净潜 token z̄^ref（式 17），赋予 t=0，前置并与全部 V 个噪声状态 token 一起自注意，但移出解码预测头；所有 V 个输出槽（含参考相机位姿处的输出）仍是普通噪声流变量，从而用单一标准 Euler 采样，无需 clamp 参考槽。 相机条件用度量 Plücker 射线：对每个潜单元构造世界空间 (d, m=o×d)，分解为方向 d、归一化矩 m̂=m/(‖m‖+ε) 与 log 尺度 s=log(‖m‖+ε)（式 18），s 在有度量相机 sidecar 时保留平移尺度。按 SCoPE 方式把射线嵌入调制 query/key 自注意，使 token 交互显式依赖对应相机射线。文本由冻结 Qwen3-0.6B 特征经交叉注意注入。文本/相机/参考独立 dropout（受控模型 0.10/0.05/0.05）让同一权重支持纯文本、相机控制、参考条件与联合条件，dropout 分支同时提供 CFG 的无条件预测。 五、训练与数据 Stage 1 在混合单/多视角数据上训练 codec 与 RGB 头，冻结 ℰ 与 H_DPT。Stage 2 受控协议：9 个 252² 视角的片段，来自 RealEstate10K 与 DL3DV 等量混合，1-4 个前缀视角作参考；8 GPU，BF16，AdamW β=(0.9,0.95)，零权重衰减，梯度裁剪 1.0，EMA 0.9995，学习率 2k 步升温到 1e-4 后按 100k 步余弦衰减至 1e-6；帧间隔 RE10K 为 10、DL3DV 为 1。定性最终模型单独训练：672×378、81 视角片段、1-4 前缀参考，80 GPU，基础学习率 5e-5，500 步升温，60k 步余弦至 1e-6，数据混合含 RealEstate10K、DL3DV、ScanNet++、MVS-Synth、SpatialVID、OmniWorld 及内部数据集；文本/相机/参考 dropout 为 0.10/0.20/0.20，81 视角训练用 shift 6.364、单视角协同用 4.5 的 logit-normal 时间采样。推理从 z̄^(1)~N(0,I) 积分，受控评测用 50 Euler 步、CFG=2，解码 RGB 与几何。

实验分四层推进：先做潜空间诊断，再测编解码重建，随后进行受控流生成对比，最后做消融与定性展示。诊断表明 GAE 在传输平滑、谱条件、语义邻域、单图空间结构与跨视角对应之间取得最佳总体平衡，而像素 VAE 良态但弱结构、语义 RAE 语义强但无几何读出、原始 DA3 特征几何原生却维度过高且条件数极差。重建上 GAE 以显著更少的通道数在 RGB 保真上匹配原始几何浅层，并在深度、点图、相机位姿上优于原始单层基线。受控流生成中，GAE 在 RGB 分布质量、独立相机恢复、跨视角一致性与几何解码上全面领先像素、语义与原始几何潜变量，且外观增益不牺牲相机控制。消融证实表示塑形、干净参考 token、度量射线条件与文生图协同训练各自有效。另有高分辨率长序列与文生图的定性能力展示，不进入受控排名。

1. GAE-64 在 RealEstate10K 上把 FVD 相对最强非 GAE 受控潜变量降低 12.7%，在 DL3DV 上降低 23.1%。

   GAE-64 gives the strongest overall results on both datasets, reducing FVD by 12.7 % 12.7\% on RealEstate10K and 23.1 % 23.1\% on DL3DV relative to the best non-GAE controlled latent.

2. GAE-64 把 VGGT 相机轨迹 ATE 在 RealEstate10K 上降低 52.8%，在 DL3DV 上降低 23.3%。

   GAE-64 reduces ATE by 52.8 % 52.8\% on RealEstate10K and 23.3 % 23.3\% on DL3DV

3. GAE-64 与 GAE-128 分别在 RealEstate10K 与 DL3DV 上取得最佳受控 MEt3R（0.1208 与 0.1347）。

   GAE-64 and GAE-128 achieve the best controlled MEt3R on RealEstate10K ( 0.1208 0.1208 ) and DL3DV ( 0.1347 0.1347 ), respectively.

4. 原始 DA3 各层虽有 3,072 通道，但只张成约 11 个有效维度，条件数从 1e8 到 1e16。

   individual levels remain highly redundant and anisotropic: despite having 3,072 channels, they span only about 11 effective dimensions, with condition numbers ranging from 10 8 10^{8} to 10 16 10^{16} .

5. GAE-128 在 PSNR、LPIPS、rFID、rFVD 上匹配或略超原始 DA3 L0，同时只用其 1/24 的通道数。

   GAE-128 matches or slightly exceeds raw L0 across PSNR, LPIPS, rFID, and rFVD while using 24 times fewer channels.

6. 两个 GAE 变体在两个数据集上的深度、点图与位姿指标均优于原始 L0 基线。

   Both GAE variants improve on this baseline across depth, point-map, and pose metrics on both datasets.

7. 在 DL3DV 上，GAE-64 在受控几何原生方法中六项几何指标全部领先。

   On DL3DV, GAE-64 leads all six geometry metrics among the controlled geometry-native methods.

8. 文生图协同训练把 RealEstate10K 消融中的 FVD 从 472.9 降到 225.7、LPIPS 从 0.199 降到 0.143。

   Without T2I co-training | 472.9 | 16.77 | 0.1262 | 0.199 With T2I co-training | 225.7 | 20.02 | 0.1208 | 0.143

9. 度量射线条件把 SE(3) ATE 从逐场景归一化位姿的 0.0346 降到 0.0093。

   Per-scene normalized pose | 350.7 | 16.28 | 0.1290 | 0.0346 Metric pose | 225.7 | 20.02 | 0.1208 | 0.0093

10. 逐 token 对齐把单视角传输复杂度 ρ 从 0.820 降到 0.700，但 LDS 从 0.240 骤降至 0.020；再加结构损失恢复 LDS 至 0.444、SRSS 至 0.553，同时 ρ 保持 0.674。

    None | 0.820 | 130 | 58.0 | 0.630 | 580 | 20.0 | 0.310 | 0.240 | 0.300 | 0.590 ℒ tok \mathcal{L}_{\mathrm{tok}} | 0.700 | 170 | 53.0 | 0.570 | 450 | 26.0 | 0.490 | 0.020 | 0.030 | 0.580 ℒ tok + ℒ struct \mathcal{L}_{\mathrm{tok}}+\mathcal{L}_{\mathrm{struct}} | 0.674 | 227 | 51.3 | 0.564 | 356 | 45.2 | 0.498 | 0.444 | 0.553 | 0.591

11. 受控对比在每数据集 64 个留出场景上，用九视角 252²、一个参考视角、50 Euler 步与 CFG=2 统一采样评测。

    The main comparison uses shared held-out pools of 64 scenes from RealEstate10K and DL3DV. Each example contains nine views at 252 2 252^{2} with one reference view; all target views are sampled jointly using 50 Euler steps and CFG = 2 =2 .

Novelty：新颖性中上。核心不是发明新的生成器或几何模型，而是把“几何一致性”的干预点前移到潜空间：冻结 DA3 编码器与几何头，在二者之间学一个单一瓶颈，让 RGB 与几何共享同一状态。这与 GLD 的层级级联、Gen3R 的独立几何潜变量形成清晰对照。真正有新意的细节有二：其一是“重建决定保留什么、表示监督决定如何组织”的两层设计——用 C-RADIO 做逐 token 对齐、用 DINOv2 做成对相似度匹配，把 REPA 式表示塑形从去噪器内部搬到编码器潜空间；其二是推理对齐的参考条件设计——参考图像只作为 t=0 的干净 token、不进入 ODE 状态，解决 set-conditioned 几何编码器的训练/推理失配。总体上更接近对现有组件（DA3、DiT 流、REPA、SCoPE 射线）的系统整合与定位创新，而非范式突破。 Soundness：方法学上最扎实之处是受控实验：同一流架构、同一训练预算、同一采样协议，只替换潜编码/解码器，能较干净地隔离“潜空间”变量；并用 VGGT、MEt3R、Pi3 等独立评测器减少用 DA3 自评的循环偏差。主要疑点：一，“匹配协议”以 GAE 为中心，像素/语义潜变量未必在该配方下达到自身最优，存在基线不公平风险；二，几何监督是冻结 DA3 头对原始特征的伪目标而非真值，几何质量上界受教师模型限制，且几何解码仍走 DA3 头，保留一定自洽性；三，最终大模型只有定性展示，缺少定量基准，长序列漂移结论无数值支撑；四，诊断指标与下游生成质量的因果链部分依赖直觉，缺少更细的敏感性分析。 Significance：若结论成立，其意义在于为世界模型/3D 视频生成提供一条低成本路径：不重训几何基础模型，只在其特征上加一个紧凑编解码，即可让生成直接发生在可被几何头读取的状态上，并可能推动“感知-生成共享表示”成为默认架构选择。但当前显著性受限于 DA3 单一骨架与 RealEstate10K/DL3DV 两个数据集；像素级/语义级竞争者的受控劣势也需在更公平的调参下复现。若能在其他几何骨干、更大规模视频与真实下游任务上泛化，其价值会明显上升。

一、强依赖 DA3：几何上界与读出接口都由冻结 DA3 编码器/DPT 头决定，换几何骨干未必直接迁移；几何监督是伪目标而非真值，无法纠正 DA3 自身的系统偏差。 二、压缩方式有限：GAE 只压缩通道维、保留 patch 网格，token 数不随 C_z 减少而降低；长视频时 ODE 状态随视角数线性增长，训练 81 视角已需 80 GPU，可扩展性存疑。 三、受控基线公平性：所有潜变量共用为 GAE 调的流配方、学习率与采样协议；像素/语义/原始几何潜变量未做各自调参，其劣势可能被放大。 四、评测范围窄：定量只在 RE10K 与 DL3DV 的 64 个留出场景、九视角 252² 上完成；最终高分辨率 81 视角模型只有定性结果，无 FVD/ATE 等数值，难以判断规模化的真实收益。 五、表示塑形成本与可解释性：需要 C-RADIO、DINOv2 两个冻结教师及投影头，且 L_repr 权重（0.25、8.0）与诊断指标的因果解释尚不充分，缺少对教师选择、权重的敏感性分析。 六、几何评测的部分闭环：几何解码仍由 DA3 DPT 头完成，跨检查与“几何原生”主张之间存在一定循环；虽然 VGGT/MEt3R/Pi3 是独立评测，但生成态本身由 DA3 特征构建。 七、尺度与文本问题：度量射线依赖 sidecar 相机尺度信息，逐场景归一化位姿会破坏尺度；文生图能力仅作定性展示，文本对齐、多样性与构图控制未被系统量化。 八、单目深度伪监督下，深度采用逐视角中位尺度对齐，可能掩盖跨视角深度尺度不一致；点图误差依赖相机轨迹的 Sim(3) 对齐。

一、骨架泛化：把同一 codec+流框架换到 VGGT、MASt3R 等其他几何基础模型，检验“几何原生潜空间”是否与具体教师解耦；也可尝试多个几何骨干的联合蒸馏。 二、真值监督与联合微调：用真值深度/位姿/多视角几何替代 DA3 伪目标，或在 Stage 2 生成目标中加入可微几何损失，量化教师偏差对最终生成的影响。 三、大规模定量：给 81 视角、672×378 的最终模型补 FVD、VGGT ATE、MEt3R、Reproj 与长序列闭环漂移指标，验证“随规模继续受益”的结论。 四、视频动力学与闭环一致性：当前重点是静态多视角世界，后续可研究相机连续运动下的时序一致性、闭环回环时的位姿/外观一致性，以及从生成几何反投影再渲染的往返误差。 五、下游任务验证：测试该潜空间能否直接服务深度估计、相机位姿、SLAM、3D 重建或作为世界模型的观测接口，证明“感知-生成共享表示”不只是生成侧收益。 六、效率与压缩：探索 patch 降采样、层次化/时空调制潜变量或视频压缩，降低 ODE 状态长度与 80 GPU 级训练成本。 七、条件与可控性扩展：语言与几何空间的细粒度 grounding、世界坐标系一致性、动态场景/物体运动、更多参考视角与更长前缀的推理对齐。 八、公平基线研究：为像素、语义、原始几何潜变量各自做轻量超参扫描，检验受控结论在更公平协议下是否稳健。 九、理论/诊断：建立 L_repr 各分量与流模型收敛速度、采样误差之间的关系，分析为何 token 对齐破坏空间结构而结构匹配可恢复，以及这些指标的生成效用边界。

本文提出 Grounded Action Model（GAM），主张机器人基础模型的预训练基础应从“视觉-语言”或“视频生成”转向“可提示的 3D grounding”。作者把 GAM 定位为一种新范式：以冻结的可提示 3D 检测骨干 WildDet3D 为政策基础，将语言、2D 点、2D 框统一转换为目标中心的 grounded observation，再训练动作头预测动作 chunk。其核心论点是：预训练若明确暴露“哪些物体重要、它们在哪、占据什么几何”，比语义理解或视觉预测更直接地支撑操控学习，尤其能在目标被移动、重新指定或场景视觉变化时保持稳健。论文在 RoboTwin 2.0、LIBERO-PRO 与两台真实机器人上验证，并展示通过点接口与 VLM 规划器组合完成长程与记忆依赖任务。

当前机器人基础模型主要建立在两类预训练骨干上。vision-language-action models（VLA，如 π0、π0.5、OpenVLA）适配视觉-语言骨干，迁移图像-文本语义知识；world-action models（WAM，如 AHA-WAM、FastWAM、X-WAM）建立在视频生成骨干上，迁移时空先验并耦合视觉未来与动作。论文指出，语言生成目标可以识别物体并描述关系，却不要求精确 3D 位置与范围；视频生成目标偏向外观、纹理、背景等与操控未必相关的变化。因此动作学习器必须用机器人演示把这些表示连接到空间精确的运动，演示覆盖有限时容易依赖视觉相关，导致物体移动、背景变化或更换目标时失效。 此前也有工作引入显式空间结构：体素表示与点云多视图、VLA 内的几何感知表示、物体感知正则化、选择性视觉表示、语言条件 3D 值图、空间 affordance 预测、visual trace 或轨迹引导等。GAM 的差异化在于用一个单一的可提示 3D grounding 骨干，把语言/点/框三种任务提示统一解析成同一 grounded observation，并在政策训练期间冻结该骨干。评估所用的 RoboTwin 2.0 检验干净/随机化场景，LIBERO-PRO 检验位置、物体外观、语义措辞与目标/目标物四类测试时扰动。

GAM 由冻结的可提示 3D 检测骨干 𝒢（WildDet3D）与可训练动作头组成。给定任务提示和当前图像，𝒢 识别并定位任务物体；动作头使用其视觉与几何表示、机器人状态历史和语言嵌入预测绝对关节位置目标 chunk。训练时只优化动作头（图像适配器、含点云编码器 φ 的检测适配器、条件融合层、语言投影、多流动作 transformer），𝒢 保持冻结。 （一）从提示到检测。t 时刻输入 RGB o_t 与任务规范 ℓ（语言、2D 点或 2D 框），指示 N 个任务物体。语言输入由在冻结 Flan-T5 编码器上、用合成指令模板训练的 span-tagging 头抽取物体短语，例如“pick up the sponge and place it in the bowl”得到 sponge 与 bowl 两个 grounding query；点和框输入则直接指定物体。查询送入 WildDet3D，每个物体得到 2D 检测框 u_i 与度量 3D 框 b_i，同时预测稠密度量深度图 D̂_t，并暴露视觉骨干的稠密特征 F_t = Enc_𝒢(o_t)。三种提示方式都映射到同一物体中心表示，因此 VLM 规划器可以用 2D 点选物体，语言单独说明操作。 （二）从检测到观测。图像 token：将 F_t 平均池化到 G×G 网格（G=16），保留与任务物体 2D 框或机器人臂 silhouette 重叠的 cell；silhouette 由 URDF 网格经前向运动学投影到相机得到。保留条件为：某 u_i 覆盖该 cell 至少 30% 面积，或机器人 silhouette 覆盖超过 10%。其余 cell 特征置零，共享线性适配器把网格映射为 G² 个图像 token。该设计保留被选物体及其与夹爪的空间关系，同时抑制无关区域。检测 token：用预测深度和定向 3D 框构造度量几何。深度图按相机内参反投影并变换到机器人基座，得到场景点云；在略微膨胀的 b_i 内裁剪出物体点云，采样 P=512 个点。框提供中心 c_i、范围 e_i、旋转 r_i。点云编码器 φ 使用共享逐点 MLP，并以全局最大池化、全局均值池化、围绕质心的八个八分体各自最大池化聚合，得到 512 维形状特征 φ(P_i)。物体描述子为 z_i = [ũ_i, c_i, γ(c_i), φ(P_i), e_i, r_i]，其中 ũ_i 是归一化 2D 框，γ(c_i) 是中心 8 个频率的 Fourier 特征，r_i 是旋转 6D 表示。线性适配器把 z_i 映射为 M=8 个宽度 d 的检测 token，N 个物体共 N×M 个；未检测槽用可学习 null token 占据全部 8 个位置，保持 token 预算。检测 token 直接暴露估计的形状、位置、范围和朝向。状态历史 token 与融合：把当前帧与前一帧关节位置拼接并投影为单个状态历史 token，提供当前构型与最近运动。图像、检测、状态历史 token 加可学习模态嵌入后经过共享自注意力层做条件融合，得到 C ∈ R^{L×d}，其中 L = G² + M N + 1。融合序列保留各模态的 token 位置，使动作 transformer 能把图像、检测、状态历史作为独立流处理。 （三）从观测到动作。动作头是 12 层的多流 transformer（MM-DiT）v_θ，预测绝对关节位置目标 chunk A_t=(a_t,…,a_{t+H-1}) 与夹爪指令。四流为：C 中的图像、检测、状态历史段，以及被嵌入为 H 个动作 token 的噪声 chunk A_t^τ。动作与条件 token 各带可学习位置嵌入；每层每流有独立的 query/key/value、输出投影、前馈网络与自适应 LayerNorm 参数，时间步与语言条件通过自适应 LayerNorm 注入；拼接 token 上的联合注意力实现四流信息交换。RMSNorm 加小 MLP 把动作 token 映射为预测速度。语言条件：指令句嵌入 e_s∈R^768，其学习投影被加到 flow 时间步嵌入上，即 h_{τ,s}=TimeEmbed(τ)+W_ℓ e_s+b_ℓ，其中 W_ℓ∈R^{576×768}、b_ℓ∈R^{576}。该向量调制每个 transformer block 的自适应 LayerNorm，提供操作语义；W_ℓ 与 b_ℓ 零初始化，不引入额外 token。 （四）训练与推理。采用 flow matching：对演示 chunk A_t，噪声 ε∼N(0,I)，τ∈[0,1]，构造 A_t^τ=τA_t+(1−τ)ε，模型预测速度 A_t−ε，损失为 L=E_{A_t,ε,τ}[||v_θ(A_t^τ|τ,C,e_s)−(A_t−ε)||²₂]。推理时从高斯噪声出发，用 K 个 Euler 步把 v_θ 从 τ=0 积到 1。数据细节：RoboTwin 2.0 每任务使用 50 条干净演示训练、100 次 rollout 评估；骨干先在仿真状态导出的 2D 框、3D 框与深度上单独微调以适配渲染域，无需人工标注，冻结后每任务只训动作头。LIBERO-PRO 在四个 suite 的演示上训练单一策略。真实机器人上，YAM 每组合 25 条演示，Franka 每任务 50 条演示。 （五）部署。episode 开始时 𝒢 解析语言中的物体短语，或直接接收点/框。CoTracker3 跟踪初始检测框内的点并把它们作为 𝒢 的提示，跨帧保持物体关联。每次策略查询时 𝒢 重建当前 grounded observation，动作头用 K 个 Euler 步预测 chunk，执行规定数量的动作后再查询。对长程与记忆依赖任务，规划器用当前图像和 episode memory 在子任务切换处选择新目标，通过新点提示重启 tracker，动作策略跨子任务保持不变。

实验按四个问题组织：Q1 在 RoboTwin 2.0 的双手任务上比较 GAM 与动作策略、VLA、WAM 在干净与随机化场景的表现；Q2 在 LIBERO-PRO 的十六个扰动设置上检验位置与目标泛化；Q3 在两台真实机器人上检验直接目标指定以及 VLM 规划器驱动的长程/记忆任务；Q4 通过消融检验目标中心过滤与视觉/几何双流的作用。总体结论是：GAM 在随机化、目标重定位、新指定目标、视觉平移以及规划器组合场景中优于所比基线，消融支持其 grounded 观测构造的贡献；但在物体外观/尺寸扰动上存在明显短板。

1. 在 RoboTwin 2.0 上，GAM 平均成功率 55.3%（50 个任务），高于 Spatial Forcing 的 52.0%，且动作策略仅用干净场景演示训练时随机化场景达 47.6%。

   On RoboTwin 2.0, GAM achieves an average success rate of 55.3% across 50 tasks (vs. 52.0% for Spatial Forcing), including 47.6% under scene randomization (vs. 30.4% for Abot-M0), with its action policy trained only on clean-scene demonstrations.

2. 随机化设置上 GAM 达 47.6%，较次优 30.4% 高出明显，并保留其干净场景性能的 76%（63.0%→47.6%）。

   The margin is largest in the randomized setting, on which no method is trained: GAM reaches 47.6%, versus 30.4% for the next best entry, and retains 76% of its clean performance (63.0% to 47.6%).

3. 最强 co-trained VLA/WAM 在干净场景高于 GAM（Spatial Forcing 77.2%、FastWAM 77.8%），但随机化下分别跌至 26.7% 和 1.9%。

   The strongest VLAs and WAMs, co-trained on all 50 tasks, reach higher clean success than GAM (77.2% for Spatial Forcing and 77.8% for FastWAM), yet fall to 26.7% and 1.9% under randomization, and the best VLA and WAM entries on Hard remain at 30.4% and 25.8%.

4. LIBERO-PRO 的 16 个扰动设置上，GAM 平均 0.61，超过 π0.5 的 0.53。

   On LIBERO-PRO [ 10 ] , it achieves the highest average across 16 perturbation settings (0.61 versus 0.53 for π 0.5 \pi_{0.5} [ 3 ] ), with the largest gains when targets are relocated or newly designated.

5. 位置扰动（Pos）下，GAM 在 Spatial 达 0.60、Object 达 0.47，为最佳基线的两到三倍。

   Under Pos, the target appears at a location never seen in training, yet the grounded observation still localizes it and the policy follows the detection: GAM reaches 0.60 on Spatial and 0.47 on Object, two to three times the best baseline.

6. 任务扰动（换目标）下，所有基线低于 0.11，而 GAM 在 Spatial 达 0.88、Object 达 0.50、Goal 达 0.16。

   The memorized trajectory is therefore exactly wrong, and every baseline stays below 0.11 on all four suites. GAM reaches 0.88 on Spatial, 0.50 on Object, and 0.16 on Goal, because grounding the new target changes the detection tokens and the policy acts on the newly grounded object at its actual location.

7. YAM 上两者 ID 均为 19/20；视觉平移下 GAM 保持 17/20，π0.5 降至 4/20，保留率分别为 89% 与 21%。

   On the YAM, both methods achieve 19/20 successes in distribution. Under visual shift, with each system retaining its respective interface, GAM achieves 17/20 successes, compared with 4/20 for π 0.5 \pi_{0.5} . The two methods retain 89% and 21% of their respective in-distribution success rates (Table III ).

8. Franka 上 GAM–Molmo2 系统 ID 步完成率 64.7%、OOD 49.8%、保留 77%，均高于 π0.5 与 MolmoAct2。

   On the Franka, the GAM–Molmo2 system achieves an average in-distribution step completion rate of 64.7%, compared with 42.4% for π 0.5 \pi_{0.5} and 35.3% for MolmoAct2 (Fig. 3 , left). The planner updates object selections as execution progresses and uses earlier observations to select targets in memory-dependent tasks. These selections pass directly to GAM as points, while language specifies the operation and the action policy remains unchanged across sub-tasks. Under distribution shift, the system achieves 49.8% step completion and retains 77% of its in-distribution performance, compared with 24.0% and 57% retention for π 0.5 \pi_{0.5} , and 17.1% and 48% retention for MolmoAct2 (Fig. 3 , right).

9. 消融显示移除图像掩码或点裁剪分别把平均成功率从 46.8% 降至 22.3% 与 12.8%，两者都移除降至 10.3%。

   removing image masking or point cropping reduces average success from 46.8% to 22.3% and 12.8%, respectively, while removing both lowers it to 10.3%. Without either filter, success falls from 51.5% to 17.0% on Easy and from 42.0% to 3.5% on Hard.

10. 消融显示仅检测 token 或仅图像 token 的平均成功率分别为 16.0% 与 20.3%，低于完整模型 46.8%。

    Keeping only detection tokens or only image tokens yields average success rates of 16.0% and 20.3%, respectively, compared with 46.8% for the full model; both variants retain the state-history token.

11. 负面结果：Obj 扰动下 GAM 在四个 suite 均落后，最明显是 LIBERO-Goal 0.69 与 LIBERO-10 0.50。

    It trails under Obj on all four suites, most notably on LIBERO-Goal (0.69) and LIBERO-10 (0.50).

Novelty：把机器人基础模型的预训练基础从视觉-语言/视频生成换成可提示 3D grounding，是清晰的范式级主张，而非单点技术改进。语言、2D 点、2D 框统一为同一 grounded observation，并把冻结检测器的输出构造成“图像 token + 检测 token”双流观测，再配合 MM-DiT 流匹配动作头，在集成层面有新意。但各组件——WildDet3D、flow matching、MM-DiT、CoTracker3、Molmo2——均为已有方法，主要贡献在于组合方式与对“预训练该学什么”的实证论证。 Soundness：实验设计总体较严谨：RoboTwin 2.0 采用官方单任务协议并自行重训 π0.5 作对照；LIBERO-PRO 遵循官方协议；消融固定骨干、动作头、训练数据与调度；真实机器人报告 ID/OOD 与保留率。主要保留点：大量基线数字直接取自官方榜单，训练资源与实现差异可能影响可比性；骨干在仿真状态导出的标签上做领域适配，虽无需人工标注但引入了额外监督；未报告多次种子、误差棒或显著性检验；LIBERO Obj 上明显退化，解释不充分；真实机器人任务数与视觉平移类型有限；grounding 失败无恢复机制。总体上，方法描述与实验足以支撑核心结论，但鲁棒性证据仍需更多重复与更广基线。 Significance：如果“3D grounding 作为动作学习基础”成立，将影响机器人基础模型应该预训练什么的设计选择，并为 VLM 规划器与低层策略提供自然接口。对目标重定位、重新指定目标和视觉平移的稳健性具有实际部署价值。当前影响受限于单一 backbone、3D 框表示以及模拟/小规模真实验证，但作为新范式的开端，潜在影响较高。

论文自述的局限：GAM 依赖 grounded observation 的质量与完整性，grounding 错误会无恢复地传播；目标中心过滤可能遗漏未选障碍等上下文；需要更多样化的 3D grounding 数据集与跨物体、跨场景模型；3D 框只是 grounding 的一种形式，密集 3D 实例分割可能提供更细的几何监督。批评性补充：（1）泛化结论绑定 WildDet3D 的能力，并需要针对渲染域的额外适配；（2）仅依赖 3D 框与深度，对遮挡、可变形/透明物体或密集实例的处理存疑；（3）目标中心过滤主动丢弃障碍与安全相关上下文，与“自适应上下文选择”尚未实现；（4）RoboTwin 采用单任务训练，LIBERO 的 Obj 扰动下明显落后；（5）部分基线数字来源不统一，缺少统计误差与重复；（6）真实机器人评估任务少、视觉平移类型有限；（7）grounding 失败时没有恢复或重规划机制。

后续方向包括：用密集 3D 实例分割或占用表示替代/补充 3D 框，检验更细粒度几何监督是否提升物体尺寸泛化；在多个 grounding 骨干和更大、更多样的 3D 数据集上验证范式是否可迁移；引入 grounding 置信度、失败恢复与重规划，避免错误无恢复传播；研究自适应上下文选择，在目标中心过滤与保留障碍/安全上下文之间权衡；探索多任务、跨 embodiment、跨场景 co-training，检验动作头的可扩展性；在更细粒度 OOD（物体几何、遮挡、动态障碍）上做带统计显著性的重复评估；进一步分析语言 grounding 失败、VLM 规划器选点错误对整体系统的影响，并考虑 3D grounding 与语言语义、视频预测的互补组合。

本文位于长期智能体评估、过程监督与上下文蒸馏的交汇点。作者不测量端到端成功率，而提出并形式化 agent 的“taste”：在结果尚未可见的决策分叉处选择更优方向的能力。他们利用已有轨迹的回溯结果自动构建 Taste-Bench，并用教师-学生蒸馏把 taste 从上下文判断迁移到权重中，验证其在未见任务上的迁移与端到端收益。相比过程奖励模型和对独立 idea 的预判，本文的分析单元是真实执行轨迹内部的分叉，因而兼具可自动扩展和贴近任务上下文的优点。

LLM 智能体越来越多执行长时程任务，如机器学习研究、跨版本软件演化、部署期脚手架自改进。这些任务中的关键决策（测试哪个假设、基于哪个实现、运行哪个实验）在决策当下看似合理，错误代价却延迟显现。现有 SWE-bench、SWE-bench Pro、RE-Bench、AgentBench 等只报告任务是否完成，无法测量沿途决策质量；而判断决策好坏需要深度领域知识，人工标注昂贵且难以跨领域扩展。本文的关键观察是：轨迹的后半段为早期决策提供后见之明证据。当同一任务的多次尝试共享前缀后分叉、或单条轨迹中途自我纠错时，记录的结果可以标识更优方向，无需专家标注。作者把这种分叉点称为 decision fork，并据此构建 benchmark。相关工作包括 process supervision、step-level judgment、context distillation 和 idea 级预判；本文的差别在于问题来自已执行轨迹，标签由轨迹后来记录的结果自动确定。

本文把 taste 形式化为长期判断。给定任务 q 和轨迹前缀 h_t=(o_0,a_0,…,o_t)，两个候选方向为 c_1、c_2；每个分支 i 继续运行到结束并产生证据 E_i，结果度量 U 把证据映射为标量。理想模型应在决策点选择条件期望更高的候选 E[U∣h_t,c_i]。由于两个分支在相同条件下运行，实测结果近似这些期望，因此标签 y=argmax_i U(E_i)。问题 x=(q,h_t,c_1,c_2)，t 之后的内容全部隐藏；模型 π 返回一个选择，taste 估计 T_hat(π) 是 π(x)=y 的比例。 核心困难是单条轨迹的结果混杂了判断、执行质量和环境。作者因此寻找多条轨迹中除判断外其余相同的比较：同一任务多次尝试共享等价前缀，在某点分叉，采样随机性把判断分配给分支，于是结果差异主要归因于分叉处的判断；只保留结果清晰由判断决定的分叉。据此有两种互补构造。并行轨迹构造对齐同一任务中结果相反的一对尝试，分叉前等价前缀成为 prefix，两个方向写成中性描述，记录结果决定 supported candidate；它捕获 agent 从未察觉的错误方向。绕路轨迹构造使用单条轨迹中的自我纠错：生成器读取完整轨迹和结果，按顺序定位三个事件（采取某方向、导致放弃该方向的失败、采取不同方向并完成任务），把两个方向写成平行措辞；若更优方向只能在看到失败后命名、或任一方在分叉处不合理，则拒绝。分叉放在 agent 采取被弃方向之前，prefix 不得泄露失败或后续修复；它测试被评模型能否比当时 agent 更早识别错误。 管道方面，工程池包含 2,677 个 graded rollouts，来自 GPT-5.4 和 GPT-5.5 agent 在 517 个 SWE-bench Pro 任务上的运行；研究池包含 1,132 个 agent runs，来自 RE-Bench 与 HCAST 研究子集的 47 个任务，取自 MALT 公开记录。生成器提出候选分叉并执行 rubric。随后两道过滤：trivial 过滤只给四个 judge 看两个候选，若全部 judge 都答对则删除，说明答案可从措辞猜出；undecidable 过滤给 judge 看任务、前缀、完整后续和结果，只有全部 judge 同意标签才保留。这样每个发布问题在隐藏轨迹时至少一个 judge 答错，而在完整记录可见时所有 judge 确认标签。生成器提出 4,657 个候选分叉，通过率 10.8%，得到 502 个问题，按构造×领域形成 2×2 设计。人工复核抽取 100 题，先让评审在决策点选方向，再看结果摘要判断哪个决策更好，用于校验挖掘标签。 评估协议处理二选一的位置偏差：每题呈现两次，一次为固定种子顺序，一次为完全反向；只有两次都答对才计为正确，因此随机猜测准确率为 25%，总选同一位置的模型得 0%；同时报告两次呈现的 mean accuracy。 蒸馏训练的目标不是拟合二元标签，而是把带推理的判断从特权上下文迁入权重。基础模型为 Qwen3.6-27B，训练更新 LoRA 适配器。390 个工程问题按任务分成两个 task-disjoint fold，学生在一个 fold 训练、在另一个 fold 评估，杜绝记忆源任务。teacher 和 student 是同一 frozen base model 的不同上下文：teacher context 在问题前插入 demonstration，即对 supported candidate 的简短描述，因此 teacher 能可靠选中 supported candidate；student context 只含基准可见信息（任务、前缀、打乱的两个候选）。损失是逐 token 的 forward KL（student 到 teacher），覆盖推理 token 和最终选择；KL 在 teacher 采样的续写上计算，因为两个 context 的差异恰在 teacher 因 demonstration 而预测不同的 token，student 自身采样很少产生这些 token，若在 student 样本上计算会丢失 teacher 的偏好。推理位置最多保留 512 个，分布取 top-100 加一个剩余质量项；答案位置把 KL 限制在两个答案 token。泄漏控制是结构性的：答案是封闭二选一，teacher 序列止于最终答案，输出没有任何片段复制 demonstration 文本。蒸馏后再用学生在训练 fold 上自己生成的 free reasoning traces 对 answer position 做交叉熵校准，只调整最终选择而不改变推理分布。端到端使用时，把每个分叉判断写成一条 advice（情境、应避免的候选、应采取的候选），预置于固定 Qwen3.6-27B executor 的上下文，executor 独立完成 SWE-bench Pro 任务。

作者在发布的问题集上评估多个前沿模型，发现最佳模型仍远未解决该基准，且 detour 问题普遍比 parallel 问题更难。随着决定证据出现的时间后移，模型准确率持续下降并接近随机水平；增大推理预算没有带来稳定改善。与端到端 SWE-bench Verified 排名的相关性有限，说明 taste 并非端到端能力的简单重述。蒸馏实验显示判断可迁移到任务不相交的折外问题，并且把学生判断作为 advice 注入执行器后，端到端任务成功率接近正确建议所给出的上界。

1. 最佳模型在 Taste-Bench 上的 Average 准确率为 59.7%，次优模型为 59.5%。

   Specifically, GPT-5.6 Sol is the best model, with an Average accuracy of 59.7%, and GPT-5.5 is close behind at 59.5%, while the accuracies of the remaining models are widely dispersed below them, with additional variation between the research and engineering subsets.

2. 两序都答对才计正确的规则下，随机猜测准确率为 25%，总选同一位置的模型为 0%。

   Because a question counts as correct only when both orders are answered correctly, the accuracy of random guessing is 25%, the product of one half per order, and a model that always prefers the same position scores 0%.

3. 时间视界越长越难，14 个模型的平均准确率从 in-prefix 水平的 62.3% 降到 more-work 水平的 21.0%。

   Specifically, the mean over the 14 models falls from 62.3% at the in-prefix level to 21.0% at the more-work level, near the 25% score of random guessing.

4. 增大推理预算几乎不改变准确率，两个模型从最低到最高设置分别变化 −0.2 和 +2.2 个百分点。

   Specifically, moving from the lowest to the highest reasoning-effort setting changes the accuracy of GPT-5.6 Sol by − 0.2 -0.2 points and that of GPT-5.6 Luna by + 2.2 +2.2 points.

5. Taste-Bench 与 SWE-bench Verified 仅部分相关，总体 Pearson 相关为 +0.63，工程子集只有 +0.37。

   Specifically, the Pearson correlation between the Average and SWE-bench Verified is r = + 0.63 r=+0.63 , so SWE-bench Verified explains R 2 = 0.39 R^{2}=0.39 of the variance between the models. However, the correlation on the engineering subset is only r = + 0.37 r=+0.37 , although this subset is mined from SWE-bench Pro tasks and is therefore the closest comparison.

6. 人工复核中 172 个明确 A/B 判断有 170 个与挖掘标签一致，评审间 Cohen's κ 为 0.973。

   Of the 172 explicit A/B judgments, 170 agree with the mined label, yielding 98.8% agreement , and on the 74 questions where both reviewers choose A or B, they agree with each other on 98.6%, with Cohen’s κ = 0.973 \kappa=0.973{} , and Appendix F reports the results for each reviewer.

7. detour 问题比 parallel 问题更难，14 个模型在 detour engineering 上的平均准确率为 35.9%，低于 parallel engineering 的 58.1%。

   The mean over the 14 models is 58.1% on parallel engineering, 50.9% on parallel research, 50.8% on detour research, and 35.9% on detour engineering.

8. 生成器提出 4,657 个候选分叉，其中 10.8% 通过全部过滤。

   The generator proposes 4,657 candidate forks from the two pools, and 10.8% of them pass all filters.

9. 在训练 fold 上，蒸馏把单序正确率从 48.6% 提高到 92.9%。

   On the training fold, distillation raises the fraction of questions that the student answers correctly in a single order from 48.6% to 92.9%

10. 在未见任务的折外问题上，学生达到 47.9% 的准确率，而基础模型为 30.0%，提升 17.9 个百分点。

    Under this protocol, the student reaches an accuracy of 47.9% and the base model 30.0%, while the mean accuracy over the two orders rises from 42.7% to 62.4%. The student therefore gains 17.9 percentage points on questions from tasks that it never saw in training, so the judgment transfers to unseen tasks.

11. 正确建议使端到端成功率从 14.6% 上升到 39.0%，这是建议可提供的上界。

    With correct advice, the success rate rises from 14.6% to 39.0%, a gain of 24.4 percentage points. Because the advice at every fork is correct in this setting, this gain is the upper bound of what the advice can provide.

12. 学生建议使执行器达到 33.7% 的成功率，相比无建议提升 19.1 个百分点。

    The student achieves most of this bound: the executor reaches a success rate of 33.7% with student advice, a gain of 19.1 percentage points over no advice.

Novelty：新颖性中等偏上。核心新意不在于单个组件，而在于把“taste”定义成轨迹分叉处的长期判断，并给出无需专家标注的后见之明测量方式：用并行尝试和单轨迹绕路两种互补构造从已有 rollouts 中自动挖出 decision fork。这不同于端到端基准，也不同于 process reward 的逐步评分或对独立 idea 的预判。蒸馏部分借鉴了 SDPO/context distillation，但把教师特权信息替换为对 supported candidate 的 demonstration，并强调在 teacher 采样上计算 KL，属于增量式改进。整体上，问题定义和基准构建比训练方法更具原创性。 Soundness：方法学上较扎实：有形式化定义、双序呈现对抗位置偏差、trivial/undecidable 双重过滤、人类复核、task-disjoint 折外评估、结构性泄漏控制，以及端到端 advice 实验。潜在弱点是标签本身依赖生成器和 judge 模型，虽然有人类复核，但只抽样 100 题且复核者也在看到结果摘要后判断，可能带有后见之明；此外蒸馏只用一个基础模型、只在工程子集训练，外部效度有限。总体 soundness 可接受，但结论的稳健性还需要更多模型、更多领域和更大人类复核来支撑。 Significance：若 taste 确实是一个与端到端能力不完全重合的维度，这项工作对长期智能体评估和训练有实际价值：它提供了可随 agent 运行自动扩展的标签来源，也展示了把判断蒸馏进权重能转化为端到端收益。对研究社区而言，它可能推动“决策质量”从模糊概念变成可测、可训练的对象。但其影响受限于当前轨迹来源、领域覆盖和模型代际，未来模型若普遍超过该基准，需要持续更新问题。

其一，标签有效性依赖已有轨迹的生成模型和 judge 模型，可能继承这些模型的系统性偏好；人类复核只覆盖 100 题，且评审在查看结果摘要后判断，仍可能受后见之明影响。其二，分叉挖掘只发生在 agent 确实分叉或绕路的地方，无法覆盖 agent 从未尝试的更好方向，因此 benchmark 测的是相对判断而非全局最优选择。其三，领域覆盖有限：工程问题远多于研究问题，蒸馏训练只用工程子集，研究领域的迁移未被验证。其四，端到端实验仅在一个基础模型（Qwen3.6-27B）和 41 个 SWE-bench Pro 任务上进行，advice 也是从同管道先前运行中预计算得到，未必代表在线判断。其五，与 SWE-bench Verified 的对比采用公开分数，推理设置未必匹配，相关区间很宽。最后，严格的双序都正确计分虽然缓解位置偏差，但可能低估模型在单次决策中的真实能力，且推理预算实验只覆盖两个模型。

后续工作可以沿几条线展开。第一，扩展轨迹来源和领域，尤其是研究、科学发现和开放式 R&D 任务，并测试跨域迁移。第二，改进标签生成，引入更多独立 judge、更强的结果归因，以及更大规模人类复核，减少对单一生成器偏好的依赖。第三，把 taste 从离线蒸馏转向在线训练：在 agent 运行中实时检测分叉，用 taste 模型作为过程奖励或 critique，结合强化学习更新策略。第四，研究时间视界与推理预算的关系，探索对长视界决策更有效的推理或搜索策略，而不只是增加 token 预算。第五，用因果推断或反事实回放更严格地分离判断、执行和环境对结果的影响。第六，评估不同模型规模、不同基础模型和更多蒸馏目标（如偏好对、排序损失）下的迁移效果，并建立防污染与基准更新机制。

本文是一篇系统/基础设施类论文，而非提出新数学定理或新机器学习模型。它介绍并复盘 Lean Pool——一个由 AI 代理持续生长、维护与优化的 Lean 形式化数学档案库，并将其定位为“形式化版 arXiv”。论文自我呈现很特殊：声明人类写作部分仅一页，其余几乎全部由 AI 生成；其核心主张不是某个算法胜过基线，而是“代理辅助维护能在依赖升级下恢复兼容、支持库级证明缩短与编译改进、且被后续研究复用”这一运营性结论。证据来自保留的源码记录、构建日志、审稿报告与外部 LeanEval 审计，属于带日期标注的档案分析，而非受控实验。

生成式 AI 让数学论证的产生速度超过数学家阅读吸收速度，形式化使正确性可机械检查。Lean 已成为验证人类与 AI 生成证明的主要语言，但其标准库 Mathlib 因严格人工审阅而线性增长，缺乏研究级数学所需的定义与定理。OpenAI 的 Ten Advances 与 Navier–Stokes 有限时间爆破等发布已伴随 Lean 形式化，说明形式化在发现早期即可介入。要让这些形式化成为后续研究基础，读者需要找到相关定理、检查假设并在新开发中复用它，而这要求代码随 Lean/Mathlib 演进而保持兼容。已有生态包括 AFP、Mathlib、Reservoir、Rocq Platform、Software Heritage，以及 Tau Ceti、Palomar Registry 等新兴注册库；工具侧有 TheoremSearch、TheoremGraph、LeanDojo、LeanAgent 与 LeanEval。Lean Pool 的切入点是把已完成的形式化汇集到统一环境，用代理辅助升级、优化、审稿与社区贡献维持其可用性，并保留归属与项目组织。

机制核心不是单一算法，而是一套把 LLM 代理、Lean 内核校验、CI 质量门、文档抽取与人工合并决策串起来的运维流水线。下面按入库、代理作业、CI、升级维护、优化、审稿、展示与发现展开，并交代算法直觉与数据边界。 （1）入库与准入。成长有两条通道：AI 代理发现 Apache-2.0 或 MIT 许可的形式化项目并汇聚，或人类贡献者提交项目；只有“命名的已知结果”的严肃完整形式化才有资格入库，人类与 AI 生成的都接受。入库动作包括升级 Lean 版本、让 PR 通过 CI linter 与 LLM 审稿、优化热点以降低编译时间与 RAM。源码层准入是硬性的：完整项目不得含 sorry/admit，不得引入 Classical.choice、propext、Quot.sound 之外的新公理，不得使用 set_option、unchecked 声明或绕过资源限制与 linter 的机制；每个项目需要一张卡片，标明作者、上游来源、证明来源与主结果的非形式化陈述；源许可必须是 Apache-2.0 或 MIT。注册结果必须在 Lean 中可解析，生成的卡片须与注册表一致。开放挑战题与完成形式化分开存放，挑战解答由独立内核比对已注册陈述。 （2）贡献与归属。工作以直接贡献与带归属导入两种方式进入。卡片保留上游作者，即使维护者或代理执行导入；来源标签区分人类撰写、AI 撰写与混合证明。GitHub 账户只标识提交者，不度量人与代理之间的分工。 （3）自动化作业与依赖升级。自动化仓库维护提示词与宿主运行器：运行器执行前刷新 checkout、防止同一作业重复实例、配置后备后端在失败后继续。每日作业包括：近期发现（找最近完成的形式化，核查归属/许可/适配/依赖/成本并准备导入 PR）、旧文献发现（补齐漏检）、开放 PR 审稿（检查提交、参考文献、CI、审稿与剖析，修复合格分支或记录未决问题）、项目优化（剖析项目、缩短证明或降低编译成本、验证并开 PR）、维护者议题、公告（识别新接收项目、核对宣传结果、带归属公告并抑制重复帖）。依赖升级是独立定时工作流：检测新 Lean/Mathlib 版本、准备更新环境、用未改源码探测各项目、把失败项目分派给修复代理、组装补丁、构建合并档案并创建草稿 PR。其算法直觉是“探测—修复—集成”闭环：先用未改源码暴露不兼容，再按失败分派修复，最后合并构建验证。成功构建只确立接受陈述的兼容性，不保证每个声明类型在升级前后语义等价；修复常涉及加强可测性、σ-有限性、极大性等辅助假设，以及导入与命名空间修复。 （4）CI 与质量门。CI 组合全库构建、警告检查、Mathlib 的环境与文本风格 linter，以及档案专用质量门：后者检查项目卡片、归属、允许公理、证明与文件大小、绕过检查的尝试。编译后环境审计补充源码扫描；剖析报告给出新文件编译成本并比较修改前后，在观测配置中仅是建议性的。环境 linter 检查化简器正规形、未用参数、声明类型与全命题字段结构；源码 linter 检查命名、头文件、空白与布局。与 Tau Ceti 的关键差异在性能回归的强制程度：Tau Ceti 用退役指令或 CPU 时间做强制比较并用可信测量线束隔离候选代码与计数器，Pool 的剖析是建议性的。 （5）优化机制。优化以“固定依赖清单下的全库重建”为客观函数。测量方法：在相同 Azure VM 上重建整个 Lean Pool，外部依赖在计时前准备、库自身构建产物每次运行前删除、依赖与工具链输入在计时命令外读入内存、同一比较内依赖清单与构建配置一致、顺序运行且相同 CPU 亲和与 Lean 线程设置；内存测量采样构建进程组的比例常驻内存，跨工作进程按比例计共享页。接受的优化类型包括库级证明压缩、贡献者 golfing、昂贵证明搜索的替换、计算密集型证书简化、细化成本降低、模块化与更窄导入。心跳数测量 Lean 内部基于分配的算力计数器，与墙钟互补但不替代全库构建。项目级比较保留各自原始测量范围，因口径不一未与受控全库测量合并。 （6）数学审稿机制。证明检查器只验证形式陈述，不保证陈述与所宣传贡献一致，因此入库还要求数学审稿。审稿服务检查忠实性、新颖性、重要性、来源与代码质量，维护者与贡献者可修改提交或回应报告。实现细节：原服务用有界审稿输入的 API 调用，Azure 配置消耗 Codex 账户配额，把大改动按源码部分切分后再整合结论；整合阶段跟踪未决问题并在需要时索取原始源码摘录；覆盖清单记录哪些源码范围被呈现——这描述输入覆盖而非对模型数学准确性的独立评估。价格账目来自历史评论中的 API 价格估计（Azure 评论披露名义标准 API 等价估计，执行消耗账户配额，不计 VM 成本，不是发票）。服务已被手动停用，留存报告只描述过去执行，不构成对最新导入的持续覆盖。 （7）文档、展示与发现。文档分三层：传统 Index、Exposition、Zulip 每日项目公告。Exposition 以项目卡为入口，把贡献者的非形式化说明与从受检代码抽取的结构（依赖图、声明、定理/引理）连接起来；读者可从非形式化声明走到 Lean 陈述及其假设与定义。文档流水线以源码、传递导入依赖、工具链配置与抽取器版本的哈希为键缓存项目图导出，依赖变更使受影响导出失效；只有源码修订与已验证源码树匹配时才能复用成功 CI 构建产物，否则走普通构建路径；缓存复用时仍运行数据校验。发现工作流按任务匹配工具：数学问题→Octo 语义搜索找候选声明；主题/项目→Exposition 看描述、陈述与依赖图；已知论文→项目卡看归属、来源与正式主结果；候选复用→源码与 API 文档看完整假设、支撑定义与导入路径。 关于“训练与数据”：论文未报告任何模型训练或微调；这里的“AI”是提示词驱动的 LLM 工作流。其输入数据是源码记录、构建日志、公开 PR 记录与审稿报告，观测范围在附录 A 以日期戳逐项标注，校验用文件哈希与重建表/图完成。

实验部分不是单一受控实验，而是运营证据的汇编：对持续变化的档案做日期戳普查与来源记录分析；回放历史依赖升级以检验代理修复能否恢复兼容；在固定依赖与同机条件下重建历史修订以度量库级与项目级优化的编译收益；统计审稿服务留存报告的价格与裁决一致性；比较 Lean Pool、Mathlib 与 Tau Ceti 的干净构建资源消耗；并引用外部 LeanEval 审计佐证复用。测量范围、观测日期与合并/不合并的判定在附录中逐项说明，其中项目级比较因测量口径不同未与全库测量合并。

1. 档案规模：完成项目 211 个、Lean 源文件 7,043 个、物理源码行 3,228,485 行、源码声明命令 193,862 条、登记主结果 837 条。

   Completed projects | 211 Lean source files | 7,043 Physical source lines | 3,228,485 Source declaration commands | 193,862 Registered main results | 837

2. 来源构成：人类 70、AI 102、混合 39；提交贡献者 18 人、有合并 PR 者 17 人、合并的社区 PR 63 个。

   Human / AI / mixed projects | 70 / 102 / 39 Commit contributors | 18 Contributors with merged PRs | 17 Community PRs merged | 63

3. 六次版本升级的编译失败率较高，例如 4.30.0-rc2→4.31.0-rc1 为 59 个探测项目中 44 失败，4.31.0-rc1→4.32.0-rc1 为 91 中 58 失败，4.32.0-rc1→4.33.0-rc1 为 143 中 100 失败。

   4.30.0-rc2 | 4.31.0-rc1 | 59 | 44 4.31.0-rc1 | 4.32.0-rc1 | 91 | 58 4.32.0-rc1 | 4.33.0-rc1 | 143 | 100

4. 稳定版迁移：191 个探测项目中 97 个编译失败，97 个修复作业中 95 成功、2 失败，最终接受 198 个、修改 639 个文件、行变动 5,951。

   Probe projects | 191 Compiler failures | 97 Warning only projects | 32 Repair jobs | 97 Repair jobs succeeded | 95 Repair jobs failed | 2 Accepted projects | 198 Changed files | 639 Line churn | 5,951

5. 187 号库级压缩的优化：同一 4.32.0-rc1 环境重建，构建时长 16.11→15.59 分钟，CPU 4.04→3.90 小时，RAM 26.12→26.85 GiB（内存反而略升）。

   187 | Before | 4.32.0-rc1 | 16.11 | 4.04 | 26.12 | After | 4.32.0-rc1 | 15.59 | 3.90 | 26.85

6. 339 号细化成本降低：同一 4.34.0-rc1 环境重建，构建时长 28.46→26.82 分钟，CPU 7.20→6.78 小时，RAM 19.81→19.55 GiB。

   339 | Before | 4.34.0-rc1 | 28.46 | 7.20 | 19.81 | After | 4.34.0-rc1 | 26.82 | 6.78 | 19.55

7. 干净构建资源对比：Lean Pool 为 3.23 MLOC、60.28 分钟、14.29 CPU 小时、20.03 GiB RAM；同版本 Mathlib 为 2.33 MLOC、37.44 分钟、9.38 CPU 小时、7.35 GiB RAM。

   Lean Pool | 3.23 | 60.28 | 14.29 | 20.03 Mathlib (matching release) | 2.33 | 37.44 | 9.38 | 7.35

8. 复用证据：LeanEval 结构化审计认定 Lean Pool 是被复用最多的外部仓库。

   Lean Pool is the most reused external repository in the LeanEval structural audit [ 15 ] ; Figure 6 in the appendix reports the comparison and its definition of reuse.

9. 审稿服务价格账目：历史 API 估计 285 份报告、总计 308.52 美元、中位数 0.20 美元；Codex API 等价估计 6 份、总计 752.38 美元、中位数 89.03 美元。

   Historical API estimates | 285 | $308.52 | $0.20 Codex API-equivalent estimates | 6 | $752.38 | $89.03

10. 审稿一致性：同一 PR 反复审稿的 69 对中 37 对同裁决；同一审阅修订为 0 对、0 同裁决，即没有对完全相同输入的独立一致性度量。

    Same PR | 69 | 37 Same reviewed revision | 0 | 0

11. Exposition 覆盖：203 个已文档化项目、173,362 条源码声明、124,412 条定理/引理、1,389,967 条依赖链接、87,408 条被多个声明使用的声明。

    Documented projects | 203 Source declarations | 173,362 Theorems and lemmas | 124,412 Dependency links | 1,389,967 Declarations used by multiple others | 87,408

12. 最大开发项目：Navier–Stokes 与 Euler 有限时间爆破 641,073 行（AI）、六球面复结构 260,646 行（AI）、紧曲面分类 143,423 行（AI）。

    Finite-time breakdown for Navier–Stokes and Euler | AI | 641,073 A complex structure on the six-sphere | AI | 260,646 Classification of Compact Surfaces | AI | 143,423

Novelty：算法层面新颖性中等偏低，系统整合与运营记录层面较高。论文没有提出新的验证技术、证明搜索算法或机器学习模型，其“AI”是提示词驱动的代理工作流；真正的贡献是把发现、入库、升级修复、优化、LLM 数学审稿、文档抽取与发现入口整合成一个活档案，并罕见地公开运维账本——包括失败修复、审稿不一致与优化中 RAM 回升等反向结果。把基础设施本身作为研究对象、连同负面记录一并报告，在形式化社区有参考价值，但新意主要在于规模与工程整合，而非概念突破。 Soundness：在自述范围内基本成立：多数主张有保留记录、源码哈希校验与重建表/图支持，测量方法（依赖预热、同机顺序重建、比例常驻内存采样）交代清楚，且对兼容性只声称“接受陈述”而非声明类型等价。但若干软肋影响强结论：数学审稿无同修订独立一致性证据，服务已停用；价格是留存报告的价格而非总支出；项目级比较口径不一且未与全库测量合并；复用依赖外部审计；人类写作仅一页、其余 AI 生成，带来措辞与框架上的自利风险。总体上作为系统报告可信，但不宜被读作对审稿质量或长期可持续性的严格证明。 Significance：若 Lean Pool 真能成为“形式化版 arXiv”，对形式化数学生态意义较大：降低新结果立即形式化并共享的摩擦、提供跨项目复用的稳定 API、用代理承担版本迁移这一长期成本。论文展示的库级证明压缩与兼容修复，为“AI 维护共享库”提供了初步证据，也如实记录了成本——大审查的资源需求、接口复用与编译成本的权衡。其影响取决于社区采用、审稿质量能否被信任以及可持续治理，目前更像一个有价值的示范与运营数据点，而非已被验证的基础设施标准。

（1）人类写作仅一页、其余 AI 生成，作者虽声明负责终稿，但正文框架与措辞可能带有宣传性，且自我声明的“AI 生成”难以独立核实。（2）数学审稿的核心质量无可靠度量：同一 PR 反复审稿 69 对中仅 37 对同裁决，同一审阅修订 0 对；服务已被手动停用，报告只描述过去执行，无法证明当前覆盖。（3）兼容性只以“成功构建”确立，明确不保证声明类型语义等价；PR 记录还加强了辅助假设，说明升级可能改变定理的前提。（4）价格账目是留存报告的价格估计，非发票，且不计 VM 成本；覆盖清单只说明输入范围而非模型准确性。（5）测量口径不统一：项目级比较与受控全库测量未合并，部分比较的缓存准备不同、样本规模小（如单一构建或中位数）。（6）构建资源对比显示 Lean Pool 比 Mathlib 与 Tau Ceti 更昂贵，长期维护成本与收益需一起评估。（7）复用证据有限：附录列出若干消费者，核心断言依赖 LeanEval 外部审计，缺乏对复用实际节省的量化。（8）观测窗口为 2026 年 9 月单次快照，档案持续变化，结论的时序外推有限；贡献者社区规模较小，可持续性未充分讨论。

（1）对 LLM 数学审稿做同修订、同输入的独立重复实验，量化裁决一致性与对真实缺陷的检出率/误报率，并在重新启用前建立质量门槛。（2）为版本升级引入声明级语义等价或行为差异检测（如对编译成功但类型/假设变化的声明做差分），而不仅是“构建通过”。（3）把优化评估统一到固定工作负载与统一测量协议，报告删除行数、墙钟、CPU、峰值内存与心跳的完整分布，并对项目级与全库级结果分开汇总。（4）量化复用：追踪下游项目导入哪些声明、被复用的 API 稳定性，以及复用相对从零形式化节省的开发成本。（5）治理研究：在 AI 代理大量提交、人类维护者少量合并的格局下，如何设计激励、冲突解决与责任归属，防止许可证与归属漂移。（6）与 AFP、Tau Ceti、Palomar Registry 做受控对比，包括同版本、同机的维护成功率、审稿成本与 API 可复用性。（7）把价格账目补全为含 VM、重试与人工时间的总拥有成本，为“AI 维护 vs 人工审阅”提供经济性证据。（8）发布可复现包：把观测快照、源码哈希、重建脚本与审稿覆盖清单作为固定版本公开，供第三方审计。

本文提出 CARE（Corrective Atomic Robotic Execution），面向视觉-语言-动作（VLA）策略在长程、多臂机器人操作中的失败恢复问题。其核心定位不是把执行失败当作需要回滚或重规划的异常，而是把失败 rollout 转化为结构化纠正监督：先由 Experience-Guided Corrective Data Synthesis 依据策略自身执行经验拟合阶段条件偏差分布并合成纠正数据，再以 Atomic Corrective Execution 在推理时用物理 grounded 的 3D 监视器选择名义、调整或重操作指令，且由同一 VLA 执行器完成所有动作。论文同时提出 FSR-Bench，从中间失败状态直接评估恢复能力，与名义任务执行相解耦。相对既有「随机扰动收集纠正演示」与「失败检测后回滚/重规划」两条路线，CARE 的差异点在于显式建模执行本身诱导的后失败偏差，并以原子技能级、事件触发的物理监测决定何时调用恢复。

VLA 策略显著提升了机器人操作的泛化性，但大多仍以成功专家演示为主训练、从名义初始状态评估。一旦执行偏离名义轨迹——物体滑动、倾倒、错位，或双臂不同步——策略可能进入训练数据中极少出现的状态，并快速传播为任务失败。因此，稳健操作不仅需要执行名义行为，还需要从执行自身产生的中间失败状态中恢复。 既有恢复方法大致分两条线。一类检测失败后回滚到更早状态或重规划，其局限在于把失败视作要消除的异常，而不是可用于改进策略的经验。另一类从扰动状态周围采集纠正演示来训练恢复行为，但通用扰动策略并不显式建模哪些后失败偏差实际由策略执行诱发。检测环节中，VLM 式判断可能缺乏物理 grounding，世界模型存在延迟与幻觉，3D 点云监测虽有物理 grounding 但多局限于单臂设置。恢复环节中，回滚、VLM 纠正、随机扰动或人类干预采集纠正监督，以及 RL 方法各有成本或规格要求。 基准层面，现有操作基准多关注从预定义初始状态的任务执行，对中间失败后的恢复评估支持有限，尤其缺乏双臂场景下执行偏差的恢复测试。上述缺口构成 CARE 的动机：执行失败本身能否为学习恢复提供结构化监督，以及系统如何知道何时、以何种方式调用已学到的恢复行为。CARE 将这两个问题分别映射为经验引导的纠正数据合成与原子级纠正执行两个互补机制。

CARE 由两个互补部分组成：纠正监督从哪里来（Experience-Guided Corrective Data Synthesis），以及何时调用纠正行为（Atomic Corrective Execution）。 一、失败建模与纠正数据合成。首先在无纠正监督的情况下执行名义原子计划，从仿真与真实世界收集失败案例（论文主流程使用 100 次 rollout）；当某原子阶段不满足其终止条件时记为失败。对阶段 k_i 处的失败，记录阶段关键事件处的相对偏差 d_i=(Δτ_i, ΔR_i)，其中 Δτ_i∈R^3 为相对平移偏差，ΔR_i 为旋转偏差；旋转被建模为绕垂直轴的偏航偏移 Δr_i，即 ΔR_i=R_z(Δr_i)。偏差在相对坐标下度量：抓取阶段为夹爪闭合时物体-夹爪的错位，放置阶段为夹爪张开时物体-目标的错位。由于不同阶段失败模式不同，建模阶段条件分布 p(d|k)。对每个任务与原子阶段，将各标量分量（Δx, Δy, Δz, Δr）分别对 Gaussian、Beta、Gamma、Weibull、Log-Normal、Uniform 六种候选分布拟合，并用 AIC 与 KS 检验选择最优。合成新失败状态时采样 d=(Δτ, ΔR)~p(d|k)，扰动阶段相关相对位姿：τ_k ← τ_k+Δτ，R_k ← ΔR R_k，随后在物理动力学下前向 rollout。因此合成失败是「从经验先验生成的新物理状态」，而非已收集失败的直接重放。仿真中用 IK/运动规划 oracle 生成纠正演示，真实世界用人类遥操作采集；两者均为短程纠正段，到达原子恢复目标即终止，不延伸到整个任务末尾。这种短视界设计降低采集成本并聚焦恢复行为。 二、原子级纠正执行框架。学习纠正行为本身不足以确定何时调用，故 CARE 在原子技能层面执行恢复。VLM 规划器用 GPT-4.1（temperature 0）把高层指令与初始全局视角图像分解为 K 个原子阶段；每阶段产生 Π_k=(u_k, γ_k, ψ_k, U_k)，其中 u_k 为名义原子指令，γ_k 指定恢复相关的几何线索，ψ_k 为阶段终止谓词，U_k=U_k^adj ∪ U_k^re 包含阶段内调整与阶段级重操作指令。规划器仅在任务初始化时查询一次，阶段计划与候选指令保持固定，在线仅更新活跃阶段 k_t 并选择执行指令，从而把语义任务分解与高频视运动控制分离，避免恢复期间反复调用 VLM。 3D 几何监视器是点云谓词检查器，而非学习式恢复策略或 VLM 判断器。它持续跟踪夹爪开合状态，仅在阶段关键转移（如抓取闭合、物体释放）或启用阶段内调整时在预测转移前不久调用几何感知。每次触发时，SAM 3 从 RGB 提取夹爪、被操作物体与目标区域掩码，Depth Anything 3 提供深度，融合为夹爪、物体、目标点云 P_g,t、P_o,t、P_tar,t，并计算紧凑几何状态 q_t=Φ(P_g,t, P_o,t, P_tar,t)，包含夹爪-物体对齐、物体-目标位移、接触后稳定性等关系。监视器依据活跃计划与几何状态选择 u~_t=f_mon(Π_{k_t}, q_t)，取值于 {u_{k_t}} ∪ U_{k_t}^adj ∪ U_{k_t}^re：几何一致时保留名义指令，阶段内偏差触发调整，失败结果触发重操作。每次原子执行后重新应用选择式：ψ 成立则推进到 k_t+1，否则保留 k_t 并重试直至重试预算耗尽。反复的「监视-执行-验证」在固定计划上产生无需预定义序列的多步恢复。 几何谓词是跨任务共享的技能级模板。抓取/接近阶段由近期 TCP 轨迹估计接近向量 v_app，并把局部几何投影到正交平面 H_⊥：全局包络抓取在投影 TCP 点与物体主轴距离超过 δ_geg 时触发调整；局部边缘抓取在两指尖连线与投影物体边界不相交或指尖到边界安全距离不足时触发。放置阶段将有效抓取中心与目标位置投影到支撑平面，二范数超过 δ_place 即触发调整。阶段关键事件后做离散验证：重抓取由抓取中心-物体中心距离、两接触点法向量点积、夹爪宽度（低于空抓阈值 ε_empty）联合判定；重放置由最终物体位置与目标位置在支撑平面投影距离超过 δ_re-place 判定。各容差由阶段条件 rollout 统计校准，ε_empty 由平行夹爪机械闭合极限决定，而非任务专属学习分类器。 三、VLA 执行器。执行器接收当前观测 o_t 与被选原子指令，采样 a_t ~ π(a_t | o_t, u~_t)；o_t 含机器人状态及全局与手腕视角 RGB。同一 VLA 策略执行名义、调整与重操作指令，无需切换到独立恢复策略。CARE 对底层 VLA 架构正交，论文在连续生成骨干 π0 与动作 token 化骨干 π0-FAST（以及 FSR-Bench 中的 RDT-1B）上实例化。 四、FSR-Bench 设计。为解耦恢复训练与基准测试分布，恢复训练数据在每个恢复场景的预定义扰动范围内均匀采样；评估则从名义策略（无恢复）的失败 rollout 混合中估计阶段条件经验失败分布 p_fail(d|k)，采样偏差注入名义执行的对应阶段并物理前向 rollout，所得状态作为恢复初始状态，保证是新的失败状态而非训练扰动或已收集失败的重放。评估还随机化物体几何、桌面纹理、光照、干扰物与放置。每任务-难度对评估 100 次，恢复成功率 RSR=1/N_eval Σ 1[r_j=1]，r_j=1 表示在规定视界内到达场景专属恢复目标。 五、训练与数据细节。标准仿真任务用 150 条名义专家演示加每个错误类型 50 条附加轨迹；CARE 用经验引导纠正轨迹，基线用等量名义原子阶段轨迹，分布由 100 次初步 rollout 估计。π0 与 π0-FAST 均微调 40,000 梯度步、batch 32、动作视界 50、两块 A800 SXM4 80GB。FSR-Bench 统一每恢复类型 50 条均匀采样纠正轨迹、训练 20,000 步。真实世界为 LeRobot SO-101 双臂（12 DoF）、一个全局 RGB 与每臂一个手腕 RGB、30 Hz；每任务 50 条名义演示加每个错误类型 20 条附加轨迹，用 100 次初步执行估计失败分布，每任务 100 次试验；策略在 A800 上推理，SAM 3 与 DA3 在本地 RTX 4090 运行以保持监视响应。

实验覆盖多个 VLA 骨干、多个仿真基准、FSR-Bench 恢复基准与真实双臂任务。总体上，CARE 在仿真与真实世界均带来一致的任务成功率提升，并在 FSR-Bench 上提升恢复成功率；该增益跨短程与长程任务、跨双/三/四臂协作设置。组件消融表明纠正数据与原子纠正执行框架二者均有贡献，其中纠正数据贡献更大，完整系统最好；由于 full 与 data-only 使用相同训练数据，二者差距可被解释为在线原子纠正执行在纠正监督之外的增量。数据采集消融显示经验引导采样优于均匀随机采样。监视机制消融显示 3D 监视器在准确率与延迟上都优于 VLM 监视器。初步 rollout 数量消融支持论文所用的 rollout 预算作为采集成本与经验先验稳定性之间的折中；回滚式恢复策略的增益有限，说明「回到先前状态」不能替代显式纠正监督与原子纠正执行。各表与数值详见 experiments 中的 claim+quote 对。

1. 总体结论：CARE 在仿真平均任务成功率增益、真实世界平均增益与 FSR-Bench 恢复成功率增益分别为若干点。

   Across benchmark–backbone settings, CARE yields an average task-success gain of 14.5 points in simulation and 15.9 points in the real world, together with a 7.5-point gain in recovery success on FSR-Bench.

2. RoboTwin 2.0 七个硬双机械臂任务上，CARE 将 π0 平均成功率从 39.6% 提升到 60.7%（+21.1 点），将 π0-FAST 从 17.4% 提升到 33.1%（+15.7 点）。

   CARE substantially improves both VLA backbones, raising average success rates from 39.6% to 60.7% (+21.1 points) for π 0 \pi_{0} and from 17.4% to 33.1% (+15.7 points) for π 0 \pi_{0} -FAST.

3. RoboFactory 多臂协作任务上，CARE 对 π0-FAST 与 π0 的平均绝对增益分别为 +9.3 点与 +12.0 点。

   Across two-, three-, and four-arm tasks, CARE improves both backbones, with average absolute gains of +9.3 points for π 0 \pi_{0} -FAST and +12.0 points for π 0 \pi_{0} .

4. FSR-Bench 上，RDT-1B、π0-FAST、π0 三个骨干在 Easy 与 Hard 两个难度的 RSR 均提升，其中 π0 的 Easy 平均 RSR 从 38.8% 升至 57.2%，Hard 从 15.8% 升至 21.2%。

   On average, RDT-1B improves from 21.8% to 25.2% in the Easy regime and from 2.6% to 6.0% in the Hard regime. π 0 \pi_{0} -FAST improves from 24.4% to 32.6% in the Easy regime and from 4.6% to 10.8% in the Hard regime. The largest gains are achieved by π 0 \pi_{0} , whose average RSR rises from 38.8% to 57.2% in the Easy regime and from 15.8% to 21.2% in the Hard regime.

5. 真实世界四个双臂任务上，CARE 把 π0 平均成功率从 30.8% 提升到 50.0%、π0-FAST 从 18.8% 提升到 31.3%，并分别以 13.7 与 7.3 点超过专用恢复基线 FailSafe。

   CARE improves the average success rate of π 0 \pi_{0} from 30.8% to 50.0% and that of π 0 \pi_{0} -FAST from 18.8% to 31.3%, outperforming the dedicated FailSafe recovery baseline by 13.7 and 7.3 points, respectively.

6. 组件消融中，纠正训练数据（Data）的贡献大于原子纠正执行框架（Execution），完整 CARE 最优；full 相对 data-only 的差距被解释为在线原子纠正执行在纠正监督之外的增量。

   On π 0 \pi_{0} , Data alone improves the average success rate from 31.6% to 40.8% (+9.2 points), while Execution alone raises it to 35.8% (+4.2 points). A similar trend holds for π 0 \pi_{0} -FAST, where Data alone improves performance from 11.8% to 20.8% (+9.0 points), whereas Execution alone raises it to 13.8% (+2.0 points). Full CARE achieves the best results, outperforming the respective baselines by 23.2 points on π 0 \pi_{0} and 19.8 points on π 0 \pi_{0} -FAST. Because full CARE and the data-only variant use identical nominal and corrective training data, their 14.0- and 10.8-point gaps isolate the additional benefit of online atomic corrective execution beyond corrective supervision alone.

7. 数据采集消融中，经验引导采样相比均匀随机采样对 π0(CARE) 提升 12.2 点、对 π0-FAST(CARE) 提升 8.8 点。

   experience-guided sampling yields consistently higher average performance than uniform sampling, improving the average success rate by 12.2 points for π 0 \pi_{0} (CARE) and 8.8 points for π 0 \pi_{0} -FAST (CARE).

8. 监视机制消融中，3D 监视器把平均判定准确率从 71.4% 提升到 93.8%（+22.4 点），端到端延迟从 3.40 秒降到 0.24 秒（约 14.1 倍快）。

   our monitor improves average accuracy from 71.4% to 93.8% (+22.4 points), while reducing end-to-end monitor latency, including perception, point-cloud construction, and predicate evaluation, from 3.40 s to 0.24 s ( 14.1 × 14.1\times faster).

9. 初步 rollout 数量消融显示 100 次 rollout 是稳定性与采集成本之间的折中：50 次明显更弱，100 与 150 次差异较小。

   The average success rate is 45.0% with 50 rollouts, 51.5% with 100 rollouts, and 51.0% with 150 rollouts.

10. 回滚式恢复策略相比显式纠正监督与原子纠正执行的 CARE 增益有限。

    rollback provides only limited improvement. Returning to an earlier state can reduce accumulated error but does not teach the policy how to act in the current failure state.

Novelty：novelty 中等偏上。最核心的新意在于「把策略自身执行失败建模为阶段条件经验偏差分布并据此合成纠正状态」，这比常见的均匀随机扰动或手工设计扰动更贴近实际失败结构，且合成后经物理前向 rollout 产生新状态、而非直接重放，思路上清晰有效。原子级纠正执行将 VLM 一次性规划、事件触发 3D 谓词监视与同一 VLA 执行器结合，也算有整合性贡献；FSR-Bench 用经验失败分布生成测试初始化并解耦训练/测试分布，填补了中间失败恢复评估的空缺。但各组件（GPT-4.1 规划、SAM 3/DA3 感知、重试预算、技能级谓词模板）多为既有工具的组合，偏航-only 的旋转建模与固定阶段计划也限制了创新高度；本质是系统集成与数据策略创新，而非方法层面的全新突破。 Soundness：soundness 总体较好。论文在对比公平性上较用心：标准任务采用 matched-data 协议，FSR-Bench 统一纠正轨迹并固定测试初始化，组件消融控制训练数据量，数据采集消融只改变采样分布，监视消融使用相同触发观测。多骨干、仿真与真实世界相互印证，且把数据贡献与执行贡献分开归因。主要弱点是：依赖外部 GPT-4.1 规划器带来可复现性与封闭性风险；旋转仅建模 yaw，无法覆盖完整 SO(3) 偏差；谓词容差由 rollout 统计校准，可能过拟合到特定任务与分布；样本规模（如 100 次 rollout、四类真实任务、36 个恢复场景）有限且未报告方差/显著性；仿真纠正演示来自 oracle，可能引入能力泄漏；消融与主结果的口径（不同任务子集、不同骨干）不完全统一，跨表数字需谨慎解读。 Significance：significance 中等。失败恢复是 VLA 从演示走向可靠部署的关键瓶颈，论文针对长程、双臂/多臂操作这一高价值场景给出了可复用的框架，且对底层 VLA 架构正交，跨骨干增益一致，具有较好的实用迁移潜力。低延迟（事件触发、本地感知）的物理 grounded 监视对实时机器人系统尤其有意义。FSR-Bench 有望成为该方向的标准评估补充。限制在于贡献更多是系统与数据策略层面，恢复能力仍依赖外部规划器、感知模块与人类/oracle 演示，距离完全自主、可泛化的恢复还有距离；但作为「执行经验转化为纠正监督」的实证路线，其对后续工作有明确启发。

1）旋转偏差仅建模偏航（ΔR=R_z(Δr)），未覆盖俯仰/横滚等完整姿态偏差，可能遗漏真实失败模态。2）VLM 规划器一次性生成固定阶段计划，对超出预设原子技能或需要语义重规划的新异常缺乏在线调整能力；原子动作表与几何谓词模板仍需人工定义，新技能需重复模板设计。3）几何容差由 rollout 统计校准，存在对任务、场景与失败分布过拟合的风险，未见对新任务/新物体的泛化验证。4）纠正演示依赖仿真 oracle 或人工遥操作，真实场景数据采集成本仍高；「100 次初步 rollout」的失败先验可能不覆盖稀有长尾失败。5）实验规模有限：真实世界仅四个任务、FSR-Bench 仅 36 个场景，且未见重复实验的方差或显著性检验，结论的统计稳健性不足。6）仿真纠正演示来自 IK/运动规划 oracle，可能使策略学到依赖 oracle 可达性的行为，与真实部署有差距。7）系统依赖 SAM 3、Depth Anything 3 与 GPT-4.1 等外部模块，其失效（遮挡、透明/高反光物体、深度误差）会传导至监视与恢复。8）论文虽强调「同一 VLA 执行器」，但规划与监视仍由外部非策略组件承担，闭环可靠性未被单独压力测试。

1）将偏差建模从 yaw 扩展到完整 SE(3)，并引入阶段间相关或时序化的失败先验，覆盖更丰富的失败模式。2）把经验引导纠正数据合成与 RL 结合（论文已列为未来工作），在真实物理 rollout 中在线更新失败先验与纠正策略，减少对人类/oracle 演示的依赖。3）研究可学习或半自动的几何谓词与容差标定，降低新原子技能的模板设计成本，并验证跨任务、跨物体的谓词复用。4）探索不再依赖外部 VLM 规划器的端到端或小模型规划方案，或允许执行中语义级重规划，以处理结构性异常。5）扩大 FSR-Bench 的场景、物体与难度，并报告方差、置信区间及统计检验，增强基准与结论的稳健性。6）对 SAM 3/DA3 在遮挡、透明物体、复杂光照下的失效模式做专门压力测试，评估监视链路对恢复成功率的影响。7）在多臂同步、力控接触、动态障碍等更真实条件下验证原子纠正执行，并考察重试预算、监视触发频率与延迟的敏感性。

本文把多语言场景文本识别（STR）定位为一个“全合一”识别器问题：既不要每语言一个专家模型，也不要依赖昂贵且对长尾文字不准的 VLM。作者以文字（script）为单位把主要世界语言归并为 10 个文字、229 种语言，并主张用大规模合成数据补足真实数据缺口；模型侧则以稀疏 Mixture-of-Experts 重排解码器容量，让路由按图像而非按 token 选择文字族专家。贡献包括 TextMuSS-10M、TextMuSS-Bench 和 ScriptMoE，并证明轻量统一模型能在 STR 与端到端 OCR 上同时超过专家 OCR 与强 VLM。

STR 在高资源语言（英、中）上已近饱和，但一旦扩展到日、韩、阿、印地、西里尔等文字，真实监督数据严重不足。现有路线分两类：专家 OCR 级联检测器与多语言 STR，通常每语言一个识别器并需语言识别步骤，部署维护成本高且语言分类错误会向下游累积；VLM 方案统一多种语言，但参数与推理开销大，且在许多文字上精度不足。PP-OCRv5 MLT 用约十个按文字划分的模型覆盖上百种语言，说明“按文字聚类”能大幅简化统一建模。本文据此把世界主要语言归为十个代表性文字：拉丁、西里尔、中、日、韩、阿拉伯、印地语族、泰、孟加拉、藏，覆盖 229 种语言。数据方面，除英中外，其余文字缺乏大规模真实 STR 训练集；现有 SynthMLT 规模和质量有限，只覆盖 MLT2019 十种语言。作者扩展 UnionST 合成引擎，每个文字合成 1M，共 10M。评估则扩展 MLT2019 七种文字，新增俄、泰、藏，构成 TextMuSS-Bench（10,899 张）。相关工作中，AR 与 NAR 解码器多针对单语设计：NAR 视觉中心、先验弱，在形态丰富的印地/藏文上更差；AR 让所有文字争夺同一稠密解码器容量，高低资源失衡。MRN 的增量多语言识别有路由思想，但每语言保留特征提取器和分类器，参数随语言数线性增长；CLI-STR 表明数据规模而非语言相似度是关键，这支持大规模合成数据。本文保留 AR 主干，只把解码器 FFN 改成稀疏 MoE，利用“单张图像通常只有一种文字”的先验，激活与当前文字匹配的专家，实现容量按需使用。

数据侧：TextMuSS-10M 每个文字 1M，覆盖 10 文字。语料固定四源混合：40% 词库真实词、20% 随机打乱词、20% 稀字扩展串、20% News Crawl 句子；这样兼顾词法真实、OOV、字表覆盖和语义。渲染用 8k 张 SynthText 背景/纯色背景，模板含水平、垂直、多向旋转、弯曲；弯曲/多向/透视各以 20% 概率独立叠加。中、日、韩垂直文本占 20%，其余 5%；阿拉伯语从右到左渲染但按逻辑顺序保存。各文字字符表合计去重后为 19,684 个字符，加空格与 BOS/EOS/PAD 后词汇 19,687。训练混合包括英文 Union14M、中文 BCTR、少量真实 MLT2019 与 TextMuSS-10M。 模型侧：共享 SVTRv2 分层视觉编码器（三阶段宽度 [128,256,384]、深度 [6,6,6]、注意力头 [4,8,12]；第一阶段 5×5 局部卷积，第二阶段卷积+全局自注意力并做 [2,1] 垂直下采样，第三阶段全全局，无位置嵌入）把图像映射为视觉 token 序列 F∈R^{L×d}。解码器为 2 层、12 头 Transformer，每层 self-attn、cross-attn 后接脚本感知 MoE-FFN。设 h_t 为第 t 步 attention 后的隐藏态，MoE 输出为 α_t·FFN_share(h_t)+(1−α_t)Σ_i g_i·FFN_i(h_t)。共享专家始终激活；n 个路由专家的门 g_i 由图像级路由概率 p 经 TopK 保留后重归一化得到。p=softmax(W_g( \bar{F}⊙(1+σ·ε)))，其中 \bar{F} 是 F 按 token 维 mean-pooling 的图像级表示，ε 是训练期乘性 jitter，σ 为系数。α_t=sigmoid(w_s^T h_t) 是逐 token 的共享/路由支路门。 关键直觉：\bar{F} 每图只算一次，而不是每 token 一次，所以同一张图所有解码步使用同一组路由专家。这编码了 single-image-few-script 先验，降低路由成本、避免 token 级“乒乓”不稳定，并使专家可读作文字专家。十个文字按形态相似性分为四个专家组：Alphabet（拉丁+西里尔）、CJK（中日韩）、Arabic 家族、Others（印地、孟加拉、藏、泰），路由专家 n=4，TopK=2。共享专家吸收跨文字不变部分：数字、标点、弯曲/透视几何、中日共享词汇等，保证专业化不破坏跨文字迁移。 监督侧：路由器的 softmax 分布本身可以任意聚类，因此加一个四路脚本分类头 h_scls 接在同一个 \bar{F} 上，但与路由器权重不共享；标签由真实转写字符的 Unicode 范围自动映射到四个脚本组。该 CE 损失只塑形专家使用方式，λ=0.1，AR 交叉熵主导。AR 目标对字符词汇做标签平滑 0.1。 训练与实现：AdamW，weight decay 0.05，峰值学习率 6.5e-4，全局 batch 1024（8 GPU ×128），one-cycle 调度含 1.5 epoch 线性预热，共 2 epoch；STR 最大长度 25，端到端行级变体 100。数据增广包括旋转、透视、运动模糊、高斯噪声。参数量上，总存储 45.85M，激活 41.13M（89.69%），未路由专家 4.73M；单个专家 FFN 1.18M、共享专家 0.59M，单层 Top-2 激活 4.14M。

在 TextMuSS-Bench 上，ScriptMoE 的平均精度最高，且领先最强基线；提升集中在低资源与视觉困难的阿拉伯语、泰语、藏语上。相比通用/OCR VLM 与专家 OCR 系统，其优势更明显。在 CC-OCR 端到端任务中，仅把 PP-OCRv5 的识别器替换为 ScriptMoE，整体 F1 即有大幅绝对提升，超过最强零样本通用 VLM、最佳 OCR 专用 VLM 和闭源专家系统。消融显示：真实数据无法覆盖未见过的低资源脚本，合成补充必要；专家数、Top-K、图像级路由、共享专家与脚本分类监督均对结果有贡献。在中文与英文单语基准上，ScriptMoE 仍保持竞争力，说明多语言收益并非以牺牲高资源语言为代价；效率指标则显示其存储与激活参数远低于 VLM。

1. TextMuSS-Bench 上 ScriptMoE 平均精度 82.06%，比最强基线 SVTRv2-AR 高 1.31 个百分点。

   Among STR-class methods ScriptMoE reaches 82.06% Avg and improves over the strongest baseline SVTRv2-AR by 1.31%.

2. 收益集中在低资源困难脚本：阿拉伯语 +2.98%、泰语 +2.40%、藏语 +1.96%。

   The gains concentrate exactly where multilingual recognition is hardest, on the visually-difficult low-resource scripts Arabic (+2.98%), Thai (+2.40%) and Tibetan (+1.96%).

3. 通用 VLM/OCR 系统在 TextMuSS-Bench 上平均落后 18–70 个点，部分在阿拉伯语、孟加拉语、藏语上完全失败。

   The contrast with generalist systems is far sharper: they trail by 18-70% Avg points, while some of them collapse outright on Arabic, Bangla and Tibetan, concrete evidence that broad coverage does not imply accuracy.

4. ScriptMoE 每次前向只激活 41.13M 参数（总存储 45.85M），参数量比 VLM 系统低一到两个数量级。

   ScriptMoE reaches this accuracy by activating 41.13M of its 45.85M parameters per image, one to two orders of magnitude fewer than VLM-based systems.

5. CC-OCR 端到端任务中，仅替换识别器使整体 F1 由 65.71% 升至 80.89%（绝对 +15.18%），超过最强零样本通用 VLM（80.73%）、最佳 OCR 专用 VLM（76.70%）与 GoogleOCR（71.78%）。

   Replacing the PP-OCRv5 MLT recognizer with ScriptMoE lifts the overall F1 score from 65.71% to 80.89%, a 15.18% absolute jump. It also edges past the strongest zero-shot general VLM (Qwen3.5-9B, 80.73%), the best OCR-specialized VLM (Qianfan-OCR, 76.70%) and the expert GoogleOCR (71.78%).

6. 数据消融表明 real-only 在未见过的三个低资源脚本上崩溃；合成+真实组合使 MLT2019 平均比 real-only 高 8.40%，且纯 TextMuSS-10M 已比 real-only 高 2.49%。

   First, real-only training collapses on the three low-resource scripts that it never sees. It confirms that synthetic supplementation is mandatory for at least these scripts. Training on TextMuSS-10M alone already far surpasses SynthMLT and even outperforms real data on the MLT2019 average by +2.49%, demonstrating the benefit of sheer synthetic scale. More practically, combining synthetic and real data yields an effective complement: the MLT2019 average rises by 8.40% over real-only training.

7. 四专家配置达到最佳平均 82.06%，收益集中在需要专用容量的脚本（泰语 +2.40%、中文 +1.23%）。

   Four experts reaches the best average of 82.06%, with the gain concentrated on the scripts that benefit most from dedicated capacity (Thai +2.40%, Chinese +1.23%).

8. 扩展到十个专家（每个文字一个）反而抹去收益，因为每个专家样本过少，部分文字更适合与结构近邻共享专家。

   Scaling to ten experts (one per script) however, erases the gain: each expert now sees too few samples to specialize, and some scripts are better served by sharing an expert with their structural neighbors (e.g. Chinese, Japanese and Korean share stroke topology).

9. 移除共享专家导致平均精度下降 0.71 个百分点，其中阿拉伯语 -3.62%、藏语 -3.65%。

   Removing the shared expert is more damaging (-0.71% on average), with the drop concentrated on the low-resource scripts: Arabic (-3.62%) and Tibetan (-3.65%).

10. 移除脚本分类监督使路由偏离文字边界，平均精度下降 0.43 个百分点。

    Removing the script-classification signal lets the router drift away from script boundaries and costs 0.43% on average.

11. 在中文 BCTR 与英文 Union14M-Benchmark 上，ScriptMoE 平均为 86.85% 和 88.95%，分别比 SVTRv2-AR 高 0.92 和 0.28 个百分点，说明多语言收益未牺牲高资源语言。

    ScriptMoE remains competitive on both, reaching 86.85% Avg on BCTR (+0.92% over SVTRv2-AR) and 88.95% Avg on Union14M-Benchmark (+0.28%), confirming that the multilingual gains in the main paper come from script-aware specialization rather than from trading off the high-resource scripts.

12. 效率方面，ScriptMoE 总参数 45.85M、延迟 541.07ms、吞吐 473.1 张/秒、峰值显存 2091.0MB，相比 SVTRv2-AR 的成本增加仍在同一量级。

    SVTRv2-AR [ 2026a ] | 37.50 | 395.92 | 646.6 | 2057.3 ScriptMoE | 45.85 | 541.07 | 473.1 | 2091.0

Novelty：新颖性中等偏上。核心创新不是发明 MoE，而是把 MoE 适配到多语言 STR 的“单图少文字”先验：图像级路由、Top-2 文字族专家、始终在线的共享专家、以及不共享权重的脚本分类监督构成一个具体可复现的组合。与 MRN 的每语言路由相比，本文共享编码器、按文字族而非语言分专家，避免参数随语言数线性增长；与稠密 AR 解码器相比，容量按需激活缓解高低资源冲突。TextMuSS-10M 与 TextMuSS-Bench 也为低资源多语言 STR 提供了数据与评测基础。但各组件（MoE、路由、脚本 ID、合成数据）单独看均已有工作，创新更多是系统集成与任务适配，未提出全新学习范式或理论。 Soundness：整体合理。作者对 15 个 STR 基线用相同数据、相同轮次、相同框架重训并统一评测，VLM 采用官方零样本与统一清洗规则，比较较公平；消融覆盖数据来源、专家数、Top-K、路由粒度、共享专家、脚本损失及连续超参，并给出单语基准防止高资源退化，效率与训练成本也有交代。主要保留意见：TextMuSS-Bench 新增三脚本仅由单一语言专家标注，可能引入标注噪声；训练仅 2 epoch，未必充分收敛；CC-OCR 的端到端分数受上游检测器上限约束；拉丁-西里尔同形字符混淆未消除；部分基线在表中存在缺失项，削弱个别横向比较的完整性。 Significance：实践意义较强：它证明一个轻量统一识别器能在多语言 STR 和端到端 OCR 上超过昂贵 VLM 与每语言专家系统，对边缘部署和长尾语言覆盖有直接价值。数据与基准可降低后续多语言 STR 的复现门槛；脚本族 MoE 的设计原则也可能迁移到其他多语言视觉文本/文档任务。学术上，它提供了稀疏激活与文字感知监督如何在识别解码器中结合的实证，但尚未形成广泛通用的新范式，影响力取决于后续能否扩展到更多文字、混合脚本与增量学习。

（1）覆盖范围限于 10 个文字/229 种语言，其他书写系统与语言仍需重新训练或扩展；新增文字可能破坏现有专家分组。 （2）低资源文字训练主要依赖合成数据，存在合成-真实域差；俄语/西里尔与拉丁同形字符混淆只是缓解而非解决，真实西里尔数据缺失。 （3）端到端仍复用 PP-OCRv5 检测器，检测漏检/误检会封顶最终 F1，拉丁词级评估尤为明显。 （4）TextMuSS-Bench 新增脚本只由单个语言专家标注，质量控制主要靠形态核对，可能含标签偏差。 （5）single-image-few-script 先验对单语裁剪成立，但对混合脚本行、双语排版、代码切换文本不适用；Unicode 自动脚本标签也可能在混合字符时产生噪声。 （6）训练仅 2 epoch，长尾脚本或字符可能欠拟合；路由器无显式负载均衡损失，长期可能出现专家坍塌或负载不均。 （7）评价时先小写并删除符号/空白，词准确率会掩盖大小写和标点错误；对某些应用过于宽松。

可沿数据、模型与系统三个方向继续。数据上，采集真实多语言（尤其西里尔、泰、藏、孟加拉）语料，并用半监督/自训练缩小合成-真实域差；构建混合脚本与行级基准，检验并扩展 single-image-few-script 先验。模型上，实现无全量重训的持续学习以新增文字；在路由器中加入负载均衡或专家容量损失，防止专家坍塌；探索 token/块级与图像级路由的混合，以及更多专家数与分层专家；验证不同视觉编码器、解码深度和 NAR 解码下的泛化性。系统上，将 ScriptMoE 与更强检测器联合训练或做端到端梯度传递，解除检测瓶颈；对边缘部署做蒸馏、量化和动态专家卸载；把方法迁移到文档 OCR、手写多语言识别与视频文本识别。

本文把自己定位在“代理记忆控制作为一等系统层”的交叉地带，而非单纯改进某一种记忆表示或检索技巧。作者指出，长程代理的记忆管理（存什么、怎么连、查哪里、何时停）已成为高频且昂贵的决策，现有系统要么用固定启发式，要么在记忆关键路径上反复调用自回归 LLM；Jev-Mem 的卖点是把这些输出空间有界、高频的结构化决策交给 System-One 类型化控制器，把开放式生成留给 System-Two。相对 MAGMA/HAGE 的多关系图记忆、SimpleMem/LightMem/Zero-Mem 的效率路线，以及 Self-RAG/Adaptive-RAG 的自适应检索，本文的差异化在于用同一个类型化控制抽象统一“写”与“读”两条路径，并同时优化效果与效率。定位清晰，但更多是系统架构整合而非提出新的学习机制。

代理记忆的必要性源于长程交互：LLM 代理持续积累用户偏好、任务历史与环境知识，固定上下文窗口既不可靠也无法无限扩展（文中式 1–3 给出 q_t→R→E_t→L→o_t→U→M_{t+1} 的生命周期）。早期代理记忆是相似度检索的被动存储，随后发展为主动、结构化子系统：选择性保留、合并、分层存储、程序性技能，以及语义/时间/因果/实体多关系图。问题在于，记忆越丰富，控制越昂贵——写入时要分类、判关系、去冗余，读取时要路由、评分、判充分性并决定何时停止，这些决策反复出现在关键路径上。另一条相关线索是自适应 RAG（IRCoT、FLARE、Self-RAG、Adaptive-RAG），把检索视为受控决策而非固定 top-k；成本感知推理（级联路由、投机解码）则表明不同请求不应获得等量计算。System-One/System-Two 双过程理论为“快速结构化决策 vs 慢速审慎推理”提供类比，Jev 的类型化概率决策又让这种分离在工程上可行。本文承接这些线索，把自适应控制从单次证据获取扩展到完整记忆生命周期。

Jev-Mem 的核心是把“记忆控制”从“生成式推理”中剥离。架构分三个平面：System-One 控制平面、共享结构化记忆数据平面、System-Two 推理平面。记忆状态定义为 M_t=(V_t,{E_t^g}_{g∈G},I_t^vec,I_t^lex)，G={semantic,temporal,causal,entity}，所有关系视图共享同一组规范节点 V_t，向量索引与词法索引为同一记忆空间提供互补入口。 控制器抽象 J(S,Q)：输入结构化状态 S 与一批显式决策问题 Q，输出独立命题的概率或互斥备选上的分布。输出空间小而有限，因此无需自回归生成，也无需生成并解析自然语言中间推理；共享同一状态的多个决策可在一次批处理中评估。这与自由形式 LLM prompt 有本质区别：每个决策暴露一个小而已知的输出空间，控制直接以概率表示。 写路径：每个有效观测保留为一个规范节点，不做一次性 store-or-discard，以避免未来查询揭示其相关性之前信息被永久丢弃。控制器先预测四个可重叠类型分 t(v)=(t_episodic,t_semantic,t_procedural,t_preference)，作为节点标注而非互斥分类。关系构建的关键是把“候选发现”与“关系判断”分离：先用确定性信号（向量相似度、词法重叠、共享实体、时间邻近）取 TopK 至多 K_w 个候选，再由控制器只评估这些候选对，从而避免控制成本随记忆规模线性增长。对每对 (v,u)，估计语义相关、方向性因果（caused_by/causes）、同情节成员，必要时做实体等价；时间戳排序直接建 temporal 边、精确共享 ID 直接建 entity 边，隐式时间顺序则由控制器在 before/after/during/contains/overlaps/same_time/unknown 中选择。当 P(g|v,u)≥θ_rel 才插入类型 g 的边；同一节点对可同时具有多类型边。写路径为 o_t→type→candidates→relations→M_t。周期维护检查冗余、矛盾、过时与可加链接；若需文本抽象，仅在结构化决策批准 merge/promote 后才升级给 System Two，生成是控制的后果而非默认机制。 读路径：检索被建模为闭环控制。路由阶段控制器对每个关系视图独立预测需要概率 p_g(q)，并预测 multi-hop 需求 h(q) 与 recency 重要性 r(q)。p_g(q)≥θ_act 的视图被激活，一个查询可同时激活多个视图。给定总图扩展预算 B，权重 w_g=p_g^γ/Σp_j^γ（γ 控制集中度），先给激活视图最小预算 m，剩余预算按权重用最大余数法取整分配 b_g=m+LRound_g[(B−m|A(q)|)w_g]。深度 D(q)=min(D_max,max(1,ceil(D_max·h(q))))。锚点检索用向量与词法排序做倒数排名融合（RRF，κ=60），高排名节点初始化已访问集与前沿，避免控制器在图上盲目起步。 证据制导扩展是读路径的核心：每轮 d 后控制器估计四个量——证据充分性 s_d、继续检索的期望效用 u_d、缺失必需证据 m_d、未解决矛盾 c_d。终止条件为 s_d≥θ_suff 且 m_d<θ_cont 且 c_d<θ_cont；或 u_d<θ_cont。这一双重条件同时防止“过早停止漏证据”与“过度扩张引入噪声”。需要继续时，按各关系预算 b_g 扩展邻居，并受节点、边、深度、控制器调用次数、延迟的全局上限约束。每个候选由控制器沿四维评分：查询相关性 a_v、关系有用性 ℓ_v、信息新颖性 n_v、对当前证据的支持 c_v。最终转移分 s(v|q,E_d) 是加权组合：λ1·z_v（嵌入相似）+λ2·a_v+λ3·p_g(q)·ℓ_v+λ4·n_v+λ5·(π_e+c_v)/2，除以 λ 之和归一化；有时间戳时再用查询特定 recency 调整 ρ_v=1/(1+max(0,τ_*−τ_v)/day)，s̃=(s+0.1·r(q)·ρ_v)/(1+0.1·r(q))。前 W 名进入下一 beam 并累积到证据集，循环 route→retrieve→assess→expand→reassess。终止后取最高分 K 个记忆交给 System Two 合成答案，System Two 不参与正常路由、扩展与停止。 控制开销有显式上界：一次写需要一次批处理 typing 请求，若有候选再有一次至多 K_w 对的批处理关系请求；一次查询需要一次 routing 请求，每轮至多一次证据评估与一次批处理候选评分。附录给出实现细节与阈值：关系分 0.60；图扩展预算 80、激活阈值 0.10、最小分配 1、指数 1.0、beam 宽 10；停止 θ_suff=0.95、θ_cont=0.15；上限深度 8、访问节点 60、检查边 2400、Jev 尝试 16、时间预算 15 秒；每 20 次写做一次合并评估，merge/promote 需所选选项概率 ≥0.85 且矛盾分 <0.85，并由调用方提供的 System-Two 摘要器生成新表示。 训练与数据细节：论文未给出 System-One 控制器的任何训练过程、损失函数、训练数据集或校准方法；控制器由 Jev（TypeSafe AI, 2026）的类型化决策接口实例化，附录明确“这些模型返回值不被假定为校准概率”，并说明 Noul 为二元命题、Choice 用于互斥备选。评测数据为 LoCoMo 长对话记忆。因此该机制的再现性高度依赖专有控制器与一组手工设定的阈值。

论文在 LoCoMo 上把 Jev-Mem 与 Full Context、A-MEM、MemoryOS、Nemori、MAGMA 比较，用 LLM-as-a-Judge 衡量答案质量，用记忆构建时间与每查询平均延迟衡量系统效率。论文声称 Jev-Mem 在总体得分与多数问题子类上领先，同时构建与查询开销显著低于全部基线。但实验仅展示单一基准的结果，未提供消融、重复实验或显著性检验，且正文叙述与表格之间存在若干数字不一致。

1. Jev-Mem 在 LoCoMo 上报告总体 LLM-as-a-Judge 得分 0.777，较最强基线相对提升 11.0%，同时记忆构建时间 158 s（6.6× 加速）、平均查询延迟 0.93 s（36.7% 降低）。

   on LoCoMo Jev-Mem achieves an overall LLM-as-a-Judge score of 0.777, an 11.0% relative improvement over the strongest baseline, while reducing memory construction time to 158 s, a 6.6 × \times speedup over the fastest competing memory system, and lowering average query latency to 0.93 s, a 36.7% reduction.

2. 表 1 中 Jev-Mem 的 LoCoMo 分类得分为：Multi-Hop 0.623、Temporal 0.637、Open-Domain 0.618、Single-Hop 0.802、Adversarial 0.962、Overall 0.777。

   Jev-Mem | 0.623 | 0.637 | 0.618 | 0.802 | 0.962 | 0.777

3. Adversarial 类别上 Jev-Mem 为 0.962，最强基线为 0.742。

   The largest gain appears in the Adversarial category, where Jev-Mem reaches 0.962, compared with 0.742 for the strongest baseline.

4. 正文叙述声称 Multi-Hop 0.625（表格为 0.623）、Open-Domain 0.610（表格为 0.618），与表 1 数字存在不一致。

   On Multi-Hop questions, Jev-Mem reaches 0.625, compared with 0.569 for the strongest baseline. On Open-Domain questions, it achieves 0.610, substantially higher than the best baseline score of 0.517.

5. 正文另称 Single-Hop 0.797（表格为 0.802）并“匹配”Temporal 0.650（表格为 0.637），同样与表 1 冲突。

   Jev-Mem also achieves the highest Single-Hop score of 0.797 and matches the best Temporal score of 0.650.

6. 记忆构建时间为 158 秒，最快竞争记忆系统为 1044 秒，对应 84.9% 缩减与 6.6× 加速。

   Its total memory build time is only 158 seconds, compared with 1,044 seconds for the fastest competing memory system, corresponding to an 84.9% reduction, or a 6.6 × \times speedup.

7. 平均查询延迟 0.93 秒，比最快记忆基线 1.47 秒低 36.7%，比直接处理全上下文的 1.74 秒低 46.6%。

   Jev-Mem also achieves the lowest query latency, requiring only 0.93 seconds per query on average. This is 36.7% lower than the fastest memory-based baseline at 1.47 seconds, and 46.6% lower than directly processing the full context at 1.74 seconds.

8. 效率表中 MemoryOS 构建 3276 s/延迟 32.68 s，Nemori 1044 s/2.59 s，MAGMA 1404 s/1.47 s，Jev-Mem 158 s/0.93 s。

   MemoryOS | 3276 | 32.68 Nemori | 1044 | 2.59 MAGMA | 1404 | 1.47 Jev-Mem | 158 | 0.93

Novelty：新颖性中等。核心概念贡献是把“记忆控制”显式建模为一等系统层，并用同一个类型化 System-One 抽象统一写路径（记忆分类、关系构建）与读路径（查询路由、预算分配、候选评分、证据评估、自适应停止），这是相对零散启发式与反复 LLM 调用的一种清晰架构主张。但各组成部分大多有先例：多关系图记忆见 MAGMA/HAGE，查询条件路由与强化优化见 HAGE，自适应检索与停止见 Self-RAG/Adaptive-RAG/FLARE，成本分配见级联与路由器工作；Jev 控制器本身是外部组件。因此新颖性主要来自“统一控制平面 + 全生命周期效率”的集成，而非新的学习算法或新的理论结果。 Soundness：严谨性偏弱。优点是架构描述清楚、控制开销有显式上界、附录给出了提示模板与具体阈值，便于理解实现。但存在明显问题：实验仅展示 LoCoMo 一个基准，尽管设置段落声称“两个广泛使用的基准”，第二个基准没有任何结果；没有消融实验来隔离各控制组件（路由、预算分配、候选评分、停止）各自的贡献；没有误差棒、重复实验或显著性检验；只用一个 LLM-as-a-Judge 指标；效率比较未说明是否控制骨干模型、硬件与实现，32.68 s 与 0.93 s 的差距可能部分来自工程而非算法；正文数字自相矛盾（0.623 vs 0.625、0.618 vs 0.610、0.802 vs 0.797、Temporal “匹配 0.650”与表中 0.637 冲突），削弱可信度。论文自己提出的关键问题——“更弱的推理器如何控制记忆而不损害下游精度”——没有被正面回答。 Significance：实际意义中等偏上。它针对的是一个真实且正在放大的问题：长程代理中记忆管理本身成为延迟与推理开销的主要来源，因此把有界结构化控制与生成式推理分离的方向对代理系统设计有参考价值；若声称的效率收益可复现，将直接影响部署成本。但当前证据链较弱——单基准、无消融、专有控制器、数字不一致——限制了其当前的说服力。作为一篇方向性/架构性论文，它更像提出一个有前景的设计模板，而非给出已被充分验证的通用结论。

主要局限如下。（1）评测范围窄：仅 LoCoMo 有结果，设置中提到的第二个基准未出现，跨数据集泛化未知；也未测 LongMemEval、MemBench、MemoryAgentBench 等记忆基准。（2）缺乏消融：路由、预算分配、RRF 锚点、四维候选评分、自适应停止、recency 调整各自贡献未分离，无法判断哪些机制真正必要。（3）可复现性受限：System-One 控制器依赖专有 Jev，未给出训练细节、模型规模、推理成本或替代实现；手工阈值（0.60、0.80、0.10、0.95、0.15 等）无敏感性分析。（4）统计严谨性不足：无误差棒、无显著性检验，LLM-as-a-Judge 本身有噪声；效率指标未明确是否控制骨干模型、硬件与批处理条件，跨系统延迟对比可能不公平。（5）内部数字不一致：正文与表 1 在 Multi-Hop、Open-Domain、Single-Hop、Temporal 上冲突，需澄清哪个为准。（6）核心问题未回答：作者自己提出“更弱的推理器控制记忆是否损害精度”，但未通过对照实验（如把 System-One 替换为 LLM 控制）直接检验；也未讨论控制器误判如何被下游 System-Two 缓解。（7）隐私、安全与遗忘机制未讨论，周期维护是否可能错误合并或升级也未给出失败分析。

后续工作可从几方面展开。（1）可复现性：用开源小模型或蒸馏模型实现类型化控制器，报告其推理成本与准确率，并与 Jev 对齐。（2）训练与校准：把记忆控制决策做成标注/弱监督数据，或像 HAGE 那样用强化学习联合优化关系特征与遍历策略；校准 Noul 分数，使阈值具有概率含义。（3）消融与敏感性：逐项移除路由、预算分配、候选评分、停止与 recency 调整，扫描 θ_rel、θ_act、θ_suff、θ_cont、γ、B、beam 宽度，验证结论稳健性。（4）多基准与多骨干：在 LongMemEval、MemBench、MemoryAgentBench 及不同答案模型上验证，并做等计算量对照（让 System-Two 全控基线消耗相同推理预算）。（5）理论化：为自适应停止与预算分配给出遗憾界或样本复杂度分析，形式化“System-One 控制不损害 System-Two 精度”的条件。（6）扩展：把同一控制平面用于程序性/技能记忆、多代理共享记忆、流式增量维护与隐私保护下的本地记忆。（7）纠正并统一正文与表格中的数字，补充失败案例与错误传播分析。

本文提出 Ovis-Embedding，一个以原生多模态骨干为基础的统一嵌入模型家族：Omni-3B 基于 Qwen2.5-Omni-3B，VL-2B/9B 基于 Qwen3.5-2B/9B。文章的核心定位不是“文本模型外挂多模态塔”，而是直接把已联合训练过的理解骨干改造成双塔检索器：移除语言建模头，取最后有效 token 的末层隐状态作为嵌入，不加模态投影头，从而让文本、图像、视频、音频及交错输入共享同一表示空间。围绕这一骨架，作者提出数据侧的 homogeneous-source sampling、训练侧 focal 加权对比损失与相似度蒸馏、推理侧低秩特征分解，目标是推进 any-to-any retrieval，并在 MMEB-v3、MMEB-v2、MAEB、MVEB、RTEB 上取得领先。文章的主要贡献是工程与数据系统性的整合，而非单一算法突破。

稠密嵌入是搜索、RAG、推荐与智能体系统的核心检索层。当信息库同时包含文本、图像、视频、音频、视觉文档与界面状态时，检索不能只覆盖少量预定义模态对；作者用“异常机器声音 + 短文本查询去找视频教程、PDF 示意图或历史维修记录”的例子说明，查询本身可能是多模态组合，候选也来自不同模态，并要求相关性分数跨模态可比。这种设定被称为 any-to-any retrieval。其难点不是把异构输入变成等长向量，而是让表示处于一个经过校准的语义空间：跨模态可比的同时，保留模态内部的细粒度判别。现有视觉–语言嵌入模型不支持音频；已有的全模态系统通常是在文本–视觉嵌入器上补一条音频通路，或把单独训练的音频编码器对齐到既有空间，本质上是把声学输入适配到一个“没有音频参与学习”的几何结构，可能限制细粒度跨模态对齐。Ovis-Embedding 的起点是 Qwen-Omni 这类原生共享 Transformer，文本、视觉、音频、视频前端及其共享编码器已在预训练中被联合对齐。评估侧，MMEB-v3 覆盖文本、图像、视频、音频、视觉文档与智能体任务；MMEB-v2 侧重视觉–语言；MAEB 与 MVEB 分别密集评估音频与视频表示；RTEB 侧重真实搜索与 RAG 的文本检索。文章试图回答单一全模态编码器能否匹配或超过各模态专家基线，以及训练配方各组件的贡献。

机制上，Ovis-Embedding 由四个层面构成：原生骨干转换、任务数据构造、分阶段对比训练、推理期维度压缩。 一、架构与嵌入提取。Omni-3B 采用 Qwen2.5-Omni 的 Thinker–Talker 架构，但删除用于语音生成的 Talker，保留文本 tokenizer、视觉编码器、音频编码器与共享 Thinker。视觉 token、声学 token 与文本 token 交错后进入因果 Transformer；TMRoPE 对齐音频与视频的时间位置，使同一模型能处理同步音视频。VL-2B/9B 采用 Qwen3.5 骨干，混合 Gated DeltaNet 线性注意力与全门控注意力；2B 为 24 层、隐宽 2048，9B 为 32 层、隐宽 4096。图像以动态分辨率编码，视频做时间采样，多模态旋转位置编码保留二维空间与时间坐标。双塔转换规则很轻：给定任意单模态或交错输入，经原生处理器与 chat template 添加任务指令后，取末层最后非填充 token 的隐状态作为嵌入，不引入投影头。因此嵌入维度直接继承骨干，所有模态共享同一输出接口；检索用余弦相似度，等价于 L2 归一化后点积。any-to-any 检索中的单模态或成对检索（文本–文本、图–文、视频–文、音频–文、音频–视频等）都成为该统一表示空间的特殊情形。 二、数据构造与同源采样。训练语料覆盖文本、图像/视觉文档、视频、音频、交错多模态与智能体数据。图像侧包含分类（ImageNet、CUB、SUN397，并用 Qwen3.5-Plus 对网络图像打标扩充）、QA（TextVQA、DocVQA、InfoVQA 与合成长尾数据）、检索（新闻图文、文搜图、图搜图）、grounding（COCO 及衍生标注）与开放世界商品检索。视频侧采用 collect–filter–organize 流程：先以概念或自然语言描述检索网络视频，再用 VLM 对采样帧做内容验证；分类标签只有在视频内容被确认后才被采纳，检索数据先做相关性过滤，再对已通过过滤的样本进行保守的查询改写，只改可观察事实错误，不改变正负视频集合。音频侧覆盖识别、音频–语言匹配与双向检索；负样本尽量保持同任务族，迫使模型区分语义相近的声音而非依赖格式差异。文本侧按五类范式构造：一般稠密检索、指令遵循/约束检索（相关性可分解为请求与约束的合取，理想负样本满足请求但违反约束）、推理/多跳检索、多条件检索（用 MultiConIR 思路，从源文档抽取条件，对每个条件生成一个“仅破坏该条件”的硬负样本，使困难度由构造保证）、长文档检索。此外还引入 RTEB 相关领域数据与 MTEB 风格任务数据。智能体数据包括工具检索、GUI 检索与知识检索，负样本混合 BM25 挖掘与随机采样。所有样本统一为 query–positive–negative 三元组，并做去重、过滤与评测集剔除。关键的数据策略是 homogeneous-source sampling：每个 micro-batch 来自同一数据源，候选经池化后去重，使批内负样本任务一致，从而减少模型借模态/任务捷径判别，提升共享空间中的细粒度判别。报告称最终约五千万训练对，但脚注声明该数字为占位估计。 三、分阶段训练。Stage-1 为低秩对比预训练，在大规模全模态语料上以 in-batch mixing 组织全局批次，并把所有数据并行 rank 上的正候选与硬负候选池化为共享候选集；若每实例有 K 个硬负样本，候选集规模为 N(1+K)。给定温度 τ，正例概率 π_i 由 softmax 归一化的余弦相似度给出，单查询 InfoNCE 损失为 −log π_i。文章在此之上叠加两个互补目标。其一是 focal 加权对比损失：以正例概率 π_i 作为检索置信度，取 a_i = sg[(1−π_i)^γ] 作为难度系数并做批量内单位均值归一化，最终损失是 a_i log π_i 的加权和除以 a_i 之和。γ=0 退化为均匀平均；困难查询（正例与负例竞争激烈）获得更大权重，容易样本被压权，但整体损失尺度不变，即只重分配、不放大优化预算。其二是相似度蒸馏损失：教师对候选集产生完整 softmax 分布，候选级 log 概率离线算好并存储，避免训练时反复推理教师；学生以相同候选顺序与温度计算分布，最小化前向 KL(t_i ∥ q_i)。这比 InfoNCE 的近似 one-hot 监督多出“负样本之间的相对排序”信息，能传递教师空间中的细粒度相似性结构。Stage-2 解冻全参数，在更高质量数据上以同源批次微调，强化任务一致候选间的判别。Stage-3 为退火式嵌入蒸馏：保留教师已判对、学生仍判错的样本，上采样学生遗漏案例，并对低置信查询施加更强排序监督，把专家能力迁移进单一编码器而不引入推理期模态组件。Stage-4 处理部署效率：对同一冻结编码器做低秩特征变换，配合轻量残差适配，生成多种紧凑嵌入维度；对比基线是“朴素截断”——把冻结嵌入直接切到前 d 维并重新归一化。低秩分解的目标是用更少的存储与相似度计算代价，保留全宽嵌入中的检索质量。

实验覆盖五个基准家族：MMEB-v3 作为主全模态基准，MMEB-v2 用于视觉–语言变体，MAEB、MVEB、RTEB 分别检验音频、视频与真实文本检索。文中报告的量化证据主要集中在 VL-9B 与 VL-2B 在 MMEB-v2 上的成绩，以及附录中的维度压缩实验；Omni-3B 的领先结论以摘要性陈述给出，正文未见其逐项数字表。总体趋势是：视觉–语言变体在各自比较组中取得最佳总分，图像子任务优势明显，视频时刻检索尤其突出；模型规模增大对视频任务增益最大；低秩维度压缩在宽维度下几乎无损，短维度下对音频/视频等粗粒度任务的保留优于对视觉文档与智能体等细粒度任务。

1. 文章称 Omni-3B 在 MMEB-v3 上达到新 SOTA，VL-9B 在 MMEB-v2 上领先，家族在 MVEB、MAEB、RTEB 上进一步推进。

   Ovis-Embedding-Omni-3B establishes a new state-of-the-art on MMEB-v3 , Ovis-Embedding-VL-9B ranks top on MMEB-v2 , and the Ovis-Embedding family further advances MVEB , MAEB , and RTEB .

2. VL-9B 的 MMEB-v2 总分为 81.13，比最强基线 Octen-VL-Embedding-Large 高 1.04 分。

   Ovis-Embedding-VL-9B reaches an overall score of 81.13, outperforming the strongest selected baseline, Octen-VL-Embedding-Large, by 1.04 points.

3. VL-2B 的 MMEB-v2 总分为 77.46，比 Octen-VL-Embedding 高 2.04 分。

   Ovis-Embedding-VL-2B obtains 77.46, exceeding Octen-VL-Embedding by 2.04 points.

4. 在图像任务上，9B 变体的平均分为 83.96、比次优高 2.10 分；2B 变体为 80.62、比次优高 3.21 分。

   The 9B model achieves an IMG average of 83.96, improving upon the next-best result by 2.10 points, while the 2B model obtains 80.62 with a larger margin of 3.21 points.

5. 两个 VL 变体都在视频时刻检索上排名第一，9B 与 2B 分数分别为 64.86 和 57.63。

   each ranks first on video moment retrieval, with scores of 64.86 and 57.63 for the 9B and 2B models.

6. 从 2B 扩到 9B，总分提高 3.67 分，其中 IMG 提高 3.34、VID 提高 5.78、VISDOC 提高 2.59。

   Moving from 2B to 9B improves the overall score by 3.67 points, with gains of 3.34 on IMG, 5.78 on VID, and 2.59 on VISDOC.

7. 规模扩展带来的最大子任务提升出现在视频问答、视频时刻检索与视频检索。

   The largest sub-task improvements occur on video question answering ( + 7.64 +7.64 ), video moment retrieval ( + 7.23 +7.23 ), and video retrieval ( + 5.74 +5.74 ).

8. 维度压缩实验中，相对全宽的平均保留率在宽度为 1024、512、256、128 时分别约为 100.1%、99.2%、97.4%、93.2%。

   Retention (%) | | 100.0 | 100.1 | 99.2 | 97.4 | 93.2

9. 低秩适配相对朴素截断的优势随前缀变短单调扩大，从 1024 维的 0.43 分增至 128 维的 4.30 分。

   Our margin over it grows monotonically as the prefix shortens, from + 0.43 +0.43 at d = 1024 d=1024 to + 4.30 +4.30 at d = 128 d=128 .

10. 在 128 维下，音频与视频损失较小，而 VisDoc 与 Agent 损失较大；朴素截断对后两者的损害也最重，适配在这些细粒度任务上恢复能力有限。

    At d = 128 d=128 audio loses 0.33 0.33 points and video 1.26 1.26 , whereas VisDoc and Agent lose 6.97 6.97 and 6.18 6.18 . Plain truncation costs those two the most as well, 13.89 13.89 and 11.01 11.01 points against 3.00 3.00 on audio, and they are also where the adaptation recovers the least of that loss

Novelty：新颖性属于中等偏上，主要是系统集成式创新而非根本性方法突破。原生全模态初始化有明确动机：相比“事后补音频塔”或“对齐独立音频编码器”，直接使用 Qwen-Omni 的共享 Thinker 更符合 any-to-any 校准目标；去掉模态投影头也足够简洁。同源采样作为数据策略有实用价值，能产生任务一致的难负样本。但 focal 加权、KL 蒸馏、低秩维度压缩都来自已有思想，文章主要贡献在于把它们组合到全模态嵌入训练流程中，并配套大规模数据管线。整体更像一个强工程化、数据驱动的 SOTA 系统报告。 Soundness：从可见文本看，方法与实验的严密性存在明显缺口。其一，数据规模处有脚注声明“所有数字为占位估计，最终版本会更新”，这会削弱训练语料与复现声明的可信度。其二，Omni-3B 的 MMEB-v3、MAEB、MVEB、RTEB 结论只有摘要性宣称，正文未见逐项数字，无法判断其“balanced performance”是否成立，也无法核查统计差异。其三，对 focal、蒸馏、同源采样等核心组件，正文没有给出独立消融；可见的消融只有附录中的维度压缩实验。其四，低秩预训练的具体配置、教师模型身份、温度、focal 指数 γ、训练步数与数据配比等关键超参数未披露。其五，评估依赖官方聚合分数，但跨模型提示与池化策略不同，公平性依赖作者对基线官方配置的忠实执行，报告中缺乏误差条或多次运行稳定性分析。整体方向合理，但证据完整性与可复现性尚不足以完全支撑“new state-of-the-art”的强表述。 Significance：实践意义较高。若承诺的开放权重、数据配方、训练/推理代码与统一评测工具落地，将为社区提供覆盖文本、图像、视频、音频的 any-to-any 检索基础，尤其是目前开源资源较弱的音频与音视频检索。灵活嵌入维度对存储和相似度计算成本敏感的大规模索引场景有价值，低秩分解与截断的对比也为部署选择提供了直觉。研究上，它提示“原生全模态理解骨干”比“事后拼接模态塔”更适合做统一检索空间，可能影响后续统一嵌入模型的设计路线。

第一，报告展示的 Omni-3B 证据不足：缺少 MMEB-v3 各模态与任务明细、MAEB/MVEB/RTEB 的系统比较，也缺少与音频专家模型在细粒度语音、音乐、环境声上的失败分析。第二，数据规模被标注为占位估计，且数据来源、清洗比例、各模态配比、去重覆盖率等关键统计缺失，读者无法评估数据贡献的真实大小。第三，核心训练组件缺乏消融：focal 加权是否优于单纯难负采样、蒸馏教师是否引入泄漏或偏差、同源采样相对随机混合的净收益、退火蒸馏的课程设计均未被量化。第四，低秩推理方案的算法细节不足：低秩分解作用于哪一层、残差适配如何训练、不同任务是否共享投影、与训练期低秩参数化的关系均未说明。第五，跨模态“校准”没有被直接度量：官方 Hit@1/nDCG 只能反映排序质量，不能证明不同模态之间的相似度分数具有绝对可比性。第六，骨干版本（如 Qwen3.5）的可获得性与训练计算成本未说明，外部复现存在障碍。第七，报告中未见对失败案例、长尾模态、多语言音频/视频和交错查询的定性分析，虽然评测部分声称会回答 OOD 定性问题，但正文未给出结果。

后续工作应优先补齐证据链：发布 Omni-3B 在 MMEB-v3、MAEB、MVEB、RTEB 上的逐任务结果与错误分析；公开最终数据规模、各来源占比、去重与评测集剔除的审计记录；给出 focal γ、温度、教师模型、低秩模块、同源采样的独立消融与敏感性分析。方法上，可以进一步研究跨模态校准的直接度量指标，例如跨模态相似度分布的统计距离或校准误差，而不只依赖检索排序指标；也可把低秩特征分解与训练期表示约束联合设计，针对 VisDoc/Agent 这类依赖低方差方向的细粒度任务改善短嵌入容量分配。工程上，应记录训练成本、数据吞吐与推理延迟，报告多语言音频/视频、长音频、长视频及交错多模态查询的泛化表现。最后，若能验证同源采样与原生骨干在更大规模、更多骨干上的可迁移性，将有助于确认这一路线是否具有普遍意义，而非仅对当前骨干有效。