2026-09-26

本文处于两条线索的交汇点：一是把视频生成模型当作“世界模型”，二是发展心理学中的核心知识（core knowledge）框架。论文的核心对象不是新架构，而是两项认知先验——客体永久性（object permanence, OP）与客体实体性（object solidity, OS）。作者先质疑“视频模型是否已经涌现出OP/OS”，再提出可用核心认知启发的合成数据把这种能力训练出来。主要产物是WROP（World Reasoning with Object Permanence）：150个手工设计的Blender任务生成器、六个认知家族、150万样本训练语料、300题考试、14个视频模型的盲评Elo榜单，以及在其上微调的16B续写模型PWM-WROP和原生PyTorch的Trainium2训练栈。论文的立场是“评估+数据基础设施”先行：用受控的3D任务隔离OP/OS变量，用人工偏好判断绕过VLM法官的核心知识局限，并把模型作为语料可训练性的基线而非新方法。

背景分为三层。第一层是视频生成的世界模型化：近期视频模型已能产出逼真、时序连贯的画面，被普遍视为可模拟世界的世界模型；但它们在遮挡与实体性上持续失败——物体消失在遮挡物后又在错误位置重现，或穿过固体障碍物而不偏转。第二层是认知科学依据：人类婴儿在3.5个月时已能表征被遮挡物体，半岁内即可察觉实体性违背；OP与OS被Spelke等归入核心知识，是领域特异性、早期即可运作的表征系统，为后续物理推理提供脚手架。论文据此论证视频生成中的OP/OS失败是“结构性上游”问题：允许物体相互穿透的模型无法产生合法的碰撞或支撑移除事件，更上层的场景构建与因果推理也会继承这些错误。第三层是评估方法论：已有工作指出VLM法官在此类核心知识判断上存在局限（Li、Luo等），因此本文改用对物理一致、手工动画真值的人工盲评；同时引入三类接口（true continuation、reference-to-video、edit/transfer），因为不同接口对条件片段的关系根本不同，edit/transfer模型只能重绘输入所在时段、无法生成遮挡边界之后的事件。研究问题被压缩为两个：当前模型是否尊重OP/OS，以及OP/OS能否通过核心认知语料训练获得。

WROP的机制核心是把“不可直接监督的认知能力”转成“可生成、可拆分、可判断的V2V续写任务”。 一、任务构造的认知分解。150个生成器分为六个家族，横跨OP与OS两维：OP-1（Baillargeonian occlusion，26个任务）要求目标物穿越遮挡后在同侧以身份、尺寸、方向不变地重现；OP-2（object static occlusion，29个任务）让移动遮挡物覆盖静态物体，移除后场景的数目、身份、空间布局必须复原；OP-3（container permanence，35个任务）把物体藏在容器里，容器可静止、平移、旋转或互换，模型必须把物体绑定到容器的新位置而非世界原点。OS-1（Baillargeonian obstruction，20个任务）是孔径-物体尺寸关系的固体性判断；OS-2（object drop，21个任务）是支撑移除后的下落耦合；OS-3（object collision，19个任务）是碰撞后的计数守恒与动量传递。这种分类把“记住了什么”与“因果上发生了什么”分开，便于定位失败类型。 二、参数分区的核心设计。每个生成器把参数分成两组：structural parameters（物体数量、几何、轨迹、遮挡配置、孔径尺寸、接触时刻）决定物理与认知挑战，跨样本系统变化以控制难度并防止模型记住固定结果；surface-level parameters（颜色、材质、光照、机位）在同一结构配置内独立随机，只制造视觉差异而不改变物理问题，防止模型借感知线索作弊。关键事件被作者设计为“在时间中点或之后开始”：120帧动画在关键事件起始处切开，前60帧作为输入建立事件前上下文，后60帧作为目标包含事件及其后果。这样训练与评测共享同一协议，物理事件总是落在模型必须生成的帧内。 三、数据生成的三阶段管线。阶段(1)每个任务写成自包含、参数化的Blender生成器，指定物体语义角色、场景几何、初始条件、关键帧运动与接触事件、相机、自然语言提示和期望物理结果；不使用刚体求解器，所有轨迹都是解析关键帧，遮挡/接触/重现发生在受控帧，物理合理性由场景作者而非模拟器负责。阶段(2)共享驱动通过Blender 4.4.3的EEVEE Next渲染，记录的随机种子只控制物体颜色、材质、光照等表面变化，而相机、几何、空间配置、物理机制被保留；120帧渲染在帧60切开，每个样本打包为五元组（input video、target video、prompt、trajectory、metadata）。阶段(3)生成器在并行worker上独立运行，每个产出1万训练样本；失败渲染自动重试并记录，自动审计校验五个组件可读、两段帧率一致、各恰好60帧且无缝隙/重叠、轨迹与元数据字段齐全、元数据可追溯到生成条件；不合格样本拒绝并重新生成，发布前每个生成器抽样人工检查。此外，单个生成器内允许存在多个物理合法结果（如Marked_Boxes_Swap中两个带标记盒子交换位置后重开），迫使模型追踪盒子的同一性及其隐藏内容，而不是只依赖最终位置。 四、训练机制。PWM-WROP从Cosmos3-Nano微调，架构与tokenizer完全不变，只改变训练信号。它直接在V2V契约上训练：输入半段是条件片段，目标半段是预测目标；不使用任务标签、家族名或超出片段与自然语言提示之外的监督。模型在一个epoch上对150万样本微调，每个样本的prompt作为文本条件。训练几何是117帧打包片段、分辨率320×192：57帧条件+60帧预测，这也正是评测几何。评测时UniPC、35步、guidance 6.0、shift 10.0，固定种子；对两个90帧题目，前33个输入帧落在条件窗口外不被看到。需要注意训练语料是“同一150生成器的更早渲染”，存在训练-评测来自同一生成分布的问题（见局限）。 五、训练栈机制。PWM是随检查点发布的原生PyTorch栈，面向AWS Trainium2。36层模型被切分在tensor-parallel×FSDP2的64个NeuronCore网格上，每块用静态shape编译一次；在288×512几何、batch 16下达到每步5.7s，工程记录从15.1s优化到5.7s，包含并行布局、吞吐台账、正确性门与端到端微调状态。 六、推理协议的统一性。所有14个模型走同一推理harness：每题只传prompt与输入视频、扣住目标视频；输出需通过ffprobe解码与几何校验；不进行任何模型特定prompt工程，原文直传，禁用服务端prompt扩展。开放权重模型本地按上游推荐设置运行；PWM-WROP只看输入最后57帧、预测60帧。对返回“源+输出”拼接的端点先裁掉预测前段（LTX-2.3 Extend裁3.25s、Grok Imagine裁前60帧、Kling裁0.5s前垫），短于供应商最小长度的输入用首帧前填充以保持事件时刻不变。 七、评估机制。主指标是20名评分者的盲评两两比较：所有片段统一为1280×720、24fps、无声、同一码率；评分者看到输入视频与文字提示后，在A/B/“差不多”之间选择，依据三项联合标准（文本对齐、运动自然与物理合理性、OP——物体不消失/自发出现/穿障/变色变形变数）。质量控制包括8/10门槛、注意力检查、自重复一致性（Cohen’s κ）。两两结果用Bradley–Terry模型聚合，平局记半胜，报告均值1500的Elo尺度；置信区间与top-1概率来自按评分者聚类的1000次bootstrap重采样。自动指标作为次要的“目标拟合”度量：像素级MSE/MAE、PSNR/SSIM/MS-SSIM、LPIPS、时序差分L1、末帧MSE/SSIM/LPIPS、CLIP相似度与FID；预测段重采样到目标帧数并统一缩放至320×192以消除空间尺度差，末帧额外在720p计算。论文明确指出这些指标衡量与参考片段的接近度而非物理推理正确性——忠实重绘静态事件前场景的edit模型可能SSIM很高却从未生成物体重现。

实验部分围绕两条主线展开：人类偏好的Elo排名与自动目标拟合指标。盲评两两比较覆盖全部14个模型，先给总体Elo榜与bootstrap top-1概率，再做六家族内部分析；定性部分选取每家族一个代表性生成器做同任务同样本对比，归纳出“表征丢失”与“因果解耦”两类失败；自动指标部分报告全参考指标，并强调它们只能诊断视觉/几何一致性。总体结论是：参考-视频模型占据榜单顶部，PWM-WROP在续写类模型中排名第一、总榜第三，领域特定微调显著领先同接口续写系统；接口类型比模型规模更能解释榜单；OP与OS的家族画像不同，暗示两类能力需要不同的内部表征。具体数值均以claim+quote形式列在下方，此处不重复。

1. 在盲评Elo榜中，PWM-WROP以1679.5分位列总榜第三、续写类第一。

   PWM-WROP (ours) | True continuation | 1679.5 | [1603.5, 1781.5] | 73.1% | 52

2. 两个参考-视频模型Wan 3.0 Prime与MiniMax H3在1723.6分处统计上并列第一。

   Wan 3.0 Prime | Reference-to-video | 1723.6 | [1629.2, 1864.9] | 77.9% | 52

3. PWM-WROP领先下一名续写模型Grok Imagine达224个Elo点。

   PWM-WROP ranks third overall at 1680 [1604, 1782] and is the highest-ranked true-continuation model, leading the next-best true-continuation system, Grok Imagine (video extend), by 224 Elo points (1457 [1368, 1555]).

4. bootstrap top-1概率显示Wan 3.0 Prime、MiniMax H3、PWM-WROP、Seedance 2.5四者占满榜首概率，其余模型为零。

   Wan 3.0 Prime leads at 46.8%, followed by MiniMax H3 at 36.4%, PWM-WROP at 12.3%, and Seedance 2.5 at 4.5%; every other system has zero probability of ranking first.

5. 在统一320×192尺度下，PWM-WROP的LPIPS与MS-SSIM最优，CLIP相似度第二。

   PWM-WROP performs best on perceptual distance (LPIPS 0.081; next best 0.105), structural similarity (MS-SSIM 0.921; next best 0.877), pixel error (MSE, MAE), and final-frame MSE, and ranks second on CLIP similarity.

6. 训练语料为150万样本、每生成器1万；考试为300题、每生成器2题；每样本为1280×720、24fps的120帧动画。

   The training corpus contains 1,500,000 samples across 150 generators, each contributing 10,000 samples. The evaluation exam contains 300 questions: 2 samples from each of the 150 generators. Every sample is a 120-frame, physically consistent, hand-authored animation rendered at 1280 × \times 720 and 24 fps

7. 人评质量控制：20名评分者通过8/10门槛（中位9/10），注意力检查90.0%正确，重复题自一致性93.5%，Cohen’s κ为0.891。

   Twenty crowdsourced raters participated after passing a qualification screen (threshold: 8/10; median score: 9/10). Raters answered 90.0% of embedded attention checks correctly and agreed with themselves on 93.5% of repeated items (Cohen’s κ = 0.891 \kappa=0.891 ).

8. 总共完成476/480次判断，其中361次落在不同模型之间、每模型50–52次。

   yielding 476 of 480 completed judgments, of which 361 fell between distinct models (50–52 per model).

9. 未检测到位置偏差：非平局判断中左侧片段被偏好51.4%。

   No position bias was detected: the left-placed clip was preferred in 51.4% of non-tie judgments ( p = 0.615 p=0.615 ).

10. 家族层面PWM-WROP在OP-2排第一、OP-1与OP-3排第三；OS方面OS-2第二、OS-1第五、OS-3第八。

    it ranks first in object-static occlusion (OP-2) and third in both Baillargeonian occlusion (OP-1) and container permanence (OP-3); across the three OS families its profile is more variable, placing second in object drop (OS-2), fifth in Baillargeonian obstruction (OS-1), and eighth in object collision (OS-3).

11. MiniMax H3在object drop与collision两个家族各赢下100%的对局。

    MiniMax H3 ranks first in both object drop and collision, winning 100% of its games in each

12. 训练栈在Trainium2上达到batch 16、每步5.7秒（288×512几何）。

    reaches 5.7 s per step of batch 16 at the 288 × 512 288\times 512 geometry

Novelty：新颖性中等偏上，但主要来自“问题定义与资源工程”，而非模型或算法创新。把OP/OS从发展心理学系统转译成六个可生成的V2V任务家族、并用“结构参数/表面参数”解耦物理挑战与视觉变化，是一个清晰且有辨识度的设计；以手工关键帧动画而非物理引擎保证受控的事件时刻，并用人工盲评规避VLM法官的核心知识局限，方法论上有一定原创性。相比之下，PWM-WROP只是对Cosmos3-Nano换训练信号做微调，架构与tokenizer均未改动，且训练-评测共享同一生成器分布，因此“训练出OP/OS”的贡献更接近数据有效性证明，而不是新方法。整体上这是一个强基础设施型贡献。 Soundness：评测协议较为严谨：统一harness、盲评、注意力检查、自重复一致性、按评分者聚类的bootstrap、按接口类别分层分析，这些做法降低了主观与选择偏差。但存在若干结构性问题：一是混淆因素未被隔离——三类接口的生成条件根本不同（edit模型无法产生边界后事件），且各模型原生分辨率/帧率/时长不同，却放进同一Elo榜比较；二是只微调了一个基座（Cosmos3-Nano）且只有一个epoch，无法把“训练有效”与“基座或数据有效”分离；三是训练语料与考试来自同一批150生成器（尽管是不同渲染），泛化性未被独立检验；四是自动指标统一缩到320×192，恰好是PWM-WROP的原生分辨率，存在对其有利的尺度匹配问题；五是每生成器仅2个考题、每模型仅50–52次对局，个体排名置信区间较宽。总体：内部一致性良好，外部有效性与因果归因偏弱。 Significance：对“世界模型的物理推理”这一方向有中等偏上的现实意义：它提供了一个可复现、受控、认知grounded的OP/OS基准与150万样本训练语料，填补了“视频模型物理推理可测不可训”的空白；盲评证据表明领域特定合成微调能让续写模型显著超越同类系统，这对数据驱动世界模型有启发价值。同时发布的Trainium2原生PyTorch栈也有工程复用价值。但其意义受限于合成域：任务均为简单几何/玩具物体、单事件、短时程，尚未证明能迁移到真实视频或组合物理推理；榜单中参考-视频模型的优势也提示，当前证据更多支持“重生成自由度有利”，而非OP/OS的表征已被真正习得。

第一，公平性与混淆。14个模型分属续写、参考-视频、编辑/迁移三类接口，且原生分辨率从320×192到1920×1080、帧率24/30不等；Elo榜把“无法生成事件后帧”的编辑模型与参考-视频模型同台比较，排名差距可能反映协议适配而非OP/OS能力。论文承认接口类型比规模更能解释榜单，但没有按接口分轨做头对头公平对比。 第二，训练-评测分布重叠。PWM-WROP的训练语料与300题考试来自同一批150生成器（只说是“更早渲染”），因此“排名第一的续写模型”主要证明同分布拟合，不能证明对未见任务、新物体或新遮挡几何的泛化；缺少留出任务族或跨生成器泛化实验。 第三，因果归因不足。只微调Cosmos3-Nano一个基座、一个epoch，没有数据规模消融、课程消融、多基座对照，也没有训练前的基座在同一考试上的分数；无法把224 Elo点优势拆解为“基座能力 vs 数据 vs 微调协议”。架构差异也被作者明确承认不能归因于训练。 第四，考试规模与统计功效有限。300题=每生成器2题，每个模型仅50–52次对局，家族内部分析的样本更少；Elo置信区间宽，中段模型（Runway Aleph 2到Cosmos3 Super）难以区分。20名评分者、三标准合并为单一偏好，也无法区分“纹理对齐”与“物理正确”。 第五，自动指标的尺度偏差。全参考指标统一缩至320×192，恰好是PWM-WROP的原生分辨率；在720p的末帧LPIPS与FID上其成绩明显变差（上采样四倍后被惩罚），说明低分辨率输出在等尺度下被“保护”，指标不能支撑跨分辨率物理推理结论。 第六，真值的物理严格性。轨迹全部是手工关键帧而非刚体/物理引擎求解，物理合理性依赖作者判断；虽然经过人工检查，但缺少解析真值、接触力、质量/摩擦等参数，无法作为精确的动力学监督。多合法结果（如换盒）虽然防作弊，却使自动“目标拟合”与“物理正确”进一步脱钩。 第七，能力刻画粗粒度。定性分析归纳出“表征丢失”与“因果解耦”，但没有机制性验证（如探针、注意力、潜在轨迹解码）来支撑这一二分；也没有把trajectory元数据用于训练或评测的辅助监督，资源利用率偏低。 第八，人类判断的替代性。论文批评VLM法官有核心知识局限，但20人盲评昂贵、主观、不可规模化，且三标准合并与“差不多”平局可能掩盖细粒度错误；长期看仍需可自动化的OP/OS判定器。

后续工作可从五个方向推进。其一，消除混淆、建立因果证据：在固定接口与统一分辨率/帧率下做头对头；对多个基座、多个数据规模、有无OP/OS家族消融、课程顺序做对照；加入留出任务族与未见物体/纹理的泛化考试，把“同分布微调有效”升级为“习得可迁移的物理先验”。其二，把真值做强：引入物理引擎或解析动力学生成ground truth（同时保留受控事件时刻），记录质量、摩擦、接触力与显式遮挡图；将trajectory与metadata作为辅助训练信号或评测判据，例如对预测轨迹做OP/OS违反检测。其三，自动化与可扩展评测：训练或校准专门的VLM法官，使其在核心知识任务上与人类一致；或设计无需参考视频的违反检测器（穿障、数目变化、重现位置偏移）作为在线指标，摆脱对单一300题考试的依赖。其四，机制分析：用探针、潜在轨迹解码、注意力图或反事实扰动验证“表征丢失 vs 因果解耦”二分，定位失败发生在编码遮挡前状态、维持隐藏表征、还是解码重现时刻；把OS与OP家族画像差异与模型内部表征联系起来。其五，扩展核心知识谱系与真实域：加入数量、能动性、支持关系、因果链等更多核心知识任务，逐步增加多事件组合与长时程，再迁移到真实视频或半真实渲染，检验合成先验是否向下游世界模型能力迁移；同时研究参考-视频模型为何在OS上占优、续写模型如何在保留输入同一性的前提下获得同等自由度。

本文处于具身智能、全模态理解与空间音频三个方向的交叉缺口。已有全模态模型（Qwen3-Omni、Qwen2.5-Omni、GLM4-Voice、SO-7B）主要把音频当作语义流，很少编码声源方位、距离与运动；视觉语言导航系统（Seq2Seq、CMA、VLN-R1、InternVLA-N1、NAViLA-SAGE）依赖文本或目标图像，声音引导研究又多停留在仿真与双耳音频。OmniEcho 以“真实基准—可控仿真—模型集成”三者闭环切入：OmniEchoBench 同时覆盖空间音视问答与声音引导导航；统一 FOA 渲染管线让声源轨迹、视觉观察与智能体轨迹几何一致；OmniEcho 在冻结的全模态骨干上嫁接 FOA 空间通路。其核心贡献是问题定义、真实评测与可扩展数据基础设施，而非单点网络创新。

人类能依据声音判断方向并与视觉线索融合，即使目标被遮挡或在视野外；具身智能体却缺乏该能力。空间音频对导航特别有价值：事件可能发生在相机视野之外，声音能揭示目标方向并引导靠近。现有工作存在两个断层：一是全模态模型擅长音视语言联合理解，但音频塔多为单声道或语义导向，不能输出可靠声源几何；二是 SoundSpaces、AVLEN、RILA 等音频导航工作建立在仿真声学与双耳音频上，不支持 FOA，且存在 sim-to-real 差距。FOA（一阶 Ambisonics）用四个球谐分量记录声场，天然携带方位信息，但真实采集昂贵：接收信号同时取决于声源与听者位姿、场景几何、反射和混响，需要同步标注声源轨迹与听者运动。作者因此采用混合策略：真实采集用于建立可信测试基准，可控渲染用于产生大规模训练监督。OmniEchoBench-QA 以真实演员按剧本表演，同步录制主视角视频、360°全景与四通道 FOA，全景仅用于标注，测试只给单视角与 FOA，并刻意设计画外声源与跨视野边界事件；OmniEchoBench-Nav 在 30 个真实扫描场景中密集采集声场，形成声源定位与导航的闭环评估。训练数据侧则用 Seedance 生成动态视觉、用 LLM 导演编排声源轨迹，并把已有 VLN 轨迹改造为声音引导监督，从而兼顾几何一致性、可扩展性与任务多样性。

任务形式。感知任务输入为 FOA 音频 A、视频 V 或单图 I、问题 q，输出答案 a；导航沿用 InternNav 设定：每步输入语言指令 L、前向相机 T 帧、当前时间窗 FOA A_t，模型预测未来 K=8 个时间步的相对轨迹；过去观测被均匀采样为 T−1 个关键帧并与当前帧拼成视觉输入。两类任务由此共享同一序列建模接口。 FOA 渲染与声学特征。每个单声道声源 s_i(t) 带时变三维轨迹，听者与相机共位。采用右手听者坐标系，相机原点朝 +y，方位 θ∈[−180°,180°]，0°正前、+90°左、−90°右。FOA 由实球谐编码合成：a(t)=Σ_i (g_i/r_i(t)) Y(θ_i(t), φ_i(t)) s_i(t)。其中 r_i 为声源-听者距离，g_i 为增益；声源方向会变换到当前听者坐标系以保持与视觉观察对齐，并可加入距离衰减与房间效应。该公式同时驱动感知与导航数据，使声源轨迹、视觉观察和智能体运动在几何上一致。 编码器架构。FOA 编码器是约 11.9M 参数的卷积-Transformer 网络。输入不是原始四通道波形，而是 5×128×T 特征图：W 通道 log-mel 谱、DirAC 三轴 active intensity（i_x, i_y, i_z）与 diffuseness δ。STFT 前端为 16 kHz、FFT 400、hop 160、128 mel bin；卷积前端含 3× Conv2d（stride 2, GELU）与 8× 时间下采样，约得到 12.5 token/s；随后是 5 层 Transformer（d_model=384、6 头、FFN 1536、pre-norm、正弦位置编码）。语义头用可学习 query 的注意力池化得到 512 维 clip 嵌入；定位头用 query 条件交叉注意力预测（az, el, dist）。 三阶段训练。第一阶段语义对齐：将 FOA clip 嵌入与冻结 CLIP 文本嵌入对齐，建立开放词表的声音语义空间。为处理正负样本极端不平衡（正音频-标签对仅约 0.3%），采用逐 clip 类别平衡的 sigmoid 目标。两个嵌入先做 ℓ2 归一化，logit 为 s_ij=α ã_i^T t̃_j+b（α=exp(γ)），对每个 clip 在正标签集合 P_i 与负标签集合 N_i 上分别平均 BCE，再整体平均；该损失在 100k 个合成静态 FOA 场景（1–4 声源，2–8 秒）上训练。第二阶段 query 条件定位：在语义对齐基础上微调，输入文本 query 指定目标声源，交叉注意力定位头预测其方位、俯仰与距离；损失包含定位损失与第一阶段语义目标，防止语义能力遗忘。第三阶段集成到 Qwen3-Omni：将冻结的 FOA 编码器 f_θ* 嫁接到骨干。同一段 FOA 走两条互补路径——W 通道下混为单声道送原始冻结音频塔，保留原生语义音频 token；同一 clip 经 FOA 编码器得到空间 token，在时间上重采样到 7 Hz 音频 token 网格，再经可训练 projector 映射到语言嵌入空间。投影后的空间 token 占用预留占位符 <foa_pad>，按时间顺序插到对应音频 token 之后。第三阶段只更新 LLM 参数 Ψ 与 projector φ，FOA 编码器、音频塔、视觉塔全部冻结。直觉是：原生音频塔已具备强语义先验，空间 token 只需补充几何信息；冻结编码器可保留前两阶段的空间表征，避免多模态指令微调中的干扰。 训练数据合成。感知数据由 LLM 导演输出结构化场景：N 个前景声源加一个环境声，每声源含语义标签、目标响度（LUFS）、起止时间与完整轨迹 {(t_k,θ_k,φ_k,r_k)}。Seedance 生成全景视频与每声源特写 clip，特写音轨被提取为单声道 stem，经响度归一化、裁剪/循环与门控。由于导演轨迹与生成像素只是近似一致，作者从视频反推几何：在静态相机假设下用开放词表分割与跟踪定位声源，用针孔模型把像素中心转为归一化坐标 u=(W/2−c_x)/f、v=(H/2−c_y)/f_v，再恢复方位 θ=atan2(u,1) 与俯仰 φ=atan2(v,√(1+u²))；单目深度提供相对距离并锚定到场景尺度，轨迹平滑重采样，画外源保持脚本轨迹并强制在 FOV 外。随后追加 2–4 个画外声源与相机偏航轨迹，使音频旋转与裁剪/平移后的画面一致；最终按式(1)渲染 FOA，并从轨迹确定性生成四类 QA（方向、运动、3D 定位、相机旋转）。该管线产出 26,585 个视频 QA 与 18,518 个纯音频 QA，另有 100k 静态场景用于编码器预训练。导航数据把 R2R、RxR、VLN-PE、ScaleVLN 四套 VLN 语料改造为声音引导监督：VLM 观察目的地末五帧并提议不泄露位置的声音事件（约 50/50 口语与非语音），TTS/Seedance 合成单声道 stem；声源放在 episode 终点，按 1/r 距离衰减（r_min=0.3m，不做峰值归一化以保留距离线索）编码为 FOA；目标为相对当前位姿的 K=8 路点 [x_fwd, y_left, ψ]。R2R/RxR 使用镜像源早期反射与跨房间衰减，ScaleVLN/VLN-PE 仅直射；可选加入 1–3 个平面波干扰源，SNR 从 {20,15,10,5,0} dB 采样。SFT 样本交错最多 8 个历史帧、当前帧、共位 FOA 与任务文本，并由 VLM 基于八方向桶、near/far 距离桶与两个轨迹元动作写 CoT 理由；静止终点被改写为多数 <stop> token 的主动停靠监督。 评估细节。QA 先用 qwen3.7-flash 提取器把自由文本归一化为结构化字段（yesno、方向集、角度、距离、字母），再用确定性规则判分：方向用四轴 token 组合做八向精确匹配；角度允许 ±45°；3D 定位要求距离误差 ≤2m 且方位正确；认知地图四选一需字母完全一致。导航在 Habitat 闭环中执行，每步选择离智能体最近的接收器并把 FOA 水平分量旋转到当前自我中心帧；动作空间为 stop/move_forward/turn_left/turn_right（0.25m、15°），路点按主导位移或偏航转为离散动作；最多 50 次决策/500 步，带卡住检测；模型自停条件为空轨迹或最大路点位移 <0.3m 且几乎无偏航。指标 SR/SPL/NE/OS/TL 分别反映成功率、路径效率、终点误差、oracle 成功与路径长度。

总体而言，作者在感知与导航两类任务上报告了与多个基线的比较：OmniEcho 在空间音视问答上总体及多数子任务领先，音频-only 与音视设置趋势一致；消融表明冻结的 FOA 编码器、保留原生语义音频通路、以及第一阶段语义对齐预训练对性能均有贡献；声音引导导航在真实基准上超过早期文本或声学基线，但落后于较强的文本引导系统，路径效率与自主停靠仍是瓶颈；少量真实数据微调可一致改善感知性能。由于主干模型主要依赖仿真训练数据，结论受 sim-to-real 分布影响。

1. 在 OmniEchoBench-QA 音频-only 设置中，OmniEcho 的 Overall 为 21.8，超过 Qwen3-Omni-30B-A3B 的 17.5、Qwen2.5-Omni-7B 的 10.6、GLM4-Voice-9B 的 12.2 与 SO-7B 的 10.1。

   Qwen3-Omni-30B-A3B ( Xu et al., 2025b ) | Qwen3-Omni-30B-A3B | A-single | 22.7 | 18.4 | 8.3 | 22.0 | - | 17.5 Qwen2.5-Omni-7B ( Xu et al., 2025a ) | Qwen2.5-Omni-7B | A-single | 22.7 | 8.3 | 4.6 | 14.6 | | 10.6 GLM4-Voice-9B ( Zeng et al., 2024 ) | GLM4-9B | A-single | 20.4 | 9.5 | 5.4 | 20.3 | - | 12.2 SO-7B ( Zhu et al., 2026 ) | Qwen2.5-Omni-7B | A-foa | 21.4 | 7.1 | 0.0 | 20.7 | - | 10.1 OmniEcho (Ours) | Qwen3-Omni-30B-A3B | A-foa | 29.1 | 22.1 | 14.0 | 24.9 | - | 21.8

2. 在音频+视觉设置中，OmniEcho 的 Overall 为 28.5，显著高于 Qwen3-Omni-30B-A3B 的 18.5、Qwen2.5-Omni-7B 的 12.6 与 SO-7B 的 11.4。

   Qwen3-Omni-30B-A3B ( Xu et al., 2025b ) | Qwen3-Omni-30B-A3B | A-single + V | 32.7 | 16.3 | 7.7 | 20.9 | 22.3 | 18.5 Qwen2.5-Omni-7B ( Xu et al., 2025a ) | Qwen2.5-Omni-7B | A-single + V | 24.9 | 8.0 | 5.4 | 14.0 | 20.0 | 12.6 SO-7B ( Zhu et al., 2026 ) | Qwen2.5-Omni-7B | A-foa + V | 21.4 | 5.2 | 0.0 | 17.1 | 22.8 | 11.4 OmniEcho (Ours) | Qwen3-Omni-30B-A3B | A-foa + V | 41.7 | 22.6 | 14.2 | 24.7 | 47.5 | 28.5

3. 在 OmniEchoBench-Nav 上，OmniEcho 取得 SR 16.2、SPL 11.5，高于 Seq2Seq、CMA 和 SoundSpaces，但低于 InternVLA-N1 的 SR 17.8 与 SPL 16.7。

   Seq2Seq ( Krantz et al., 2020 ) | End-to-end | Text Instruction | 11.3 | 9.4 | 4.14 | 53.00 | 5.51 CMA ( Krantz et al., 2020 ) | End-to-end | Text Instruction | 9.8 | 8.5 | 4.34 | 48.56 | 5.00 InternVLA-N1 ( Intern Robotics, 2025 ) | Qwen2.5-VL-7B | Text Instruction | 17.8 | 16.7 | 2.87 | 63.89 | 4.67 Soundspaces ( Chen et al., 2020a ) | End-to-end | Binaural audio | 5.4 | 3.9 | 5.32 | 25.67 | 4.16 OmniEcho | Qwen3-Omni-30B-A3B | FOA audio | 16.2 | 11.5 | 4.09 | 52.89 | 7.02

4. 在 VLN-CE R2R Val-Unseen 上，OmniEcho 的 SR 为 22.2、SPL 为 16.3、NE 为 7.31，超过 Seq2Seq 的 SR 21.0 和 CMA 的 SPL 20.0 之外的 SR，但仍落后于 VLN-R1、NAViLA-SAGE 与 InternVLA-N1。

   Seq2Seq ( Krantz et al., 2020 ) | End-to-end | Text Instruction | 21.0 | - | 7.81 | 28.0 | 8.39 CMA ( Krantz et al., 2020 ) | End-to-end | Text Instruction | 22.0 | 20.0 | 8.17 | 28.0 | 7.42 VLN-R1 ( Qi et al., 2025 ) | Qwen2-VL-7B ( Wang et al., 2024b ) | Text Instruction | 30.2 | 21.8 | 7.0 | 41.2 | 10.0 InternVLA-N1 ( Intern Robotics, 2025 ) | Qwen2.5-VL-7B ( Bai et al., 2025 ) | Text Instruction | 50.6 | 43.3 | 4.73 | 56.7 | - NAViLA-SAGE ( Miao et al., 2026 ) | navila-siglip-llama3-8b-v1.5-pretrain | Text Instruction | 38.0 | 36.0 | - | 51.0 | - OmniEcho | Qwen3-Omni-30B-A3B ( Xu et al., 2025b ) | Audio Instruction | 22.2 | 16.3 | 7.31 | 24.5 | 5.54

5. 消融显示，完整配置（原生音频编码器 + 冻结 FOA 编码器）取得最佳 Overall 28.5，加入冻结 FOA 编码器可带来超过仅用原生音频的增益。

   The full configuration achieves the best Overall score of 28.5. Adding the frozen FOA encoder to the native-audio-only baseline improves Overall and most subtasks, confirming that it provides essential spatial cues beyond those captured by the native audio pathway.

6. 移除原生音频编码器但保留冻结 FOA 编码器会使 Overall 从 28.5 降至 26.2，说明原生语义音频 token 与空间表示互补。

   Removing the native audio encoder while retaining the frozen FOA encoder reduces Overall from 28.5 to 26.2, showing that native semantic audio tokens remain complementary to the spatial representation.

7. 在第三阶段更新而不是冻结 FOA 编码器，会使 Overall 降至 26.2，且 Camera Rotation、Source Direction、3D Localization、Source Motion、Cognitive Map 均低于冻结配置。

   ✓ | ✓ | training | 37.5 | 21.6 | 13.2 | 19.5 | 45.2 | 26.2

8. 输入表示与第一阶段预训练消融中，feat5+stage1 达到 17.9° 方位误差、7.70° 俯仰误差和 1.13 距离误差，优于 raw4+stage1 的 30.5°、13.8° 和 1.65。

   feat5+stage1 achieves the best performance, with 17.9° azimuth error / 7.70° elevation error / 1.13 distance error, substantially outperforming raw4+stage1 (30.5° / 13.8° / 1.65).

9. 用真实世界数据微调后，OmniEchoBench 上的总体平均分从 28.5 提升到 34.9。

   Fine-tuning with real-world data yields a clear improvement in overall performance, raising the average score from 28.5 to 34.9.

10. 第三阶段训练共使用 363,193 个训练样本，导航子集来自 ScaleVLN、RxR、R2R 和 VLN-PE，训练在 32 块 NVIDIA A100 GPU 上约需四天。

    the model is trained on spatial audio-visual QA together with navigation-oriented supervision, resulting in 363,193 training examples in total. The navigation subset consists of 139,142 examples from ScaleVLN ( Wang et al., 2023 ) , 92,418 from RxR ( Ku et al., 2020 ) , 31,577 from R2R ( Anderson et al., 2018 ) , and 28,969 from VLN-PE ( Wang et al., 2025 ) . Stage 3 training is conducted on 32 NVIDIA A100 GPUs and requires approximately four days.

Novelty：新颖性中等偏上。问题设定——面向具身智能体的空间音视理解与声音引导导航——存在明确空白；OmniEchoBench 是较早统一覆盖真实 FOA 感知与导航的基准，刻意强调画外声源、跨视野边界与认知地图；可控渲染管线把声源轨迹、视觉观察和智能体轨迹几何对齐，是可复用的数据基础设施。方法层面并非全新架构，核心是 FOA 编码器三阶段预训练，以及在 Qwen3-Omni 上做双通路集成、占位 token 插入与冻结策略，属于巧妙的工程组合而非根本算法创新。相比 SO-7B 等空间音频模型，OmniEcho 同时保留语义音频通路并引入视觉/导航监督，是其差异化优势。 Soundness：整体可信度较高。真实基准采集有同步全景标注与确定性规则评分，减少了 LLM 主观判分带来的不可复现性；仿真数据生成包含几何反推、一致性校验与确定性答案构造；消融能分离 FOA 编码器、原生音频塔、冻结策略和输入特征的贡献；导航采用 Habitat 闭环与自停设定，指标定义清楚。主要问题在于：主干模型几乎完全用仿真数据训练，真实数据微调实验反而说明存在明显 sim-to-real 差距；导航基线任务定义不完全对齐，SoundSpaces 需转双耳、文本基线没有声音指令；QA 的容差较宽（角度 ±45°、距离 ±2m），可能高估细粒度空间能力；消融和结论依赖单一骨干 Qwen3-Omni-30B-A3B，跨模型可推广性未被充分验证。 Significance：意义较大。空间音频长期被全模态模型与 VLN 研究忽视，本工作提供了真实基准、可扩展数据管线和强基线，证明 FOA 能提供视野外目标线索，并把声音引导导航拉近到传统文本 VLN 的水平。它可能推动具身智能体在遮挡、跨房间、背向目标等场景中的感知与搜索能力。开源基准、数据与代码有望成为后续研究的标准评测。局限在于当前距离估计和细粒度定位仍弱，导航效率与可靠停靠未解决，因此本文更多是打开问题而非关闭问题。

一是训练数据几乎全为合成，真实分布（房间混响、设备频响、背景噪声、声源变化）覆盖不足，主模型存在 sim-to-real 差距；论文给出的真实数据微调结果反而印证了这一点。二是细粒度空间理解仍弱：一阶 Ambisonics 空间分辨率有限，距离估计依赖响度与混响线索，在未见环境中不可靠；角度与距离评测容差较宽，可能掩盖连续定位能力的不足。三是导航落后于较强文本引导 VLN，尤其 SPL 与 NE 较差，自停不可靠；声音引导缺少路线级语言或目标图像，任务本身更难，但与基线不完全可比。四是基准中导航场景和样本规模有限，声源以静态单源为主，未覆盖多源、移动声源、间歇声源和动态遮挡。五是模型依赖 Qwen3-Omni-30B-A3B 单一骨干，训练成本高，跨骨干泛化性未知；部分基线（如 SoundSpaces）需把 FOA 转双耳，比较公平性受限。六是 QA 答案是短短语/桶化标签，不能充分评估开放词表、连续角度或自由形式的具身推理。

后续可沿几条线展开。数据侧：用更多真实 FOA 录音做领域自适应或小样本微调；扩充多源、移动声源、室外与高混响场景；引入高阶 Ambisonics、双耳麦克风阵列或神经声场表示，提升空间分辨率。模型侧：改进 FOA 编码器对距离和混响的建模，把距离估计与声源响度解耦；设计 FOA token 与视觉 token、3D 地图或认知地图之间的显式交叉注意力，而不是仅按时间插入占位符；探索端到端训练 FOA 编码器但用正则或课程学习避免干扰。导航侧：把空间音频线索与规划、探索、主动停靠策略联合优化，例如加入 RL 或决策 Transformer；研究“听到但看不到”时的主动转头、绕行与跨房间搜索策略；建立更公平的声音引导导航基线和统一评测协议。评测侧：引入连续角度/距离回归指标、更细粒度错误分析、真实机器人闭环实验，以及消融声学线索（方位、距离、语义、混响）对行为的影响。

本文是一项系统性实证研究（AgenticGenPlan），核心问题是：现成的编码智能体（coding agents）能否在极少 TAMP 专用脚手架的情况下，自主完成广义任务与运动规划（generalized TAMP）。文章主张，与其像传统 TAMP 方法那样手工构造谓词、操作符、采样器和技能，不如让编码智能体在仿真器访问权限下自主探测环境、编写并反复修订一个可复用程序，然后在训练期冻结该程序、在未见实例上以无 LLM 的方式评估。论文将工作定位在广义规划、基础模型驱动 TAMP 与智能体程序合成三者的交叉处。主要贡献包括：跨 KinDER 与 PDDLStream 的大规模评测；不提供环境源码与抽象的主设置；提供源码的参照设置；以及通过交互日志与 git 提交对智能体物理推理行为的定性分析。其核心结论是：编码智能体应被视为广义 TAMP 的强基线。

TAMP 即使在全观测、以对象为中心的状态下依然困难，因为离散决策与几何、运动学、动力学约束高度耦合，任务周期长、奖励稀疏。广义 TAMP 通过跨实例复用规律来降低新实例上的规划代价，已有方法学习采样器、可行性预测器、搜索启发式或抽象，但通常需要大量 TAMP 特定工程。此前的证据相互矛盾：编码智能体在软件工程基准上快速进步，LLM 在经典规划领域有进展，但让 LLM 在 TAMP 系统内部做几何/物理决策时表现差。这使“编码能力能否迁移到 TAMP 的物理推理”成为一个开放问题。形式上，论文研究有限时域、目标导向的 MDP，状态全观测且对象中心化，每个对象对应实值特征向量（位姿、几何、关节、速度）。环境提供 reset 与 step 接口，可采样初始状态并执行动作获得转移、奖励与终止信号。合成阶段在固定预算内根据任务描述与仿真器访问权限产生程序；程序在每步接收状态并返回动作，因可保持内部状态而写成对交互历史的函数。评估阶段程序被冻结，合成方法不再被调用，在训练期间隐藏的初始状态上测试。主要指标是成功率和每个实例的计算时间。

总体思路：把广义 TAMP 的求解程序合成交给现成编码智能体，用“自主交互—编写代码—测试—修订”的循环替代 TAMP 特定的人工工程。合成阶段与评估阶段严格分离，评估时程序冻结、无 LLM 参与。 策略形式与接口。程序化策略实现为带 reset（回合初始化）与 get_action（由状态/历史计算动作）方法的类；由于程序可维护内部状态，诱导策略写作对交互历史的函数。论文不限制程序内部结构：可含搜索、优化、采样、逆运动学（IK）、闭式控制、预计算候选集、重试/回退等，唯一目标是最大化未见实例上的成功率。 合成循环细节。初始提示包含任务描述（环境名、任务、观测空间、动作空间、目标），并说明物体数量可变、解决方案须支持任意合法物体数，同时告知评估时限。主设置中沙箱是“裸”的：只有 Python 解释器加 NumPy/SciPy，强制智能体端到端生成程序、不能依赖现成库；不提供任何手写 TAMP 谓词、操作符、采样器或技能。仿真器访问通过客户端接口（reset、step、渲染等）实现，真正的服务器在容器外运行、智能体不可见。在预算内，智能体自主决定要运行什么：编写并执行自定义测试、检查状态、依据结果修改程序。为可追溯，论文要求每次测试前把程序提交到 git，从而重放修订历史、追踪程序如何演化。 隔离与安全。容器沙箱有独立文件系统、无网络，论文用红队测试验证隔离，包括尝试读取环境源码、导入禁用库、访问宿主机或网络。 +source 参照设置。容器内提供环境源码：智能体可阅读实现、导入 IK 解算器等辅助函数，并在合成期间设置任意状态、直接操纵仿真器，从而获得对转移模型的生成式访问。该设置用于区分“推断环境机制”与“开发行为”两重难度，并给出完全知情下的参照表现。 基线设计。TAMP 规划器采用符号搜索加采样以满足连续约束，使用基准官方实现的手写谓词、操作符、采样器与运动规划技能，逐实例重新规划（仅在部分环境可用）。LLMGenPlan 作为非智能体 LLM 广义规划基线：用 Opus 5、思维链提示、禁用思考，不能使用工具或文件系统；它收到适配后的提示与完整环境源码，须写出与主设置同规格的程序。由于 LLM 不能运行代码，固定流水线评估其程序并返回预定义反馈（异常与回溯、非法动作、带种子的未解实例）；它与编码智能体获得相同合成预算，但从不自主选择运行内容、不能写自定义测试、只能看固定反馈。One-shot 基线即 LLMGenPlan 生成的首版程序，用于衡量无任何细化循环时的表现。 训练与数据细节。主基准 KinDER 含 25 个环境、四个族（Kinematic2D、Dynamic2D、Kinematic3D、Dynamic3D），其中多数环境有不同物体数量变体并超出原基准评测范围；另含三个 PDDLStream 域（Packing、Blocked、Rovers）。每种方法每环境跑 5 次独立运行，编码智能体与 LLMGenPlan 每次合成预算为 20 美元模型用量；每个生成程序在 100 个保留实例上评估（从相同初始分布采样，种子随机生成、事后核验未被合成期使用），所有方法统一 60 秒/实例超时。 机制直觉：交互如何取代人工抽象。智能体的优势来自“先验知识+定向探测+迭代校准”的闭环。典型模式包括：(1) 搭建内部模型——如 Shelf 中凭先验构造机械臂运动学模型，用被抓方块作标记标定安装与抓取偏移，再用拟合模型做 IK；(2) 构造边角测试——如 StickButton 中反复 reset 不同种子、筛选贴墙棍与高按钮等困难配置形成测试套件；(3) 参数细化——如 BalanceBeam 中调整放置目标位置以提升成功率；(4) 策略切换——如 Blocked 中通过 git 提交加入“改取远处无遮挡块”的回退。最终程序对规律的利用方式多样：识别阻塞障碍物再规划搬移以缩小搜索、把固定操作序列按实例适配、闭式控制、预计算候选集加重试/回退。论文还记录非抓取操作、利用环境布局等未见于已发表解的意外策略。

实验围绕智能体能否写出泛化程序、发现何种策略、“智能体性”带来什么优势、合成程序多高效、源码访问是否有帮助这几个问题展开。评测覆盖 KinDER 各环境族与 PDDLStream 域，报告逐环境成功率及置信区间、每动作决策耗时，并结合交互日志与 git 提交做定性分析。总体结论是：智能体合成程序在多数提供规划器的环境上优于手工规划器、One-shot 与 LLMGenPlan；随物体数量增长，智能体程序保持更高成功率且每实例计算开销远低于规划器；源码访问进一步提升成功率，但仅有源码而缺乏智能体式交互的 LLMGenPlan 仍表现有限。最难的是部分动态三维环境，尤其是需要扫、倒大量小物体的任务。

1. 全部三种智能体配置在 16 个有规划器的环境上，平均成功率 56%–95%，超过手工规划器的 47%，也超过 One-shot 与 LLMGenPlan。

   Overall, we find that coding agents are surprisingly effective at generalized TAMP: all three agent configurations outperform hand-engineered planners, one-shot generation, and an LLM-based generalized planning baseline in mean success (56% to 95% versus 47% for the planners, on the 16 environments where a planner is available).

2. 研究规模为 28 个环境、7 种程序合成方法、每种方法每环境 5 次运行、每个程序 100 个保留实例，共 98,000 次评估回合。

   The study covers 28 environments, seven program synthesis methods, five runs per method per environment, and 100 held-out test instances per resulting program, 98,000 evaluation episodes in total.

3. 按后端汇总，Claude Code 平均 82% 成功率（规划器的 1.7 倍），Codex 在 GPT-6 Astra 下为 95%、在 GPT-5.6 Sol 下为 56%。

   Claude Code averages 82% success, 1.7 times the planner’s 47%, and Codex averages 95% with GPT-6 Astra and 56% with GPT-5.6 Sol.

4. Astra 在各族平均成功率最高（Kinematic2D 99%、Dynamic2D 97%、Kinematic3D 93%、Dynamic3D 65%、PDDLStream 近 100%），Opus 依次为 96%、92%、90%、45%、78%。

   Astra is the best performing agent, averaging 99% success on Kinematic2D, 97% on Dynamic2D, 93% on Kinematic3D, 65% on the harder Dynamic3D, and nearly 100% on PDDLStream. Opus follows, with 96%, 92%, 90%, 45%, and 78%, respectively.

5. 在多数有规划器的环境中，三种智能体配置都超过规划基线：Astra 15/16、Opus 12、Sol 9。

   All three agent configurations exceed the planning baseline in most environments with one available (15 of 16 for Astra , 12 for Opus , and 9 for Sol )

6. 主设置下 Opus 程序平均每次动作 11.7 ms；Astra 最快，平均 1.3 ms（约为 Opus 的 1/9），源码访问把 Astra 均值抬到 50.4 ms。

   Main-setting Opus programs choose actions quickly, averaging 11.7 ms per action. Opus + source programs average over 3 times that, with large variation across environments, from over twice as fast to nearly 200 times slower, because many of them invoke the environment source code as part of planning. Synthesis without source code instead forces the agent to distill what it learns into self-contained code, which yields faster programs at evaluation time. Astra programs are the fastest, averaging 1.3 ms per action, about 9 times faster than Opus , and source access costs them even more, raising the average to 50.4 ms.

7. 在有规划器且含多物体数量的 14 个环境中，Opus 与 Astra 程序每实例平均 2.1 s 和 0.5 s，规划器为 29 s。

   Programs also need far less computation than the planners: on the 14 environments with a planner available and multiple object counts, Opus and Astra programs take 2.1 s and 0.5 s per instance on average, compared with 29 s for the planners.

8. 源码访问把 Opus 平均成功率从 74% 提到 84%、Astra 从 86% 提到 95%；同样拿源码且同预算的 LLMGenPlan 只有 28%，Opus+source 在 27/28 环境更高。

   Source access raises mean success for both agents, from 74% to 84% for Opus and from 86% to 95% for Astra . Source access is not sufficient on its own: LLMGenPlan also receives the source code, uses Opus 5, and has the same $20 budget, yet reaches 28%, while Opus + source is higher in 27 of 28 environments.

9. Shelf 中一次 Opus 运行拟合机械臂安装与抓取偏移的六个参数，把预测与观测方块位姿的 RMSE 从 38.9 mm 降到 1.8 mm。

   From a few observations, it fits six parameters describing the robot mount and grasp offsets, reducing the RMSE between predicted and observed cube positions from 38.9 to 1.8 mm on the calibration observations.

10. BalanceBeam 中一次 Sol 运行把小块放置目标移近梁中心，使成功率从 6% 提升到 64%。

    In BalanceBeam, for example, one Sol run moves its small-block placement targets closer to the beam’s center, increasing success from 6% to 64%.

11. Blocked 中一次 Sol 运行加入回退后成功率从 15% 到 56%（新增 41 个实例、无回退损失），后续提交到 83%，解决了全部 80 个有替代块的实例。

    In one Sol run, a commit adding this fallback raises success from 15% to 56%, with 41 newly solved instances and no lost successes (Figure 4 ). Subsequent commits reach 83% final success, solving all 80 instances with an alternative block but only three of the 20 without one.

12. SortClutteredBlocks 中，主设置 Astra 按状态顺序分配箱子、在 4 个方块时有效但 20 个方块全失败；源码访问后程序读取目标箱，成功率从 43% 到 95%。

    In SortClutteredBlocks, for example, main-setting Astra programs assign cubes to bins by their order in the state, with a rule that works for four cubes but fails on every twenty-cube instance. With source access, programs read each cube’s target bin (43% to 95%).

Novelty：新颖性中等。将现成编码智能体直接用于广义 TAMP 的端到端程序合成，是一个新的组合：此前 LLM 在 TAMP 中多作为规划器内部组件（Text2Motion、LLM3、PDDLStream 研究），或生成带约束/轨迹优化接口的程序（PRoC3S、MOPS），而 LLMGenPlan 只覆盖符号广义规划、无工具与交互。本文的关键区别在于：(1) 不提供 TAMP 抽象，让智能体自行决定程序内部结构；(2) 用智能体式交互（自主测试、校准、修订）替代固定反馈流水线；(3) 在几何/运动学/动力学约束的 TAMP 基准上做大规模冻结评估。但“编码智能体+执行反馈”这一范式本身已有 RHO、ASPIRE、MEMENTO 等先例，本文的增量主要在问题域迁移、无抽象设置与评测规模，而非提出新算法或新模型。 Soundness：方法学总体稳健：评估采用未见实例、随机种子事后核验、统一 60 秒超时、5 次独立运行、逐环境置信区间，程序冻结且测试期无 LLM；比较对象包括官方实现的手工规划器与两个 LLM 基线；+source 与主设置的对照设计清晰。主要顾虑：(1) 模型训练数据未披露，无法排除对基准代码/解的记忆；日志显示大量探测与修订、且发现意外策略，但这只是间接证据；(2) 20 美元预算受模型定价与封闭 API 影响，可复现性弱，缺少按交互步数或墙钟的消融；(3) 100 实例的置信区间未配合显著性检验，部分环境区间很宽；(4) 仅两个后端、三个模型配置，结论对模型版本敏感。整体看，结论与其声明的“强基线”主张基本匹配，但应视为实证观察而非因果机制证明。 Significance：若结论可复现，意义较大：它表明通用编码智能体能替代大量 TAMP 专用工程，把广义 TAMP 从手工抽象/学习组件转向“智能体交互合成”这一新基线，对机器人领域有实际价值。“无源码主设置”尤其贴近现实——只需任务描述与仿真器即可产出快速、LLM-free 的策略；论文还提供了可复用的评测协议与完整提示词。但意义受限于简化 TAMP 环境、全观测对象中心状态，以及封闭模型带来的复现与记忆污染风险；其对真实机器人、感知不确定场景的外推尚未建立。

论文自身承认并可从方法推断的局限包括：(1) 设定假设全观测、对象中心状态，且合成期有仿真器访问，因此未覆盖感知不确定、真实机器人部署与部分可观测场景；(2) 模型训练数据未披露，无法排除对基准代码或解的预训练记忆；尽管日志显示环境探测、测试与大量修订，且发现未见于已发表解的意外策略，可作为反记忆的间接证据，但并非严格证明；(3) 评测仅覆盖两个后端（Claude Code、Codex）与三个模型配置，结论依赖特定封闭模型版本，长期可复现性弱；(4) 20 美元预算只约束模型用量，未约束交互步数、墙钟或环境步数，无法刻画“智能体性”随预算的缩放行为；(5) 主设置无源码时，智能体须从奖励与渲染图像推断目标，有时会基于不准确的目标写程序，导致部分失败；(6) 部分动态三维环境仍基本未解，尤其需要扫、倒大量小物体的任务，说明物理推理与长期接触式操控仍是明显短板；(7) +source 设置提供生成式转移模型访问，是“完全知情”的参照而非现实假设，主设置与 +source 之间的差距提示信息可得性对结果的敏感性；(8) 简化 TAMP 基准与真实操纵仍有距离，成功率的提升未必迁移到连续、接触丰富、噪声感知的真实任务。

后续工作可从几个方向展开。(1) 放宽假设：引入部分可观测、图像感知、噪声与真实机器人执行，检验智能体合成策略在感知不确定下的鲁棒性。(2) 对抗记忆污染：设计程序化生成、评估期才实例化的新环境，或使用训练截止后发布的环境，以更严格区分“回忆”与“推理”。(3) 可复现协议：改用开源模型或固定检查点，记录交互步数与墙钟，消融预算、工具种类、反馈类型对合成质量的影响。(4) 深入失败分析：对动态三维的扫、倒、抛等接触丰富任务，分析是模型物理推理、动作接口还是搜索效率不足，并针对性地提供课程、演示或子技能。(5) 结合形式化保证：把智能体合成的程序与 TAMP 验证、碰撞检查、可行性证明结合，在保持泛化与效率的同时提供安全/完备性保证。(6) 研究“交互即模型学习”：Shelf 式内部模型校准表明智能体在隐式做系统辨识，可进一步让智能体输出显式动力学/运动学模型，供规划器复用。(7) 跨域迁移：考察从仿真合成程序向真实机器人的 sim-to-real 转移，以及程序对物体数量、几何分布变化的泛化边界。

本文属于大语言模型表征几何与效率推理交叉的实证机制研究。核心命题是“叠加线性假说”：对两条文本流做逐 token 嵌入平均，标准 decoder-only LLM 会在同一残差流中近似并行地保留两条路径的下一 token 信息。论文把自己的位置夹在两条线索之间：一是残差流近似线性的工作（Razzhigaev et al. 2024），本文把层间仿射近似推向端到端输入-输出；二是显式多路复用/叠加的工程方法（DataMUX、MIMONets、RevMUX、Superposed Decoding、superposition prompting），本文强调叠加是现成预训练 Transformer 的内禀属性，而非外加绑定/解绑定结构。贡献分四层：观测现成模型的叠加保真；证明该性质在预训练初期最强并随训练退化；用轻量自蒸馏恢复；用引导解码把混合隐态部分解耦为两条续写。

Transformer 由自注意力与含非线性激活的 MLP 构成，常规推理把一次前向视为单一语义流，处理多个独立流需要多次前向、串行处理或修改架构以避免输入间干扰。但近期证据显示 decoder-only Transformer 的残差流有强线性结构，层间映射常可用仿射变换近似。本文提出的问题是：这种线性是否延伸到端到端输入-输出——输入嵌入的线性组合是否得到对应输出的线性组合。为此定义混合输入为两流嵌入的逐元素平均，比较混合输出分布与两条独立分布的平均。与显式复用方法不同，本文不引入专用层或绑定键，只做嵌入平均并直接喂入冻结模型。文章还用注意力修补实验区分“频率先验+注意力形状”与真正的语义叠加，并给出几何平均障碍解释为什么分布保真不等于可以干净解码。相关工作还包括特征叠加作为表征瓶颈、上下文学习中的任务叠加等。

一、问题形式化与输入混合。设模型 M 把 token 序列映射为词表上的概率分布，E 为嵌入函数，位置 t 的输入为 h_t^(0)=E(s_t)。对两条等长流 x、y，混合嵌入为 z_t = 1/2(E(x_t)+E(y_t))（式 1），直接用冻结骨干做标准因果自注意力，注意力掩码允许每个位置看到所有先前的混合位置 z_{<t}。输出 logits 记为 l(z)，分布 P_mix = softmax(l(z))。理想目标是 P_target = 1/2(P(x|A)+P(x|B))（式 2）。直觉是：若端到端映射近似线性，平均输入应得平均输出，两条流的 ground-truth 下一 token 应占据混合分布高位；反之，非线性网络会把平均嵌入推向与两者都正交的“夹层”状态，使两个目标 token 落入长尾。 二、测量工具。其一是 rank CDF：令 t_A = argmax P(x|A)，计算 t_A 在 P_mix 中的 rank；完全线性时两流目标应在第 1、2 位，非线性时约为 |V|/2 量级。其二是分布散度：对 P_target 与 P_mix 用 KL、JS（为数值稳定做 τ=1.5 温度平滑）以及 Wasserstein 距离（在 top-256 token 上、以 token 嵌入的余弦距离为 ground metric）度量。为跨模型可比，定义归一化叠加近似比 R_D = E[D(P_target‖P_mix)] / E[D(P(·|A)‖P(·|B))]（式 3）；分母是两个无关上下文之间的距离，R_D<1 表示混合态比两个无关上下文彼此更接近理想线性混合。其三是隐态可加性：对 (A,B) 跑三条前向（A、B、混合），按层均值中心化，比较 l2 归一化后的混合隐态与 l2 归一化的两流隐态之和的 l2 距离，层平均记为 Ē，越小越线性（式 8）。其四是层间线性分数（Razzhigaev 2024）：lin(X,Y)=1−min_A‖X̃A−Ỹ‖_F²，最小二乘求 A，分数近 1 表示层间接近仿射重参数化。 三、注意力修补以定位机制。为回答“注意力是线性性的推手还是障碍”，论文比较对单流 A 的三种扰动：(i) vanilla A1；(ii) donor patching，在每个层和头把无关文本 C 的 post-softmax 注意力权重替换给 A，Q/K/V 投影、RoPE 与 value 路径保持 A 不变，即只换混合权重、保留自然注意力形状但切断内容关联；(iii) permutation patching，把 A 自身注意力每行在因果前缀内随机置换，保留因果性、行和与每行权重多重集，但摧毁位置/内容结构。另有无关文本 A' 作为归一化分母。度量是 A1 的 vanilla top-1 token 在扰动分布中的 rank，并按可预测/内容位置分层。设计直觉：donor patch 同时保留频率先验与注意力结构，permutation 只保留频率先验，嵌入混合则把两流信息同时压进残差流，三者对比可分离出“真正并行语义”成分。 四、自蒸馏微调。学生模型以预训练权重初始化，教师为同模型冻结副本。对文本对 (x_A,x_B)，目标分布 P_target = 1/2(M_teacher(x_A)+M_teacher(x_B))（式 4），学生处理 z=1/2(E(x_A)+E(x_B))，损失为 KL(P_target‖M_student(z))（式 5）。直觉是显式教导学生“混合输入应输出教师独立预测的平均”，把架构内禀但被预训练压制的线性重新放大。数据为 FineWeb 子集约 200k 步，覆盖 Pythia/Qwen/Llama；AdamW 头部 lr 1e-3、骨干 lr 1e-4，ReduceLROnPlateau（patience 10、factor 0.5），蒸馏温度 2.0；Pythia-2.8B 批大小 8+梯度累积 2（等效 16），Llama/Qwen 批 32，Pythia-6.9B 批 2+累积 4；最大序列长 128。该目标有代价：单流预测质量下降。 五、解码与几何平均障碍。直接对混合分布采样会在 A、B 的 token 间交替，产生不连贯文本。原因：若 logits 近似平均，则 P'_target(t) ∝ exp(1/2(l_A+l_B)) ∝ sqrt(P_A·P_B)（式 6）；在 A 高、在 B 低的 token 被几何平均严重惩罚。因此即便两流目标都在 top-5，也难以用标准解码同时达到双 rank-1。论文提出 Joint Contrastive 解码：用小辅助模型 M_small 提供逐流引导，解耦 logits 为 l̃(A)=l_large(z)+α·l_small(A)−β·l_small(B)，l̃(B)=l_large(z)+α·l_small(B)−β·l_small(A)（式 7），α、β 初始为 1 并与骨干联合训练，损失为对称的逐流交叉熵。直觉是：大模型混合 logits 提供两流共有结构，小模型逐流 logits 作为对比项把另一流“减掉”。训练：AdamW，Qwen/Llama lr 5e-5、有效批 16（4×4 GPU），Pythia lr 1e-4、批 8；序列长 512，梯度裁剪 1.0，1000 步线性 warmup，bf16+SDPA；Qwen/Llama 在 30000 步、Pythia 在 700000 步取检查点。附录另给两种变体：推理期 logit 算术（冻结大小模型，只在小校准集上梯度优化 α、β 的交叉熵，式 9-10）与双头分离（学习 W_A、W_B∈R^{d×d} 投影，初始 W_k=I+N(0,σ²)、σ=1e-3 打破平均的置换对称，两输出头联合交叉熵，配合 EMA 动态损失平衡 α_t∝(L̄_A/(L̄_A+L̄_B))^γ，γ=5.0，系数裁剪到 [0.1,10.0] 防止塌缩到单流）。 六、吞吐与内存基准。四种模式：Separate（融合嵌入+双头单骨干）、Guided（大骨干+小辅助模型）、Big(b=2)（独立批大小 2）、2×Big(seq)（顺序运行）。Separate 与 Guided 从融合隐态同时产出两条续写，Big(b=2) 与 2×Big(seq) 分别作为上、下界基线；内存上 Separate 比单次 vanilla 前向略增，Guided 因需常驻两模型而更高。

论文在 Pythia、Qwen、Llama 等家族与 TinyStories、FineWeb 语料上展开：先做混合输入下 ground-truth token 的 rank 累计分布与 KL/JS/Wasserstein 归一化近似比；用无关流频率基线排除 Zipf 先验；沿 Pythia 预训练检查点追踪隐态可加性误差；对 Qwen 做 donor/permutation 注意力修补并按可预测/内容位置分层；随后自蒸馏微调并重测 rank 与散度，记录单流质量折损；在 LAMBADA 与 FineWeb 上比较预训练、混合蒸馏、双头、Joint Contrastive 等解码，报告流间 Jaccard 重叠与吞吐/内存；最后用 LLM-as-judge 对 TinyStories 续写打分。总体结论：基座模型在可预测位置已有较好保真，内容位置近乎塌缩；微调主要恢复内容位置；解码显著改善叠加前向准确率但仍低于单流基线；Separate 吞吐接近批大小 2 的独立推理。

1. 在未修改的预训练模型中，ground-truth 下一 token 出现在混合分布 top-10 的比例约为 30–40%。

   In approximately 30–40% of cases, the true token appears within the top-10 ranks.

2. 混合分布 top-100 的恢复率可达 60–65%。

   By the top-100 ranks, the recovery rate reaches upwards of 60–65% .

3. 频率基线对照中，无关流同位置的 token 重叠率仅为 0.2%，说明叠加恢复并非 Zipf 式词汇先验所致。

   Same-position token overlap between unrelated streams is 0.2 % 0.2\% .

4. 在 FineWeb 上，标准预训练模型的 KL、JS、Wasserstein 三种距离的叠加近似比 R_D 都小于 1。

   Across standard pre-trained models on FineWeb, Table 1 shows ℛ 𝒟 < 1 \mathcal{R}_{\mathcal{D}}<1 consistently for KL, JS, and Wasserstein distances

5. 隐藏态可加性误差在最早检查点最小，并随预训练单调增长，说明叠加线性随训练退化而非习得。

   Fig. 2 shows that ℰ ¯ \bar{\mathcal{E}} is smallest at the earliest checkpoints and grows monotonically as training proceeds, consistent with pre-training amplifying non-linear interactions in the residual stream.

6. 基座模型在内容位置嵌入混合下近乎塌缩（中位 rank 284），微调后恢复到中位 rank 5。

   On the hard content tokens—where the base model effectively collapsed (median rank 284 284 )—the fine-tuned model manages to recover the signal entirely, bringing the median rank down to 5 5

7. donor patching 在 LAMBADA 上将准确率从 vanilla 的 73% 降到 0.5%，真实目标中位 rank 为 2350。

   on 200 200 LAMBADA prompts (left-truncated to 128 128 tokens, target rank measured at the final position), donor patching drives accuracy from the vanilla 73 % 73\% to 0.5 % \mathbf{0.5\%} , with the true target at median rank 2,350 2{,}350 .

8. 在 LAMBADA 硬内容位置，嵌入混合达 2.25% argmax 准确率、目标中位 rank 339，比 donor patching 的 0.5%/2350 形成 4.5 倍准确率差与 7 倍 rank 差。

   embedding mixing reaches 2.25 % 2.25\% raw argmax accuracy with target median rank 339 339 , while donor patching reaches 0.5 % 0.5\% at median rank 2,350 2{,}350 — a 4.5 × \mathbf{4.5\times} accuracy gap and a 𝟕 × \mathbf{7\times} rank gap.

9. Pythia-2.8B 经自蒸馏微调后平均 KL 从 1.86 降至 0.27，R_KL 从 0.42 降至 0.06。

   on Pythia-2.8B, the mean KL divergence drops from 1.86 1.86 to 0.27 0.27 , and the Superposition Approximation Ratio ℛ KL \mathcal{R}_{\mathrm{KL}} drops from 0.42 0.42 to 0.06 0.06

10. 该微调会降低单流质量：Pythia-2.8B LAMBADA 从 0.544 降到 0.357，Qwen2.5-3B 从 0.602 降到 0.460。

    the same objective measurably reduces single-stream next-token-prediction quality (e.g. Pythia-2.8B LAMBADA 0.544 → 0.357 0.544\to 0.357 ; Qwen2.5-3B 0.602 → 0.460 0.602\to 0.460 )

11. Joint Contrastive 解码将叠加前向的平均 LAMBADA 准确率从 0.06–0.18 提升到 0.11–0.43，同时保持低流间 Jaccard 重叠。

    Joint Contrastive lifts mean accuracy from the raw-pretrained 0.06 0.06 – 0.18 0.18 into the 0.11 0.11 – 0.43 0.43 range while keeping inter-stream Jaccard overlap low

12. Separate 模式吞吐与 Big(b=2) 相差在 3% 以内，并比顺序 vanilla 解码快约 2 倍。

    Separate matches Big( b = 2 b{=}2 ) within 3 % 3\% across all pairs while producing two coherent continuations from a fused embedding — a fundamentally different task from independent batch decoding — and delivers roughly 2 × 2\times throughput over sequential vanilla decoding.

Novelty：新颖之处在于：把残差流层间线性推至端到端输入-输出，并坚持“标准预训练 LLM、仅嵌入平均、无专用复用结构”的设定；“叠加在初始化最强、随预训练退化”这一方向性发现反直觉；注意力修补把频率先验、注意力形状与真实语义信号三者分离，方法上比单纯报 rank 更有解释力；几何平均障碍对“分布拟合不等于可解码”给出清晰机制解释。相对不足：混合嵌入产生多流输出的思想在 Superposed Decoding、superposition prompting 与 DataMUX/MIMONets/RevMUX 中已有大量先例；自蒸馏恢复与对比解码基本是已知技术的组合。整体是机制刻画强于方法创新，新颖性中等偏上。 Soundness：优点：模型与语料覆盖广，比值归一化、频率基线、预训练轨迹、注意力修补控制与分层分析构成相对完整的证据链；作者主动披露单流质量下降、解码与分布保真的差距、微调并非免费，诚实度高。疑点：headline 的“两条思想并存”严重依赖可预测位置（标点、功能词）的贡献，内容位置在基座模型上近乎失效，作者自己的修补分析已削弱强版本结论；LAMBADA 绝对准确率与解码收益的基线很低，相对提升的实际意义有限；“内禀属性”的因果证据只是初始化到训练末端的单调趋势，而非消融；吞吐 2× 仅适用于双头 Separate 变体，不等于纯混合单前向；未见严格统计检验与多次重复的误差棒；自蒸馏成本不低。综合看，证据充分但若干强断言（尤其 intrinsic 与 2×）需要打折，soundness 中等。 Significance：意义分两层。作为机制研究：若“线性叠加内禀、可被微调恢复”成立，将影响对 Transformer 非线性与容量瓶颈的理解，为并行推理、KV-cache 压缩、多文档 RAG、投机解码等提供新原语。作为系统贡献：目前仍是 proof-of-concept——基座内容位置失效、微调损害单流、解码低于单流、几何平均障碍未解，离真实 2× 吞吐且有质量的并行生成尚有距离。因此显著性取决于后续能否在不损失解码质量的前提下跨过几何平均障碍；当前为中等，潜力大于已实现收益。

论文自述的边界：分析实验上下文短（L≤128，仅 Sec 2.3 扩至 512）、语料偏单语，长上下文与多语未验证；仅文本模型，多模态嵌入混合完全未探索。编辑补充的局限：其一，rank 恢复的高值主要来自标点、功能词等可预测位置，内容位置基座几乎失效，“可同时持有两条思想”的表述有过度推广风险；其二，微调恢复线性以单流 LAMBADA/NLL 下降为代价，实用性受折损约束；其三，解码的绝对水平低，Joint Contrastive 相对提升显著但距单流差距仍大，几何平均障碍未被解决；其四，吞吐/内存收益依赖额外的双头或辅助模型结构，纯混合单前向并不自动带来 2×；其五，“内禀”结论缺乏更严格的因果消融，模型规模与初始化类型的泛化有限；其六，微调步骤与 GPU 成本不低，“lightweight”是相对预训练而言。

值得跟进的方向：(1) 理论上解释为何残差流能在 softmax 注意力与非线性 MLP 下保持叠加，尤其是 U 形层间线性与终端线性的作用；(2) 针对几何平均障碍设计更优解耦，如可逆/正交投影、稀疏编码、低秩绑定键或流特定旋转，目标是在不牺牲单流质量的前提下提高双 rank-1；(3) 在长上下文、多语、指令微调/RLHF 模型与更大规模模型上验证，并测量 N>2 流的容量上限；(4) 把叠加与 KV-cache 压缩、批推理、投机解码结合，量化端到端收益并做公平基线对比；(5) 用更严格因果消融（冻结特定层、初始化尺度、宽度/深度）区分架构内禀与训练动力学；(6) 设计保持单流质量的微调正则或多任务目标，缓解自蒸馏折损；(7) 探索多模态嵌入混合的可行性。

本文是一篇面向机器人装箱（robotic bin packing）的系统性工作，核心贡献不是提出新的模型架构或学习理论，而是搭建一个端到端框架 PackLab，把"用多模态大语言模型直接做闭环装箱决策"这一问题工程化地打通：仿真与数据生成（PackLab-Suite）、装箱专用 MLLM 策略（PackLab-VLM）、标准化评测（PackLab-Bench）。论文的定位落在机器人操作、装箱优化与多模态大模型的交叉地带，强调现有 MLLM 方法大多只做物体属性/语义约束推断，仍由传统规划器决定动作；本文则让 MLLM 直接输出"选哪个物体、什么朝向、放在哪里"，并以闭环方式逐步执行。相较纯几何启发式与强化学习，本文更强调跨异构物体集合、容器尺寸和任务难度的统一策略，属于偏数据、偏系统、偏实证的贡献。

机器人装箱是经典的空间优化问题，目标是最大化容器空间利用率；但它的关键难点在于这是一个长程序列决策问题：每一次放置都会改变后续所有物体可用的剩余空间，因此需要理解单步放置的长期后果。传统离线方法（遗传算法、禁忌搜索、模拟退火、整数线性规划）能优化整体序列，但计算代价高，且一旦执行出现偏差往往需要重新规划。在线启发式方法则用人工设计的几何准则对候选放置打分：DBLF 偏好低且深的位置，MTA 最大化接触面积，HM 最小化高度图增量，SDF-Pack 最小化有符号距离场，FFP 直接返回第一个可行位置。它们高效但目标偏局部，很少显式考虑剩余空间和后续可行性。强化学习方法把装箱形式化为序列决策问题，学习最大化累积奖励的策略，例如 DQN、层次/决斗结构、稳定放置奖励以及启发式引导；但它们需要大量试错，且通常只在预定义的物体和容器分布上训练，泛化到未见配置较困难。近年 MLLM 被引入装箱，但已有工作主要用其推断物体属性、物理关系或约束，再交给传统规划器；个别方法直接预测序列放置，却不做基于演化装箱状态的闭环决策。论文提出的核心问题是：MLLM 能否直接在不同物体集合与容器配置下做闭环的物体选择和放置。要回答这一问题，需要物理仿真、可扩展训练数据生成、装箱专用训练和标准化评测的统一框架，而既有工作恰恰缺少这种集成，这正是 PackLab 试图填补的空白。

PackLab 的机制可从问题形式化、仿真与数据生成、策略模型与训练、评测协议四部分理解。 一、闭环序列决策的形式化。装箱被建模为 T 步闭环序列决策过程。第 t 步的场景状态 S_t 由两部分组成：俯视高度图 H_t 编码当前容器占位，以及候选物体缓冲 B_t，其中每个物体由身份与三维尺寸描述。策略输出动作 a_t=(b_t, o_t, x_t, y_t)：b_t 是从缓冲中选出的物体，o_t 是水平朝向，x_t、y_t 是目标姿态下物体包围盒最小水平坐标所定义的放置位置。垂直坐标 z_t 不由模型直接预测，而是由重力下"最低可到达位置"决定，即物体底面覆盖范围内高度图的最大值（式 2）。这一设计把 3D 放置问题降为 2D 位置预测，同时保证物理上物体落在支撑面上。环境执行动作后返回更新状态 S_{t+1}，形成闭环；过程持续到所有物体被处理，目标是最大化成功装箱体积与最终布局紧凑度。 二、PackLab-Suite：物理仿真与布局优先生成。仿真环境沿竖直轴施加重力（-9.8 m/s²），物体、缓冲面与容器边界用盒状碰撞几何表示，解析物体-物体、物体-地面、物体-墙壁接触；稳定性反馈模块在仿真推进时监测刚放置物体的线速度与角速度，二者都低于阈值即判定静止，并记录放置后状态，供闭环规划使用。数据生成采用"布局优先"（layout-first）流水线，目的是避免对"物体-放置组合"做穷举式前向采样。流程分四阶段：场景采样、布局划分、回放验证、轨迹整理。先采样容器尺寸和物体数量；再把可用容器空间沿高度划分为堆叠的水平层，每层在水平面内再细分为不重叠区域，这些区域定义各物体的目标姿态，共同构成终端装箱布局；随后通过"从布局中迭代移除几何可达物体并反转移除顺序"恢复前向装箱轨迹，终端姿态充当放置目标。这样得到的训练轨迹 A* 记录每一步的物体、朝向与水平位置（式 3）。最后在重力、刚体碰撞与稳定性反馈下回放验证，剔除含无效放置的轨迹，把有效 rollout 的场景状态、动作与物理反馈整理成 PackData-20K（20K 条训练轨迹），并混合三个难度层级以增强鲁棒性。 三、PackLab-VLM：闭环策略模型与训练。模型骨干为 Qwen3.5-9B，输入是时间有序的多模态上下文（式 4）：系统提示、历史高度图、历史候选缓冲、已执行动作，以及当前观测 S_t。文本部分（缓冲与动作）按时间顺序序列化，形成带图像占位符的提示 Q_t，再经文本嵌入得到 U_t（式 5）；每个当前或历史高度图经视觉编码器 E_visual 与视觉-语言融合器 M 投影为视觉 token V_k（式 6），并插入对应占位符位置，得到共享多模态 token 序列 F_t（式 7）。模型随后以自回归方式解码出结构化文本 τ̂_t，再解析为可执行动作（式 8）。这里的关键直觉是：高度图提供空间几何，文本提供物体属性与动作历史，多轮上下文让模型看到"此前放了什么、放在哪里、现在容器变成什么样"，从而支持长程组织而非单步贪心。 训练是步骤级监督微调：从 PackData-20K 的每条轨迹中抽取每一步的多模态上下文与真实动作文本，构成数据 D（式 9），目标是目标 token 的负对数似然（式 10）。输出空间做了离散化：朝向 o_t 离散为 0/1（对应 0° 与 90°），放置坐标 (x_t, y_t) 按 2.5 cm 分辨率离散。优化用 AdamW、固定学习率 1e-5、全局 batch size 8（每 GPU 每步一个样本），在 8 GPU 集群训练 5 个 epoch，并采用 FSDP、bf16 与梯度检查点以支持长上下文多模态训练。 四、PackLab-Bench：标准化评测。基准含 60 个测试用例，均分为简单、中等、困难三级，总计 905 步装箱。难度由候选缓冲大小、层数、物体数量与容器尺寸联合控制：简单为缓冲 3、1-2 层、4-8 个物体；中等为缓冲 5、2-3 层、9-18 个物体；困难为缓冲 10、3-4 层、19-32 个物体。测试用例独立采样并验证与训练集无重叠。评测指标有三个：成功率按"几何中心落在容器边界内的成功装箱物体"的体积占比计算（式 11）；紧凑度是成功装箱总体积与"容器底面积×最终高度图最大占位高度"所定义的包络体积之比（式 12）；综合得分是二者乘积（式 13），作为联合衡量"装了多少"与"装得多紧凑"的主指标。

主实验在固定测试用例上把 PackLab-VLM 与多类经典几何启发式、两类强化学习基线以及未训练的骨干模型对比，多轮独立运行取平均。总体来看，PackLab-VLM 在平均综合得分、平均成功率与平均紧凑度上均居首；在简单与中等难度上优势尤其明显，困难场景下与几何搜索类启发式互有胜负。把强化学习基线按相同任务分布重训后，其平均综合得分仍明显落后，说明跨异构配置学习统一策略并不容易。消融实验从几个维度验证设计：替换高度图会显著掉分，只用当前观测或去掉动作历史也会削弱性能；训练数据规模增大带来稳定提升，混合简单、中等、困难的数据配方优于单一或部分配方；模型容量增大主要改善紧凑度。物理平台上与基线的定性比较显示 PackLab-VLM 的堆叠更紧凑、空间利用更好。

1. PackLab-VLM 取得最佳平均综合得分 0.660，比最强启发式 SDF-Pack 高 0.059，比最强官方 RL 检查点 TAP-Net 高 0.186。

   PackLab-VLM achieves the best average performance among all compared methods, with an average Overall Score of 0.660, outperforming the strongest heuristic baseline, SDF-Pack, by 0.059, and the strongest official RL checkpoint, TAP-Net, by 0.186.

2. PackLab-VLM 同时取得最高平均成功率 0.882 与平均紧凑度 0.718。

   It also obtains the highest average Success Ratio and Compactness scores, reaching 0.882 and 0.718, respectively, both higher than SDF-Pack, TAP-Net, and IR-BPP.

3. 按难度看，PackLab-VLM 在简单/中等/困难上的综合得分分别为 0.922、0.665、0.394，平均 0.660；简单级成功率达 0.999，中等级成功率达 0.966。

   PackLab-VLM (Ours) | 0.999 | 0.923 | 0.922 | 0.966 | 0.680 | 0.665 | 0.680 | 0.552 | 0.394 | 0.882 | 0.718 | 0.660

4. 装箱专用训练使平均综合得分从骨干零样本的 0.209 提升到 0.660。

   As shown in Figure 4 , training substantially improves the average Overall Score from 0.209 to 0.660.

5. 训练收益分难度为：简单 0.246→0.922，中等 0.220→0.665，困难 0.162→0.394。

   Easy increases from 0.246 to 0.922, Medium from 0.220 to 0.665, and Hard from 0.162 to 0.394.

6. 把原始高度图换成干扰高度图，平均综合得分从 0.660 降到 0.494，说明视觉几何信息关键。

   replacing the original heightmap reduces Overall Score from 0.660 to 0.494, confirming that visual geometry provides essential spatial cues.

7. 去掉序列历史会掉分：仅当前观测为 0.533，去掉动作历史为 0.589，均低于完整历史的 0.660。

   Only Current Observation scores 0.533, while W/o Action History reaches 0.589, both below the full-history setting.

8. 数据规模增大带来单调提升：25% 数据为 0.578，50% 为 0.630，100% 为 0.660。

   Overall Score improves steadily from 0.578 to 0.630 and 0.660, showing that additional training packing trajectories provide useful coverage beyond basic action-format learning.

9. 难度配方上，Easy-Only 为 0.587，Easy+Medium 为 0.604，混合简单/中等/困难配方为 0.660。

   Easy-Only reaches 0.587, while Easy+Medium improves to 0.604 by adding more constrained states. However, both are below the mixed easy/medium/hard recipe, which achieves 0.660.

10. 模型容量越大综合得分越高：2B 为 0.617，4B 为 0.645，9B 为 0.660。

    Specifically, the Overall Score increases from 0.617 for 2B to 0.645 for 4B and 0.660 for 9B.

11. 按相同任务分布重训后，TAP-Net 与 IR-BPP 的平均综合得分仅为 0.405 与 0.345。

    Across three test-time seeds, TAP-Net and IR-BPP achieve average Overall Scores of 0.405 and 0.345, respectively, underscoring the difficulty of learning a unified RL policy across heterogeneous packing configurations.

12. 物理平台实验中，PackLab-VLM 比基线产生更紧凑的装箱布局，容器空间利用更有效。

    The results show that PackLab-VLM produces a more compact packing arrangement than the baseline, resulting in more effective utilization of the container space.

Novelty：新颖性中等偏上，属于"集成式/系统式创新"而非单项算法突破。闭环地让 MLLM 直接输出物体选择与放置坐标、并把高度图与多轮动作历史一起建模，是该方向较新的做法；"布局优先、反向移除重建轨迹"的数据生成思路也较巧妙，能规避前向穷举采样。但各组成部分（高度图状态、离散化动作、SFT、难度分层基准）在相关领域中均有先例，模型侧没有新的网络结构或训练范式，贡献主要体现在把仿真、数据、训练、评测串成可复现的完整框架。 Soundness：可靠性总体尚可，但存在若干证据缺口。优点：固定测试集上对比了五类启发式与两类 RL 基线，补充了同分布重训 RL 的对照，并做了视觉输入、历史、数据规模、数据配方、模型容量等多组消融，还给出物理平台验证，证据链较完整。不足：只报告平均分，未给出方差或显著性检验；RL 重训的"等价迭代次数"表述模糊；摘要声称对比"通用 MLLM"，但主实验中的 MLLM 对比实际只是未训练的 Qwen3.5-9B 骨干；困难级上 PackLab-VLM 并未超越 SDF-Pack 等几何搜索启发式，泛化优势的证据被部分削弱；物理实验只有定性结果，缺乏可量化指标。 Significance：对"具身 MLLM 评测与训练"这一方向有一定意义：它提供了一个物理仿真、可扩展数据、专用策略和标准化基准的完整模板，降低了后续复现与比较的成本，并实证说明多模态闭环训练在长程装箱上可行。对实际物流装箱而言，当前设定（长方体物体、0°/90° 朝向、2.5 cm 网格、规则容器）仍偏理想化，距离真实仓储的复杂几何、可变形物体与噪声感知较远，因此直接产业影响有限。其更大影响可能在基准与数据层面，为后续 MLLM 空间推理和长程规划研究提供测试场。

第一，物体与几何设定受限：物体由三维尺寸描述，本质是长方体/盒状对象，朝向只有 0° 与 90°，放置坐标按 2.5 cm 离散，无法处理任意朝向、非凸或可变形物体。第二，状态表征以俯视高度图为主，缺少完整 3D 点云、RGB 纹理与遮挡/不确定性建模；真实感知噪声、分割误差和抓取失败在论文中只通过"偏离大则重规划"粗略处理。第三，评测规模较小：PackLab-Bench 只有 60 个用例、总计 905 步，且只报告三组随机种子的平均结果，没有方差或统计检验，难以判断差异是否显著。第四，困难级表现并不领先：在密集约束场景下，SDF-Pack 与 DBLF 等几何搜索启发式仍保持优势，说明 MLLM 的长程推理优势尚未覆盖最难的残余空间规划。第五，数据生成采用分层划分 + 反向移除，天然偏向结构化、层状的装箱布局，可能限制模型对杂乱或不规则布局的覆盖，也存在训练分布偏置。第六，模型容量受计算资源限制止步于 9B，未探索更大 MLLM；且摘要中的"通用 MLLM 基线"在主结果中落实为未训练的 Qwen3.5-9B，缺乏与其他通用 MLLM 的横向对比。第七，物理实验仅做定性展示，物体集合与容器单一，缺少成功率、紧凑度等定量结果，真实世界泛化证据有限。

后续可从几方面跟进。一是扩展几何与物理设定：支持任意朝向、非长方体、非凸和可变形物体，引入更丰富的接触与摩擦模型，并把连续坐标回归头或更细粒度离散与文本解码结合，减少 2.5 cm 网格带来的量化误差。二是强化感知闭环：把真实点云、RGB、分割不确定性纳入输入，研究感知噪声下的重规划触发条件与不确定性校准，而非仅在状态偏差大时重扫描。三是补强困难级能力：将 MLLM 的全局/历史推理与 SDF-Pack、DBLF 等几何搜索或局部优化结合，做神经-符号混合策略，或用困难样本的专家轨迹继续微调。四是完善评测体系：扩大基准规模与多样性，报告方差和显著性检验，加入与其他通用 MLLM、更多 RL 基线和更严格的重训协议的对比，并补充物理平台的定量指标。五是研究数据生成本身：评估布局优先生成带来的结构化偏置，比较不同分层策略、噪声注入和课程顺序对策略质量的影响。六是扩展模型容量与效率：在更大 MLLM 上验证容量趋势，同时探索参数高效微调、动作 token 压缩与长上下文优化，降低训练和推理成本。七是支持用户定义目标与约束（如重心、标签朝向、易碎品、优先级），使框架从最大化体积/紧凑度扩展到更一般的装箱策略学习。

本文的定位是对"语言世界模型"这一概念做一次目标函数层面的重构：不再让模型预测环境观测/工具响应，而是让模型预测并直接编辑智能体的"状态续写"。作者认为，面向任务的 LLM 智能体真正需要的是真实反馈与对自身理解状态的纠偏，而非重建高熵、执行依赖的观测；长程交互中的核心失败机制是任务状态污染（task-state contamination）——未被支持的假设、过时计划、把部分进展误当完成会残留在历史里，并通过局部看似合理的动作不断放大。为此提出 Agent-Editing World Model（AEWM），含 Action Judge（将决策分为 Critical/Exploratory/Noisy）与 State Revision（从同一历史改写嘈杂的推理—动作续写），并由 EditAct 在真实执行前选择性替换状态；再用 AEWM-RFT 把被编辑、被验证的轨迹蒸馏回智能体。工作横跨 Search、Terminal、SWE 三域，属于"世界模型 + 过程监督 + 自修正/自我编辑"交叉方向上的应用型改造，贡献点集中在问题重述、训练框架与推理集成。

世界模型被视作通用智能的基础设施，传统做法以"预测动作条件下的下一状态或观测"为目标，在具身与交互视频生成中取得进展。许多语言世界模型继承了这一环境中心的目标，转而预测工具响应。但本文指出，面向任务的 LLM 智能体需要的是环境反馈来解题，而不是重建环境：搜索结果的排序与网页内容高度动态，终端输出与测试结果取决于文件系统与运行时状态，这类观测高熵且执行依赖，预测困难；更糟的是，仿真可能引入虚假证据，却不能改善智能体的解释与后续决策。因此文章追问：语言世界模型究竟该预测什么？ 作者的轨迹分析提出任务状态污染这一失败机制：智能体在部分观测下探索未知环境，需要持续维护假设、计划与关于已验证进展的判断，却可能把未经验证的假设当成事实、在矛盾反馈后仍保留过时计划、或把部分进展误认为完成。这些错误残留在历史中，经由局部合理的动作层层叠加，即使观测本身是真实的，也无法自动修正智能体的理解。这暗示真正值得建模的目标是"智能体的解释与动作如何塑造后续任务进展"。 相关工作可分几支：语言世界模型模拟推理或网页状态、预测检索/代码执行/工具反馈；基于可执行或符号环境合成、以 RL 提升仿真保真度；过程监督与修订学习（如 SRR-Judge 的评分—精炼）；以及用转移预测辅助动作纠正与排序。本文与这些工作的差异在于：用下游贡献类型而非即时质量作为监督，用执行验证的改写而非单纯批评或重采样作为干预，并把观测留给真实执行来获取。

AEWM 的核心是把世界模型的干预对象从"环境观测"迁移到"智能体状态"。下面分层说明其运作方式。 一、状态形式化与目标转变 给定任务 x，历史 h_t = (x, (r_i, a_i, o_i)_{i=0}^{t-1}) 记录每一步已提交的推理 r_i、动作 a_i 与真实观测 o_i。智能体在 t 步提出候选 (r̂_t, â_t) ~ π_θ(·|h_t)，形成执行前状态 s_t = h_t ⊕ (r̂_t, â_t)。历史承载已观测证据与既有决策，而当前推理—动作续写表达智能体此刻的解释、计划与下一步交互意图。 传统观测预测世界模型学习 ℳ_obs(o_t | s_t)。本文认为该目标价值有限：复杂任务中的观测高熵且执行依赖，重建细节困难；而且真实观测本身不能保证智能体正确更新理解。因此 AEWM 改为建模"推理与动作如何塑造后续状态演化"，并在续写可能传播污染时，在执行前编辑它。公式 (1) 给出直观对比：传统世界模型是 s_t → ô_t（预测观测），AEWM 是 s_t → s̃_t = h_t ⊕ (r̃_t, ã_t)（编辑智能体状态）。后续观测仍由真实环境执行获得，避免了仿真证据。 二、Action Judge：预测决策效应而非即时质量 Action Judge ℳ_AJ 给定执行前状态 s_t，输出决策效应标签 ŷ_t ∈ {critical, exploratory, noisy}。三类语义经过精心设计：Critical 表示该动作在紧凑解路径上关闭关键缺口、取得必要证据或完成必需的状态改变；Exploratory 表示有实质性地降低不确定性或检验一个合理分支；Noisy 表示预期进展很小，或助长重复、无关、违反约束与错误方向。单独保留 Exploratory 类很关键：它承认超出最直接解路径的信息收集仍然有价值，避免把"不能立刻解题"误判为噪声。判断在执行动作之前、仅凭 s_t 完成，因此本质是前向预测而非事后评价。 三、State Revision：编辑整个"推理—动作"续写 当提案被判为 Noisy 时，State Revision ℳ_SR 从同一历史生成 (r̃_t, ã_t) ~ ℳ_SR(·|s_t)，形成编辑状态 s̃_t = h_t ⊕ (r̃_t, ã_t)。被改写的推理可以调和冲突信息、推翻无依据假设或更新计划；被改写的动作把这一修正转化为下一步交互，而在证据缺失时它通过真实环境交互去获取证据。同时编辑两个组件而非只改动作的意义在于：被替换的推理会进入未来的历史，直接影响后续决策的输入条件；若只改动作不改推理，污染仍会通过历史继续传导。这一设计把"批评"升级为"对后续决策所依赖状态的直接替换"。 四、EditAct：编辑与执行的推理闭环 EditAct 把判断与编辑嵌入真实执行循环。公式 (2) 规定：若 ŷ_t ∈ {critical, exploratory}，保留原提案；若 ŷ_t = noisy，才调用 State Revision 提交 (r̃_t, ã_t)。公式 (3) 规定：所选动作 a_t 在真实环境 ℰ 中执行，得到 o_t ~ ℰ(·|h_t, a_t)，历史更新为 h_{t+1} = h_t ⊕ (r_t, a_t, o_t)，智能体再从 h_{t+1} 生成下一步续写。于是状态编辑改变智能体拟走的路径，而真实观测持续提供 grounding；编辑只作用于"将进入历史的状态"，不凭空捏造环境反馈。 五、训练数据合成：回溯标注监督前向预测 Action Judge 数据来自对成功、已验证轨迹的逐轮分解。一个强标注智能体查看完整轨迹，根据对应观测与该步在后续完成中的作用，把每轮动作标为 Critical/Exploratory/Noisy，并生成严格前向的推理痕迹 r_t^AJ 与动作类型 y_t 作为训练目标。关键约束是：输入只含 t 时刻可见的历史 h_t 与提案 (r̂_t, â_t)，输出为 (r_t^AJ, y_t)；过滤规则拒绝标签不一致、动作—观测不对齐、动作非法以及"用执行后信息充当执行前已知"的未来泄漏。这样做的逻辑是：回溯标注与前瞻推理针对同一个预测目标（该动作的下游贡献类型），差别只在于确立该目标的证据是否已被观测；跨样本训练后，AJ 学会在仅见前缀的条件下预测可能的贡献类型，而非预测具体观测内容。评测基准含 3,000 个决策，Search/Terminal/SWE 各 1,000。 State Revision 数据由 proposal agent、revision agent 与一个专训的 Action Judge checkpoint 协作构建：proposal agent 提决策，AJ checkpoint 判 Noisy，revision agent 从同一 h_t 生成新对并真实执行；只有新推理—动作带来实质性解题进展时才保留样本。输入为可见历史与噪声提案，目标为 (r̃_t, ã_t)。真实工具反馈与后续轨迹只用于离线质检，不作为决策点可用的信息。 六、两阶段训练 训练使用统一模型同时支持 AJ 与 SR，backbone 为 Qwen3.5-35B-A3B，经 verl + Megatron 后端训练。第一阶段 Mid-Training 语料约 52B tokens，混合三域原始轨迹与合成的 AJ/SR 数据：AJ 约 20.56B、SR 约 25.01B、原始轨迹约 6.59B tokens；域分布为 Search 23.32B、Terminal 6.73B、SWE/Doc2Repo 22.11B。其作用是提供广域任务与交互知识。第二阶段 SFT 用严格规则筛选的 120K 样本激活并校准两类能力：60K AJ + 60K SR，每域 40K；Search 的 AJ 标签故意采用 1:1:3 的 C:E:N 混合，Terminal 与 SWE 近似均匀。优化设置：Mid-Training batch 512、最大序列长 262,144、1 epoch；SFT batch 256、最大序列长 131,072、5 epochs；两者学习率均为 1e-5，精度 bfloat16。直觉上，mid-training 提供广度，SFT 提供针对判断与改写的定向监督，二者互补。 七、AEWM-RFT：把状态编辑内化回智能体 EditAct 的干预能揭示智能体自己难以独立发现的决策模式。AEWM-RFT 保留经过真实反馈验证的高质量 EditAct 轨迹（含 AEWM 的改写），对智能体做拒绝采样微调；与 Self-RFT 的唯一差别是 rollout 来源（是否经 EditAct 引导），过滤策略与微调配置相同。监督既覆盖局部状态纠正，也覆盖后续决策，目标是让智能体在没有在线世界模型引导时也能避免并恢复任务状态污染。

总体而言，实验从三个层面支撑主张：Action Judge 在多域决策判断上系统性超过所比前沿模型，且优势在 Search、Terminal、SWE 三域一致；EditAct 在全部评测基准与三个骨干模型上均优于 ReAct 及两种 Best@3 基线，跨骨干与分布内/外都保持增益，较小的骨干配合 EditAct 甚至能反超更大的 ReAct 基线；消融表明随机门控、智能体重采样、仅给提示、只改推理或只改动作、以及用推理智能体自身或通用前沿模型充当世界模型都不及完整 AEWM，验证了"学习式判断 + 联合推理—动作编辑"的设计必要性。AEWM-RFT 进一步显示被编辑轨迹可作为离线监督，在不依赖在线 AEWM 的情况下相对自采样微调取得稳定提升，并伴随部分任务的步数下降。动作类型分布与案例统计则为"任务状态污染确实存在且可被修复"提供了定性证据。需要指出，这些结论建立在中型开源骨干与特定三域评测之上，且多数对照以作者构建的协议实现。

1. Action Judge 整体以 70.5% macro-F1 居首，比最强基线 DeepSeek-V4-Pro 的 59.9% 高出 10.6 个百分点。

   AEWM achieves the highest macro-F1 among the compared frontier models, reaching 70.5% overall and outperforming the strongest baseline, DeepSeek-V4-Pro (59.9%), by 10.6 percentage points.

2. Action Judge 在 Search、Terminal、SWE 分别取得 60.9%、72.1%、77.8% macro-F1，比各域最强基线高 10.3、10.5、13.4 个点。

   AEWM obtains 60.9%, 72.1%, and 77.8% macro-F1 on Search, Terminal, and SWE, exceeding the strongest domain-specific baselines by 10.3, 10.5, and 13.4 points, respectively.

3. EditAct 在六个基准上全部超过 ReAct 与两种 Best@3，对 Qwen3.5-4B、9B、35B-A3B 相对最强基线的平均提升分别为 6.7、5.2、3.2 个点。

   EditAct outperforms ReAct and both Best@3 baselines on all six benchmarks, with average-score gains of 6.7, 5.2, and 3.2 points over the strongest baseline for Qwen3.5-4B, Qwen3.5-9B, and Qwen3.5-35B-A3B, respectively.

4. 相对 ReAct，EditAct 在三个骨干上的平均分提升为 13.3、9.6、6.6 个点。

   Compared with ReAct, EditAct improves the average score by 13.3, 9.6, and 6.6 points, respectively.

5. Qwen3.5-9B 配 EditAct 的平均分 44.1 超过 Qwen3.5-35B-A3B 配 ReAct 的 42.2，说明 AEWM 能缩小骨干规模差距。

   Notably, Qwen3.5-9B with EditAct surpasses Qwen3.5-35B-A3B with ReAct (44.1 vs. 42.2), showing that AEWM can narrow performance gaps across agent scales.

6. AEWM-RFT 在 BrowseComp、Terminal-Bench 2.0、Doc2Repo 上比基础智能体高 4.5、6.4、5.8 个点，并比 Self-RFT 高 2.2、2.6、2.5 个点。

   AEWM-RFT improves over the base agent by 4.5, 6.4, and 5.8 points on BrowseComp, Terminal-Bench 2.0, and Doc2Repo, respectively, and exceeds Self-RFT by 2.2, 2.6, and 2.5 points.

7. AEWM-RFT 在前两个基准的平均步数下降 30.0% 与 16.7%，Doc2Repo 则比 Self-RFT 高 2.5 个点但步数更多。

   Average turns decrease by 30.0% and 16.7% on the first two benchmarks, while Doc2Repo gains 2.5 points over Self-RFT with more turns.

8. 完整训练（mid-training + SFT）优于单独 SFT，在 BC、TB2、Doc2Repo 分别提升 0.8、6.4、4.3 个点；相对单独 mid-training 再提升 0.3、4.1、1.9 个点。

   Compared with SFT alone, the full training recipe improves BC, TB2, and Doc2Repo by 0.8, 6.4, and 4.3 points, respectively. Compared with mid-training alone, it further improves the three benchmarks by 0.3, 4.1, and 1.9 points.

9. 标注分布显示 Search 域 60.0% 为 noisy，Terminal 域 exploratory 占 43.2%、noisy 占 25.1%，SWE 域 critical 占 42.1%、noisy 占 28.0%。

   The Search domain contains 60.0% noisy actions; inspected cases show unverified hypotheses narrowing retrieval or related evidence replacing required checks. The Terminal domain has the largest exploratory share (43.2%), with 25.1% noisy actions; inspected failures involve misread execution evidence or intermediate progress mistaken for verified success. In the SWE domain, critical actions account for 42.1% and noisy actions for 28.0%; inspected cases reveal flawed dependency assumptions or neglected compatibility and interface requirements.

10. 案例统计显示编辑后平均最长纯搜索序列从 16.9 降到 13.2，不同页面数从 7.7 升到 10.1，符合更广的证据收集。

    Figure 5 shows that the mean longest search-only sequence decreases from 16.9 to 13.2, while distinct pages increase from 7.7 to 10.1, consistent with broader evidence gathering.

11. 配更强的 Qwen3.5-Plus 时，EditAct 把 BrowseComp 从 44.1% 提到 52.7%，但 Terminal 与 SWE 增益有限。

    Additionally, we evaluate EditAct with Qwen3.5-Plus, where it further improves BrowseComp from 44.1% to 52.7%, while gains on Terminal and SWE are limited, likely due to the capacity gap between AEWM and the stronger agent

Novelty：新颖性中等偏正面，主要体现在"目标函数重定义"与"编辑而非批评"的组合上。把世界模型从观测预测转向"决策效应预测 + 智能体状态编辑"是一个清晰且可辩护的概念重构，比单纯的工具响应预测或过程评分更贴合任务型智能体的实际失败模式。三分类（Critical/Exploratory/Noisy）把"有益探索"从"噪声"中显式拆出，避免了过程监督常见的二元对错简化。State Revision 同时改写推理与动作、并在执行前替换状态，与 Reflecion/self-refine 类事后批评、以及与 SRR-Judge 的评分—精炼相比，干预时点和对象不同。但单个组件并非全新技术：决策质量分类近似过程监督/步骤评分，改写近似 self-correction，RFT 是标准蒸馏手段；AEWM-RFT 也属于"用强模型轨迹蒸馏"的既有范式。因此真正的新颖点在于把三者整合为一个跨域、可训练、可在线干预的世界模型，并给出"污染传播"这一统一解释。 Soundness：方法设计与实验对照整体较为扎实，但存在若干可商榷之处。优点是：EditAct 与 ReAct、两种 Best@3 共享同一智能体与评测协议，AEWM-RFT 与 Self-RFT 只差 rollout 来源，消融覆盖随机门控、重采样、仅提示、单组件改写、不同世界模型等关键对照，能够区分"判断的价值"与"直接编辑的价值"。主要弱点：其一，标注、审核与 Best@3 验证均重度依赖 DeepSeek-V4-Pro 等闭源前沿模型，标签质量与可复现性受制于外部 API，作者虽有多轮一致性过滤，但缺乏人工/独立校验的证据。其二，AEWM 与最强推理骨干同为 Qwen3.5-35B-A3B，EditAct 对 4B/9B 的跨规模泛化并不能完全排除"世界模型与 agent 同源"带来的适配优势；配更强 Qwen3.5-Plus 时部分域增益有限也暗示容量匹配问题。其三，三次运行只报均值，未报方差或显著性，无法判断 3.2–6.7 点这类增益的稳定性。其四，"任务状态污染"缺乏可量化的形式指标，主要靠动作分布与少量案例佐证，因果解释偏定性。 Significance：若结论可复现，这项工作对"语言世界模型该建模什么"的讨论有实际启发：它把世界模型的输出从环境仿真改为对智能体自身状态的前瞻编辑，契合 agentic 场景中"真实工具反馈不可替代"的现实。EditAct 带来的跨骨干一致增益与 AEWM-RFT 的离线迁移，说明编辑轨迹是可蒸馏的监督信号，对降低在线世界模型推理成本、以及用中等模型校正更强/更弱 agent 都有实用价值。跨 Search、Terminal、SWE 三域训练还表明决策效应判断可跨工具迁移。不过其显著性受限于评测域与骨干的特定组合、闭源标注依赖以及中等幅度的提升；它对更通用推理任务、多模态/具身环境或完全不同 agent 家族的适用性尚未被证明，因此更接近一个有前景的工程—概念方向，而非普适范式。

1. 统计稳健性不足：所有评测只做三次运行并报均值，未报告方差、置信区间或显著性检验，平均提升（尤其 3.2 个点这一档）的稳定性无法判断。 2. 闭源依赖与可复现性：Action Judge/State Revision 的标注、质量审核、Best@3 验证器以及部分轨迹生成都依赖 DeepSeek-V4-Pro、GLM-5、GPT-5.6-Sol 等闭源模型，且没有给出人工标注一致性或对标注器本身的校准，标签噪声与漂移风险存在。 3. 同源/容量混杂：AEWM 的 backbone 与最强推理骨干 Qwen3.5-35B-A3B 相同，无法完全排除世界模型与 agent 同源带来的增益；配 Qwen3.5-Plus 时 Terminal/SWE 增益有限，说明世界模型容量与 agent 容量之间的匹配关系未被系统研究。 4. 评测域与分布：六基准中既有分布内也有分布外，但都属工具型任务（搜索/终端/代码），未涉及纯推理、多轮对话或具身等场景；训练数据含内部 deep-search 与特定代码构建任务，外部可复现性有限。 5. 缺少正式污染度量：task-state contamination 是核心动机，却主要靠动作类型分布与九个案例来论证，没有量化"污染程度"或"修复程度"的指标，因果主张偏叙述性。 6. 推理成本未量化：EditAct 每步额外调用 AJ（必要时再调用 SR），比 ReAct 与重采样基线的延迟、token 与算力开销没有被报告或纳入公平性讨论。 7. RFT 结论范围窄：AEWM-RFT 只在三个域上、以同一 35B-A3B 骨干验证，且轨迹数量相同但内容质量差异的解释（Doc2Repo 步数上升却得分更高）未充分展开。 8. 基线有限：未与 SRR-Judge、过程奖励模型引导、Tree-of-Thought 型搜索或显式记忆/状态一致性机制直接对比，"编辑优于批评式再生成"的结论主要来自 AEWM Hint 这一内部变体。

可跟进的方向包括：(1) 可复现性——用开源模型替代闭源标注/审核器，报告标注者间一致性与标签校准，公开数据构建流程，以消除外部 API 依赖。(2) 度量与理论——为任务状态污染建立可操作的形式化指标（如历史中未验证命题的占比、计划—观测矛盾计数、完成度误判率），把"污染修复"从案例叙述变成可检验的因果分析；进一步分析状态编辑何时有益、何时引入额外错误。(3) 容量与规模律——系统改变世界模型与推理 agent 的规模/家族组合，刻画容量匹配曲线，解释 Qwen3.5-Plus 上域间增益不均的现象。(4) 成本与延迟——量化 AJ/SR 的在线开销，设计门控阈值、早停或投机式编辑，比较"小世界模型 + 强 agent"与"大世界模型 + 弱 agent"的性价比。(5) 更强的基线——直接对比过程奖励模型/PRM 引导、SRR-Judge、反思/重采样、状态一致性记忆模块，厘清"前向决策效应预测 + 状态替换"相对其他校正范式的净增益。(6) 泛化——扩展到纯推理、多轮协作、多模态或具身任务，验证三分类与状态编辑在这些场景的语义是否仍成立。(7) 训练范式——把 AEWM 的决策效应信号与 RL（如 GRPO/PPO）结合，或把 State Revision 作为在线策略改进算子，而非仅作离线 RFT 蒸馏；探索用更少标注、自举式迭代训练。(8) 消融粒度——分离三分类中 Exploratory 的作用、Noisy 召回率与精确率的权衡，以及"改写推理"与"改写动作"在不同域中的相对贡献。

本文面向视觉-语言-动作（VLA）策略在历史依赖操纵任务中的情景记忆问题，提出 MemBodied：一种固定容量的情景记忆，不把过去观测直接放入策略上下文。它由两条互补路径组成：逐层循环关联矩阵记录交互历史，固定首帧锚点保存初始场景参考；每次策略调用以“记忆 token”方式把检索结果注入动作专家。相较压缩历史（NativeMEM）、循环 token（μVLA）与注意力修正（Delta-Mem）等路线，其核心卖点是存储与访问成本不随 episode 增长，并只用动作目标端到端训练。论文通过 RMBench、π0/π0.5 两个骨架、LIBERO 与真实机器人，分别考察记忆收益、推理效率和对完全可观测任务的兼容性。

VLA 已能把大规模视觉语言先验迁移到机器人控制，但多数策略只在当前观测与语言指令上预测动作块。动作分块提升了块内一致性，却不跨策略调用保存观测信息，导致“时间状态别名”：当前图像相同，正确动作却取决于已经消失的过去观测。直接把完整历史放入上下文会使上下文长度、显存与推理成本随 episode 增长；固定窗口又可能在关键证据落出窗口后失效，而关键证据可能与当前决策相隔多个中间观测。已有方法大致分三类：压缩历史为 token、维持定长循环隐状态、显式存储并检索历史条目。压缩历史仍可能扩张上下文；循环 token 依赖隐式携带信息；存储/检索或语言外化常引入辅助目标或额外流水线。作者认为关联记忆以显式读写与 delta 规则在线更新，固定尺寸且按当前状态检索，正适合该需求。文章设定三个研究问题：RQ1 对记忆依赖操纵是否有效；RQ2 推理是否高效；RQ3 在完全可观测或 Markov 操纵上是否保持性能。评价以 RMBench 的 M(1)/M(n) 分类为主，辅以 LIBERO 与真实机器人。

MemBodied 把操纵建模为历史依赖的序列决策。每次策略调用接收当前图像 I_t、机器人状态 s_t 和指令 ℓ，预测动作块 a_t=[a_{t,1},...,a_{t,H}]，条件分布为 p_θ(·|I_t,s_t,ℓ,ℰ_{t-1})；情景记忆 ℰ_t=(ℳ_t,A)。ℳ_t={S_t^(l)}，即每个动作网络层 l 有一个关联矩阵 S_t^(l)∈R^{B×r×r}，r=128；A 为首帧锚点。矩阵在 episode 开始时复位为可学习初态，写新信息是原地更新而非追加历史。 写值构造：交互事件由动作块 a_t 与其执行后的视觉后果 I_{t+1} 组成。对每个相机 c，以投影后状态 s_{t+1} 作 query，对视觉 patch token X_{t+1}^(c) 做注意力：e_{t+1}^(c)=softmax((W_pq φ_s(s_{t+1}))(W_pk X_{t+1}^(c))^T/√D)W_pv X_{t+1}^(c)。各相机输出独立池化后平均得 e^{vision}_{t+1}；该路径的梯度在视觉 patch token 处截断。随后把视觉后果与因果动作块之和拼接：y_t=[e^{vision}_{t+1};Σ_{h=1}^H a_{t,h}]，逐层投影得到写入值 v_t^(l)=W_v^(l)y_t。因此记忆值编码的是“动作—观察后果”的交互转移，而非孤立观测。 门控 delta 写入：写键来自层输出 h_{t,out}^(l)：k_t^(l)=L2Norm(tanh(W_k^(l)h_{t,out}^(l)))；保留门 α_t^(l)=σ(W_α^(l)[h_{t,out}^(l);y_t])，写入门 β_t^(l)=σ(W_β^(l)[h_{t,out}^(l);y_t])。更新为 S_t^(l)=Diag(α_t^(l))S_{t-1}^(l)+Diag(β_t^(l))(v_t^(l)-Diag(α_t^(l))S_{t-1}^(l)k_t^(l))(k_t^(l))^T。第一项保留旧状态，第二项做 delta 校正：把新值与当前键已召回的值比较，只写差值；α 控制旧关联保留程度，β 控制校正强度，从而可修正已有关联而不是无差别累加。 读取：查询 q_t^(l)=L2Norm(tanh(W_q^(l)h_{t,in}^(l)))，读出 r_t^(l)=S_{t-1}^(l)q_t^(l)。论文比较三种读出接口：MemBodied-AS 把读出投影成对注意力 query 与输出表示的加性修正；MemBodied-H 再加入由遗忘门控制的 LSTM 式慢速矩阵，改变状态动力学；MemBodied 把读出投影到动作网络宽度并注入专门的上下文 token。主方案后缀为 [state token, memory token, H noisy action tokens]；memory token 是可学习向量、不跨调用持久化，持久状态只在关联矩阵中。读出经线性变换并按 α_mem/r 缩放（r=128、α_mem=256，缩放因子为 2），再由门控 g_t^(l)=σ(W_g^(l)h_{t,in}^(l)) 调节：x_mem←x_mem+g_t^(l)m_t^(l)，其中 m_t^(l)=(α_mem/r)W_m^(l)r_t^(l)。更新后的 memory token 参与自注意力，使动作 token 把检索结果作为上下文内容使用，而非仅修正注意力计算。 锚点：取策略前缀中冻结的视觉 token，把每相机 16×16 patch 网格平均池化为 4×4 并跨相机拼接，得到 A∈R^{N_A×D}。调用 t 时，当前状态 s_t 用写值构造中的池化操作关注当前视觉 token，跨相机平均得 z_t；z_t 以秩 r_A=64 与 A 做交叉注意力：c_t=z_t+W_o^A[softmax((W_q^A z_t)(W_k^A A)^T/√r_A)W_v^A A]。c_t 投影到动作网络宽度并沿动作视界重复：b_{t,h}=W_A c_t；锚点条件表示为 ẽ^a_{t,h}=f_cond([e^a_{t,h};b_{t,h}])。A 在 episode 内固定、跨 episode 复位，不增加前缀长度或改变注意力掩码结构。 因果读写与序列训练：t 时刻先读 ℳ_{t-1} 并用 (I_t,s_t,ℓ) 生成 a_t，执行后获得 I_{t+1} 再写入 ℳ_t；延迟写避免把未来观测暴露给产生该动作的步骤。推理时缓存前一层状态与最终去噪采样的动作块，在下一次观测到达时写。序列训练是必要的：后续动作损失需通过早期写操作反传才能训练记忆参数；每个样本含 N 个观测-动作对，相邻对间隔一个动作视界 H；图像编码与策略输入构造在 batch 和序列维并行，而记忆状态沿序列顺序传播；梯度贯穿整个序列，不使用额外记忆预测损失。 训练与数据：RMBench 上对 PaliGemma 骨干用 LoRA rank16/alpha16，动作专家用 rank32/alpha32，训练 10,000 步、batch 8；序列长度在 Put Back Block、Rearrange Blocks、Swap Blocks 为 8，Battery Try 为 14，Block Ranking 为 18；H=50、10 步流匹配去噪；三路 224×224 图像，bfloat16、seed42、EMA0.99、全局梯度裁剪 1，AdamW(0.9,0.95)、ε=1e-8、权重衰减 1e-10，cosine 衰减 1,000 步预热、峰值 2.5e-5、终值 2.5e-6。LIBERO 用全量微调以匹配 π0 官方设置：batch32、30,000 步、序列长度 6、五步重规划；为保持训练时 50 步记忆更新间隔，维护 10 个循环记忆槽，每 5 步读一个槽，50 步后重访时用新观测与完整 50 步动作摘要做延迟写。π0.5 无专用状态 token，故用 memory token 的隐藏表示做读写。真实机器人使用两个 AgileX PiPER 臂、Orbbec Gemini 336L 顶视相机与两个 Intel RealSense D405 腕部相机；状态与动作各 14 维；三任务保留 41/50/49 条演示，每任务 20 次物理评测。

实验分三层：RMBench 五任务评估记忆依赖操纵，并在 π0 与 π0.5 两个骨架及三个真实机器人任务上验证迁移；LIBERO 四套件验证完全可观测任务上是否退化；另有推理效率剖析、消融与人工定性分析。总体结论是，MemBodied 在记忆依赖任务上显著优于无状态、帧堆叠、普通循环记忆与压缩历史基线，同时推理延迟、峰值显存和参数开销更小；在 LIBERO 上总体保持相当并改善长程套件；消融表明记忆 token 注入、首帧锚点及“动作+后续视觉”写入内容均带来增益，人工标注把收益集中定位在需要历史信息的决策点。

1. 在五个 RMBench 记忆依赖任务上，MemBodied 达到无状态策略的 7.81× 平均成功率、普通循环记忆的 2.98×，并比最强记忆增强基线高 1.3× 且新增参数少 10×。

   Across five evaluated RMBench tasks requiring memory, MemBodied achieves 7.81 × 7.81\times the mean success rate of a stateless policy and 2.98 × 2.98\times of vanilla recurrent memory, while outperforming the strongest memory-augmented baseline by 1.3 × 1.3\times with 10 × 10\times fewer added parameters.

2. 在 RMBench 五任务上，MemBodied 平均成功率为 50.0%，比 π0-Stateless 高 43.6 个百分点、比 π0-FrameStack 高 35.2 个百分点。

   As shown in Table 1 , MemBodied reaches 50.0% mean success, exceeding π 0 \pi_{0} -Stateless by 43.6 percentage points and π 0 \pi_{0} -FrameStack by 35.2 points; its advantage over the stateless policy is positive across all five tasks.

3. NativeMEM 在 RMBench 上达到 38.4% 平均成功率，低于 MemBodied 的 50.0%；把 MemBodied 加入 NativeMEM 后为 45.2%，仍低于单独 MemBodied。

   NativeMEM reaches 38.4% mean success, compared with 50.0% for standalone MemBodied . Adding MemBodied to NativeMEM improves its mean to 45.2%, but remains 4.8% below standalone MemBodied .

4. 在 π0.5 骨架上，MemBodied 平均成功率从 12.4% 提升到 48.0%；其中 Rearrange Blocks 从 13.0% 升至 94.0%，Put Back Block 从 11.0% 升至 38.0%。

   With π 0.5 \pi_{0.5} backbone ( Fig. 3(a) ), MemBodied reaches 48.0% mean success as compared to 12.4% for the π 0.5 \pi_{0.5} baseline, improving on all five evaluated tasks. The largest gain is achieved on Rearrange Blocks, from 13.0% to 94.0%; Put Back Block improves from 11.0% to 38.0%.

5. 在三个真实机器人任务上，MemBodied 的平均成功率从 3.33% 提升到 26.67%，且在每项任务上都有提升。

   As shown in Fig. 3(b) , MemBodied increases mean success across three real-robot tasks from 3.33% to 26.67%, with improvements on every task.

6. 相比 NativeMEM，MemBodied 推理延迟降低 91.9%、峰值 GPU 显存降低 9.5%，新增参数为 40M（占 π0 的 1.26%），约为 NativeMEM 415M（12.81%）的十分之一。

   As shown in Fig. 2(b) , MemBodied achieves 91.9% lower inference latency while using 9.5% less peak GPU memory, as compared to NativeMEM. MemBodied also introduces substantially fewer 40M parameters (only 1.26% of π 0 \pi_{0} ), roughly one-tenth of NativeMEM’s 415M (12.81% of π 0 \pi_{0} ).

7. 在 LIBERO-Long 上 MemBodied 达到 90.6%，比 π0 的 85.2% 高 5.4 个百分点；四套件均值 95.1% 与 π0 的 94.2% 基本相当。

   Table 2 shows that MemBodied reaches 90.6% success on LIBERO-Long, exceeding π 0 \pi_{0} ’s score of 85.2% by 5.4 percentage points. In contrast, Goal is unchanged, while Spatial and Object decrease by 0.6 and 1.0 points, respectively. The four-suite mean remains comparable at 95.1% against π 0 \pi_{0} ’s 94.2%.

8. 消融显示，加入锚点使平均成功率从 37.6% 升至 50.0%；锚点使 Swap Blocks 从 16.0% 升至 56.0%，但使 Block Ranking 从 32.0% 降至 22.0%。

   The combined two-pathway memory reaches 50.0%, compared with 37.6% when the anchor pathway is removed. Relative to the anchor-free variant, the MemBodied improves on four out of five tasks, with the largest gain on Swap Blocks, from 16.0% to 56.0%. However, the anchor reduces performance on Block Ranking from 32.0% to 22.0%; this task depends more on tracking evolving task progress than recalling the initial scene, making the fixed first-frame reference potentially less useful.

9. 在无锚点的三种读出口中，memory-token 注入达到 37.6% 平均成功率，优于层级记忆的 23.2% 和注意力转向的 20.8%。

   Among the anchor-free variants, memory-token injection reaches 37.6% mean success, compared with 23.2% for hierarchical memory and 20.8% for attention steering.

10. 写入值同时包含动作摘要与后续视觉观察时平均成功率为 46.7%，高于仅视觉的 42.7% 和仅动作的 34.7%。

    Fig. 4(b) shows that combining the subsequent visual observation with the action summary achieves 46.7% mean success, compared with 42.7% for vision-only and 34.7% for action-only memory.

11. 人工标注表明，在 Put Back Block 上，MemBodied 把错误归还垫的次数从 37/50 降至 13/50。

    For example, on Put Back Block, MemBodied reduces wrong-pad returns from 37/50 to 13/50, although both policies complete the preceding block movement and button press in every rollout

12. 关联秩从 32 增至 64、128 时，两个任务的平均成功率从 27.0% 升至 42.0% 和 55.0%。

    In the anchor-free memory-token variant, success increases monotonically as the rank grows from 32 to 64 to 128 on both Put Back Block and Rearrange Blocks (Figure 6 ). Their two-task mean rises from 27.0% to 42.0% and 55.0%, respectively.

Novelty：新颖性中等。论文并未提出全新的记忆原语，而是把 Gated DeltaNet/Delta-Mem 式关联矩阵、门控记忆 token 注入和首帧锚点组合，迁移到连续动作 VLA 的循环情景记忆中。相较压缩历史、循环 token 与注意力修正路线，其主要新意在于：在动作专家后缀中以门控记忆 token 注入检索内容；把“动作摘要+后续视觉后果”作为关联值；并用固定首帧交叉注意力锚点补偿 delta 更新对早期细节的覆盖。组件层面均可追溯，贡献更偏系统整合、接口设计与跨骨架验证。 Soundness：整体较为稳健，但存在若干需要谨慎解释之处。内部变体与多数本地基线共享训练步数与 LoRA 配置，但 NativeMEM 采用两阶段训练且步数不同，μ-VLA 适配在共享预算下全为 0，可能低估基线；Hint 只是未训练的推理期特权参考而非上界。LIBERO 与 RMBench 有 50 次 rollout 但未报告方差或置信区间，真实机器人评测次数较少，统计显著性仅出现在部分人工标注分析中。延迟剖析覆盖模型侧而非完整机器人端到端系统。核心主张——固定尺寸记忆能提升历史依赖任务且保持通用性能——得到支持，但部分对比的公平性和泛化结论仍需更强证据。 Significance：实践意义较强。论文证明固定尺寸关联记忆可在不明显牺牲推理效率与通用操纵性能的前提下解决历史依赖任务，对资源受限的机器人部署有吸引力；LIBERO-Long 的改善也暗示其对长程任务有额外价值。但其对完全可观测短程任务增益有限，锚点在需要持续追踪进展的任务上甚至有害；能否推广到更开放世界、更长时程与多任务仍是开放问题。总体看，这是一项具有工程与系统价值的工作，而非概念性突破。

评估范围有限：主要依赖 RMBench 五个任务与 LIBERO 四套件，未在 MIKASA-Robo、MemoryBench 等更广泛的记忆基准上验证；真实机器人只有三个任务、演示与评测规模小。基线公平性存疑：NativeMEM 采用独立的 tokenizer 预训练与缓存流程，μ-VLA 在共享预算下全失败，可能低估了循环 token 类方法；延迟与显存对比也依赖特定实现。统计证据不足：多数结果缺少多种子方差、置信区间或显著性检验。锚点具有任务依赖性：在需要追踪动态进展的 Block Ranking 上反而降低性能，固定首帧参考并非普适。跨 episode 记忆搬运总体有害，说明当前状态缺乏跨任务持续学习与干扰控制能力。关联矩阵的覆盖/遗忘行为、秩与容量的关系未做系统理论分析。方法只在 π0/π0.5 上验证，未覆盖其他 VLA 骨干。

后续可做更公平的基线比较：让 μ-VLA、NativeMEM 在各自更优训练配方下对比，或统一训练预算与重规划节奏。论文已尝试 NativeMEM+MemBodied 但组合劣于单独模型，说明显式压缩历史与关联记忆的融合方式值得重新设计，例如用门控决定哪些信息进入显式 token、哪些进入关联矩阵。针对 M(1) 与 M(n) 的不同需求，可分离“场景锚点”“事件记忆”“进展记忆”，并对 Block Ranking 类任务设计可更新的进展表示，而非固定首帧。应扩展到更多记忆基准、多任务与更长时程真实操作，测试 OpenVLA-OFT 等其他骨干。理论方面可分析 delta 更新的覆盖/遗忘、关联秩容量与门控行为。工程上可研究端到端系统延迟、多级存储与硬件优化，以及跨 episode 的安全选择性记忆复用。

本文把工作定位在长程深度搜索智能体的工作流设计与角色感知强化学习训练的交叉处。作者指出，主流 ReAct 式开源深度搜索代理沿用“单策略线性配方”，在一个不断膨胀的上下文中同时完成推理、检索与综合，因而受到两类结构性瓶颈制约：一是角色耦合，即规划、证据使用与综合被压缩进同一个未分化策略；二是上下文累积，即检索内容与中间结论不断追加，噪声掩盖有用证据并传播早期错误。IterSynth 的定位不是再提出一个多智能体系统或外部摘要模块，而是主张在单一共享参数策略内部实现 Planner–Synthesizer 的角色解耦，并把“演化中的全局摘要”提升为搜索的持久状态，从而同时获得多智能体的专业化收益与摘要方法的有限上下文收益。配套的 RDPO 进一步把角色解耦从推理时工作流延伸到训练时的信用分配，形成“工作流+优化器”的联合设计。这一立场使小参数模型得以逼近更大规模深度搜索代理，并让同一工作流可作为训练无关的提示范式迁移到闭源前沿模型。

深度搜索把 LLM 从被动检索推向主动知识构建：给定复杂问题，代理需要分解问题、发起搜索、阅读证据、细化信息需求并综合出有依据的答案。闭源系统通过大规模 agent 训练与紧耦合工具整合取得强长程性能，而开源代理多沿用 ReAct 配方：先在搜索-推理轨迹上做 SFT，再用结果驱动 RL 或偏好目标优化。这类方法的问题在于，它们仍让单一策略驱动一条线性的推理-搜索-综合序列。随着搜索 horizon 变长，单策略必须同时承担异质能力——规划、查询构造、证据过滤、缺口识别、冲突消解、最终综合——容易导致过早终止、重复搜索或浅层证据使用；同时，不断累积的检索段落、中间思考与局部结论使有用证据更难定位，早期错误也会向下游传播。现有补救路线大致分两类。多智能体方法把不同子任务分派给不同模型，降低了单模型认知负担，但带来推理成本、部署复杂度和协调开销。摘要式方法周期性把搜索历史压缩进紧凑记忆，但摘要通常被当作外部辅助模块而非搜索策略的可学习组成部分，因而既未消除规划与证据使用的耦合，也可能丢弃有用信息或保留误导性噪声。与上述路线相对，IterResearch 通过重建工作区控制上下文，InfoFlow 通过研究者-精炼者交替分离证据收集与整合，但作者认为它们分别只处理了上下文拥塞或能力纠缠的单一方面。这一背景解释了本文的出发点：需要一个统一范式，在共享参数内分离规划与综合，并把摘要更新变成显式、可优化的搜索组件。

核心机制可拆为推理时工作流（IterSynth）与训练时优化（RDPO）两层。 一、双角色工作流。IterSynth 把一次深度搜索组织为 Planner 与 Synthesizer 的严格交替循环，两个角色由同一套参数 πθ 执行，只通过角色提示与动作约束区分。Planner 负责搜索轨迹控制：每轮观察原始问题 q 与当前全局摘要 M_t，判断是发出新查询还是终止并给出最终答案；它关注缺失信息识别、可检索子问题构造与证据充分性判断。Synthesizer 负责记忆维护：读入本轮检索证据，通过过滤无关段落、抽取有用发现、消解局部不一致来更新全局摘要 M_{t+1}；它只能更新记忆，不能发查询、也不能给最终答案。这样，“下一步搜什么”与“新证据如何进入记忆”被解耦，而摘要 M_t 成为搜索的持久状态，Planner 只看到 (q, M_t)，不看完整的历史查询、文档与推理痕迹，从而实现结构性有界上下文。 二、双角色 MDP。作者把过程形式化为增广 MDP ⟨S,D,E,T,R⟩。每轮 t 由 Planner 子步与 Synthesizer 子步组成。状态 s_t=(q,M_t)。Planner 决策 d_t^P=[Think_t^P,a_t]∼πθ(·|s_t,ρ^P)，动作空间 a_t∈{search(q_t),answer(â)}；若选择 search，环境返回检索结果 TR_t。随后 Synthesizer 决策 d_t^S=[Think_t^S,M_{t+1}]∼πθ(·|s_t,d_t^P,TR_t,ρ^S)，转移 T 以新摘要替换旧摘要：s_{t+1}=(q,M_{t+1})。若 Planner 选择 answer，则轨迹终止、Synthesizer 子步被跳过。该公式化的关键直觉是：状态只携带问题与压缩后的记忆，角色通过提示 ρ^P/ρ^S、信息访问范围与动作空间而非不同参数来获得专业化。 三、冷启动 SFT。SFT 阶段在单模型、双任务范式下初始化共享参数。语料来自公开深度搜索数据集 DeepDive、DeepForge、REDSearcher，并补充合成的真实世界问题。对每个问题，用前沿模型 Qwen3.5-397B-A17B 在真实搜索环境中按双角色循环 rollout 出轨迹，保证每个 Planner 动作都锚定在真实检索结果而非想象证据上。原始轨迹经过多级过滤：修复纯语法的 JSON/角色标签/工具调用错误，删除幻觉推理步骤，最终只保留终答案可验证正确的轨迹；保留约一万条高质量轨迹，平均每条约 4.37 次 Planner–Synthesizer 迭代。每条轨迹被展开为逐轮样本，每个 Planner 响应与每个 Synthesizer 响应构成独立监督目标，最终约 87.4K 个角色条件样本。在单个 Qwen3-8B 骨干上做全参数 SFT，损失只计算角色响应部分，环境返回的工具结果被 mask 掉，防止模型学习模仿检索内容。关键超参：学习率 1×10^-5、批大小 512、4 个 epoch、最大上下文 32768、warmup 0.05、余弦调度，32 块 H20 约 24 小时。 四、RDPO。SFT 只教会格式与交互结构，不显式优化何时搜、保留什么证据、两角色如何协调。RDPO 的出发点是：IterSynth 的每条轨迹自然分解为多个独立交互轮，应被用于细粒度、角色感知的梯度信号。对每个问题 q，策略执行 G 条独立 rollout，第 i 条轨迹有 T_i 轮，形成语料 C_q={(s_{i,t},d_{i,t}^P,d_{i,t}^S)}，共 ∑T_i 个交互轮，而不是仅 G 个轨迹级样本。为缓解终局奖励稀疏，作者采用复合奖励：r_{i,t}^ρ = r_{acc,i} + α·r_{rubric,i,t}^ρ，其中 r_{acc,i} 是终答案正确性（0/1）并均匀广播到轨迹 i 的所有轮次，r_{rubric,i,t}^ρ 是 LLM 判官沿五个预定义维度给中间行为的逐轮评分，α 是缩放系数。RDPO 的核心在于优势归一化的角色分离：把复合奖励按角色分入两个池 R_q^ρ={r_{i,t}^ρ}，只在各自池内计算均值 μ_q^ρ 与标准差 σ_q^ρ，得到 A_{i,t}^ρ=(r_{i,t}^ρ−μ_q^ρ)/σ_q^ρ，再直接代入标准 GRPO 目标，无需进一步算法修改。其设计直觉是：Synthesizer 一侧的稠密逐轮奖励与 Planner 一侧较稀疏的奖励若共享同一 baseline 会纠缠信用信号；“w/o RD”消融正是把混合角色样本跨角色归一化，性能反降至结果驱动 GRPO 之下，说明角色内相对优势是保留干净 credit assignment 的关键。 五、Rubric 与判官。Planner/Synthesizer 的 rubric 并非手工撰写，而是从对比轨迹蒸馏：用 SFT 初始化策略在留出集上 rollout，收集 20 对正负轨迹（正例达正确终答案、负例失败），让 Claude-4.6-Sonnet 分角色分析正负差异并产出区分性评估准则，两个角色独立处理以避免规划类与综合类准则混淆；随后合并去重、每角色封顶五条并冻结。RL 训练时，冻结 rubric 由 Gemini-2.5-flash-lite 在线打分，每轮对 Planner 输出与 Synthesizer 输出各调用一次，得到逐轮 rubric 奖励进入复合奖励。 六、工具环境与训练-评估分离。环境提供两个工具：基于 SerpAPI 的 Google 搜索（一次多查询，返回前十条的标题/URL/摘要）与网页浏览器（URL 级、子查询条件化摘要；HTML/PDF 用 Jina Reader 解析，原始内容经 Qwen3-8B 生成贴合信息需求的摘要）。为控制大规模 rollout 成本，RL 训练用离线缓存搜索服务匹配预收集快照、不发真实 API 请求；评估时连接 live 工具，使报告分数反映真实深度搜索而非缓存分布。RL 关键超参：学习率 1×10^-6、批大小 32、每问题 group size 8、温度 1.0、top-p 0.95、KL 系数 0.001、熵系数 0、最大上下文 32768、训练 T_max=30（评估放宽到 50）、α=0.5，64 块 H20 约 90 小时。RL 数据选取 SFT 问题五次 rollout 中恰好 1–2 次答对的约一千条查询，瞄准中等难度“最近发展区”。

实验部分围绕多个长程深度搜索基准展开，覆盖多步工具使用、网页导航、复杂推理与跨语言信息综合，并与三类系统比较：带工具的前沿基础模型、更大规模的已训练代理、以及同规模的小参数代理。主结果显示，IterSynth 在同规模代理中取得最优平均分，并超过同规模最强基线；优势在探索密集、需要持续证据累积的基准上尤其突出，同时以远小得多的参数预算接近或超过若干更大规模代理。分析包括多个层面：作为训练无关的提示工作流，IterSynth 在多个闭源主干上均优于 ReAct 与 IterResearch，说明收益不只来自训练；RDPO 相对 SFT 与结果驱动 GRPO 进一步提升，而移除角色解耦优势归一化后反而低于 GRPO，证明收益来自角色内相对优势而非单纯加入逐轮 rubric 奖励；逐角色替换消融表明 Planner 与 Synthesizer 都被端到端优化，且 Planner 退化代价更大；奖励系数与判官模型的稳健性检验显示最优系数呈非单调关系、换判官后结论与排序保持。效率与成本方面，LLM 判官的额外 API 开销相对 RL 的 GPU 计算占比较小，共享参数的单模型部署比等硬件预算下的双模型部署更快，且相对更大规模代理具有速度与参数效率优势。定性失败分析指出残余错误：摘要偶发遗漏事实之间的连接关系，以及冲突证据场景下对早期错误来源的确认偏差。

1. 在同规模（≤8B）代理中，IterSynth-8B 平均得分最高（50.7），比此前最强小代理 MiroThinker-v1.0-8B 高 4.2 个百分点。

   Within the ≤ \leq 8B category, IterSynth-8B attains the best average score of 50.7 % 50.7\% , improving over the strongest prior small agent MiroThinker-v1.0-8B by + 4.2 % +4.2\% .

2. BrowseComp-ZH 上提升最显著：IterSynth-8B 达到 55.4，比最强小代理基线高 15.2 个百分点。

   The most pronounced improvement appears on BrowseComp-ZH, where IterSynth-8B reaches 55.4 % 55.4\% and surpasses the strongest small-agent baseline by + 15.2 % +15.2\% , indicating that the proposed framework is particularly effective on the most exploration-intensive long-horizon tasks.

3. 在 xBench-DS-2510 上获得 5.4 个百分点的提升，并在 BrowseComp 与 xBench-DS-2505 上保持竞争力。

   The model also yields a + 5.4 % +5.4\% gain on xBench-DS-2510 and remains competitive on BrowseComp and xBench-DS-2505.

4. 从 SFT 冷启动到结果驱动 GRPO 再到 RDPO，平均分依次为 44.1、48.9、50.7，说明 RL 能超越模仿且 RDPO 进一步受益。

   Starting from the structurally initialized IterSynth-SFT model, outcome-only GRPO already improves the average score from 44.1 44.1 to 48.9 48.9 , indicating that reinforcement learning can optimize search behavior beyond imitation. RDPO further raises the average score to 50.7 50.7 , with consistent gains on most benchmarks, especially BrowseComp and BrowseComp-ZH.

5. 去掉角色解耦优势归一化（w/o RD）后平均分降至 47.2，甚至低于结果驱动 GRPO 的 48.9，说明跨角色共享 baseline 会纠缠信用信号。

   Although w/o RD uses the same composite reward as RDPO, it normalizes advantages across mixed-role samples and drops to 47.2 47.2 , even below the outcome-only GRPO baseline.

6. 逐角色替换消融：把 Synthesizer 换成未训练基座时平均分下降 17.4 个百分点，把 Planner 换成未训练基座时下降 41.1 个百分点，说明 Planner 是更难的角色。

   the average score decreases by 17.4 % 17.4\% when the Synthesizer is replaced and by 41.1 % 41.1\% when the Planner is replaced.

7. 作为训练无关提示范式，IterSynth 在 Claude-4.5-Opus 上比 ReAct 平均高 5.5 个百分点，在 DeepSeek-V3.1 上高 4.5 个百分点。

   Compared with ReAct, IterSynth improves the average score by + 5.5 % +5.5\% on Claude-4.5-Opus and + 4.5 % +4.5\% on DeepSeek-V3.1, indicating that a mono-contextual search process is insufficient for long-horizon information seeking.

8. 作为提示策略，IterSynth 在 Claude-4.5-Opus 与 DeepSeek-V3.1 上持续优于 ReAct 与 IterResearch，BrowseComp-ZH 上相对 ReAct 最高提升 10.0 个百分点。

   IterSynth also generalizes as a prompting strategy for frontier models such as Claude-4.5-Opus and DeepSeek-V3.1, consistently outperforming ReAct and IterResearch, with up to + 10.0 % +10.0\% over ReAct on BrowseComp-ZH.

9. 在 64K 上下文下，ReAct 在 BrowseComp 上有超过 59% 的轨迹在上下文耗尽前无法终止，支撑了有界上下文设计的动机。

   we empirically observe in Appendix H that even with a 64K context, ReAct trajectories on BrowseComp fail to terminate before context exhaustion in over 59% of cases.

10. 奖励系数消融显示 α=0.5 全面优于 α=0.3，平均提升 4.2 个点，增益在 BrowseComp-ZH（+6.6）和 GAIA（+4.8）上最明显。

    α = 0.5 \alpha\!=\!0.5 consistently outperforms α = 0.3 \alpha\!=\!0.3 on every benchmark, with absolute gains of + 3.4 +3.4 on BrowseComp, + 6.6 +6.6 on BrowseComp-ZH, + 4.8 +4.8 on GAIA, + 3.0 +3.0 on Xbench-2505, and + 3.0 +3.0 on Xbench-2510, corresponding to an average improvement of + 4.2 +4.2 points.

11. 更换判官模型后，RDPO 训练得到的平均基准性能在主结果附近 ±1.0 点以内，且 RDPO>GRPO>SFT 的排序在每种判官下都保持。

    Re-running RDPO training with each alternative judge yields final average benchmark performance within ± 1.0 \pm 1.0 point of the main result ( 50.7 50.7 ), and the relative ordering RDPO > > GRPO > > SFT is preserved in every case.

12. RDPO 阶段 LLM 判官的额外成本估计约 192 美元，相当于相对结果驱动 GRPO 每提升一个准确度点约 54.9 美元，远低于 RL 训练本身的 GPU 计算成本。

    At a representative API price of $0.1 per million input tokens, this amounts to an estimated additional cost of ∼ \sim $192 for the entire RDPO stage, i.e., roughly $54.9 per point of accuracy gained over outcome-only GRPO (see Table 3 ).

Novelty：新颖性属于“架构/工作流 + 训练算法”的组合式创新，而非单点算法突破。单个组件——角色分离、摘要记忆、角色感知奖励——在前作中各有影子：InfoFlow 分离研究者与精炼者，IterResearch 重建工作区，过程奖励/逐轮 rubric 也不新鲜。本文的相对新颖之处在于：第一，把角色解耦与摘要状态放在同一共享参数策略内联合实现，并以 MDP 显式建模双角色交替与动作约束，区别于多模型或外部摘要路线；第二，把角色解耦延伸到 RL 信用分配，提出按角色分池做组内优势归一化，并用消融证明混合归一化确实有害；第三，rubric 从对比轨迹自动蒸馏而非手工设计，降低人工先验。但上述组合在方法论层面的增量有限，且共享参数相对双模型的收益论证依赖单点消融，新颖性应视为中等。 Soundness：整体论证链较完整：主结果、RL 阶段消融、角色替换、训练无关提示、判官稳健性与成本分析相互支撑。值得肯定的是，w/o RD 消融直接对照了“同一复合奖励但跨角色归一化”的情况，能较干净地把收益归因于角色内优势归一化，而非仅归因于 dense reward；角色替换消融也提供了因果证据。潜在问题：评估只给平均分、未报告多次运行方差或置信区间，单次评测的噪声未知；训练用缓存检索、评估用 live 工具，两者分布差异可能影响结论，但未做敏感性分析；部分基线在部分基准缺失，跨系统比较的公平性依赖工具环境差异，且主表混合了官方/复现数据；LLM 判官评分与 rubric 自动蒸馏的可复现性、以及 α 与 rubric 的联合调参未完全隔离。总体而言，内部消融较有说服力，外部可比性与统计稳健性仍有保留。 Significance：若结论可复现，该工作对“小模型长程深度搜索”有实用价值：它表明无需增加参数或多模型即可获得专业化的规划-综合分工，并把摘要更新变为可优化行为，这对资源受限部署与开源社区有吸引力。作为训练无关提示范式对闭源模型的增益进一步扩大了影响面。但其显著性受限于：基准领域集中在长程搜索问答，未显示向通用 agent 任务迁移；训练管线依赖额外大模型合成轨迹与 LLM 判官，落地门槛仍在；单一小参数主干使“范式通用性”证据有限。因此属于有实际影响的中等贡献，而非改变领域方向的基础性突破。

首先，方法只在单一小参数骨干上完整训练，“共享参数优于独立参数”的结论来自单一对比，且未跨尺度验证；RDPO 是否稳定泛化到其他策略优化算法或更大模型尚不清楚。第二，评估只报告平均分，没有多次运行方差、置信区间或统计检验，跨基准的个别百分点差异可能落在噪声内；表中大量基线在部分基准缺失，且各代理的工具环境、检索时点与评估协议未必一致，影响跨系统公平性。第三，RL 训练用离线缓存检索、评估用 live 工具，训练-部署分布偏移未做消融，缓存命中的信息时效性也可能改变行为。第四，RDPO 依赖自动蒸馏的 rubric 与在线 LLM 判官，虽然换判官后结论稳健，但 rubric 来自少量对比轨迹、固定每角色少量条目，覆盖有限；奖励系数存在非单调敏感，需针对设置调参，且 rubric 奖励与终局奖励的缩放关系未被完全解耦分析。第五，摘要式有界上下文以摘要质量为前提，失败分析显示摘要会遗漏实体间关系、并在冲突证据下出现对早期错误来源的确认偏差，但缺少量化的信息损失或忠实性指标。第六，安全、隐私与事实性只停留在研究用途声明，未讨论引用溯源、拒答校准或部署防护。

可跟进的方向包括：(1) 结构化记忆：把平坦摘要升级为显式实体-关系图或命题化、带来源引用的记忆，减少连接信息丢失，并支持可验证的增量更新。(2) 冲突感知综合：在 Synthesizer 更新规则中加入矛盾检测，当新证据与既有摘要冲突时触发定向复检或标记不确定性，缓解确认偏差。(3) 扩展双角色交互：允许 Synthesizer 反向请求 Planner 补充检索、或引入证据置信度/验证动作，形成更丰富的闭环；也可探索异步、并行或层次化 Planner/Synthesizer。(4) 跨尺度与跨算法验证：在更大骨干、其他 RL 算法（PPO、REINFORCE++ 等）与更多工具协议下复现，检验共享参数与角色解耦优势的普适性。(5) 降低判官依赖：用蒸馏的过程奖励模型或可学习 critic 替代在线 LLM 判官，降低推理成本并稳定奖励尺度；进一步自动搜索 α 与 rubric 组合。(6) 更严谨评估：报告多次运行方差与置信区间，统一工具与检索协议，补充更多语言/领域和时效性任务。(7) 安全与可信：引入引用溯源、可验证声明、拒答校准与部署防护，使深度搜索代理在真实场景可用。