2026-10-01

本文处于两条研究线的交叉点：一是 Omni 基础模型通过统一自回归或混合离散-连续架构扩展原生多模态能力，二是 Agent Harness 与 Agent Skills 在推理时注入过程性知识。文章拒绝把 Omni 能力增长继续绑定在主干模型更新上，而把统一放到任务执行与产物流层面：保持宿主智能体的推理与规划核心不变，在其与异构多模态后端之间插入一个可插拔 harness。它把关键缺口界定为多资产生产工作流中的能力选择、控制/数据依赖表达、中间资产传递、局部失败隔离与跨轮复用，主张缺失的不是更强的模型，而是连接智能体推理与异构执行后端的 Omni agent harness。Omni-IO Skills 的贡献因此落在系统层：多粒度层级技能、标准化多模态执行接口、依赖感知编排和持久 Asset Registry。

现实任务很少停留在单一模态。论文以在线课程制作为例，说明录音、参考文档、内容分析、视觉设计、幻灯片、插画、旁白与讲解视频之间存在事实、风格、时序与约束共享。近年 Omni 基础模型分两条路线：统一自回归模型把异构模态离散化为 token 并做 next-token prediction，接口统一但承受模态 token 化、序列长度与感知细节压力；混合离散-连续模型保留自回归语义推理，同时用连续表示、扩散/流目标或模态专用解码器保持媒体保真度，但需协调多编码器、适配器、目标与解码器。无论哪条路线，模型原生支持的模态仍与训练数据、架构和更新周期耦合。与此同时，专用模型与媒体引擎在共享骨干之外持续进步。通用智能体（如 Codex、Claude Code）提供强指令遵循、长程规划、代码执行、工作区操作与迭代修正，但其端到端生产界面仍偏软件与知识工作。模型协调系统允许智能体不重训即委托模态专家，Agent Skills 则把可复用过程性知识打包到推理时。相关工作如 SkillsBench、CUA-Skill、MMSkills 分别覆盖专家任务、计算机使用与视觉决策，但 multimodal production 与多资产执行、依赖表达、持久状态的交叉仍不成熟。本文由此提出中心问题：可插拔 harness 能否在不改动宿主推理核心的情况下让通用智能体变得 omni-native。

机制核心是四层分离：Skill Entry、MCP Tool Service、Provider and Configuration、Asset Registry。宿主代理只接触统一任务接口，任务知识、工具接口、服务实现与持久输出彼此解耦。 第一，Skill Entry 层。技能按粒度而非模态分为 Atomic、Expert、Scenario。Atomic 是单一可独立调用操作，覆盖图像/视频/音频/文档/3D 理解，图像/视频/音乐/音效/语音/3D/PPT/Word/PDF/Excel/代码/Markdown 生成，以及网页搜索/浏览；Expert 面向单一最终交付物，封装需求分析、任务规划、资产生成、组装、质检与局部修正；Scenario 面向具体应用语境，根据用户请求决定交付物并协调 Expert 或 Atomic。当前实现为 19 个 Atomic、2 个 Expert、6 个 Scenario，共 27 个技能、38 个代表性任务，跨七类 artifact 与理解/生成/推理/检索四类能力。所有技能共享声明式契约 s=⟨c_s,I_s,P_s,O_s,H_s⟩，即适用条件、输入、执行过程、预期输出、与其他技能的关系。输入输出按语义描述而不绑定 provider；过程记录可直接执行操作或调用其他技能的工作流；关系字段标识可展开的下层能力。选择时，受支持应用语境触发 Scenario，单一专业产物可直接选 Expert，自包含操作可直达 Atomic。高层技能递归展开：Scenario 替换为交付物所需的 Expert/Atomic，Expert 替换为原子生产与检查步骤；共享输入与中间结果只表示一次，终态任务成为 DEG 节点。 第二，MCP Tool Service 层。它把语义任务规范转为标准化可执行操作，分为理解工具、生成工具、utility 工具三组。外部 DEG 节点通过统一契约提交：任务类型、自包含 prompt、可选参数、依赖解析后的资产输入。服务按 task type 选择工具接口，不向技能定义暴露 provider 专属 API。代码/Markdown 等可由宿主原生完成的操作绕过外部 MCP 生成服务，但保留相同的依赖语义、状态与输出注册契约。 第三，Provider and Configuration 层。它为每个外部任务类型维护 tool/provider/model/credential reference/default parameters/fallback policy 绑定。技能引用的是语义能力（如 image generation、speech synthesis）而非具体端点；替换 provider 或模型无需重写技能与 DEG。默认参数提供统一基线，节点级参数可局部覆盖。 第四，Asset Registry 层。注册资产统一表示为 a=⟨asset_id,type,subtype,path,description,params,turn_id,source_asset_id⟩。asset_id 全局唯一且独立于物理路径；type/subtype 区分大类和细类；description 与 params 保留生成上下文；turn_id 关联交互轮次；source_asset_id 记录修订或派生的 provenance。注册表采用 append-only JSON，不原地更新，写入原子化并用文件锁串行化，使并行节点或会话不会互相覆盖。该层同时覆盖 MCP 工具产物与宿主原生产物，为下游与跨轮复用提供持久引用。 编排方面，运行流联合组织控制流与资产流。DEG 定义为 G=(V,E)，可执行节点 v=⟨id,type,prompt,params,depends_on⟩；有向边 (u,v) 同时表示控制依赖（v 不能早于 u 完成）与数据依赖（u 的输出被 v 消费）。历史资产表示为 asset_source 节点，解析引用后视为已完成且不发生成调用。构建后先做结构验证：每个依赖引用必须解析到节点或已注册资产，且诱导图必须无环；失败视为规划错误并重建。合法图按 Wave 调度：所有前驱已完成的 pending 节点进入下一 Wave，同一 Wave 内互不依赖、并发执行；调度只依据声明的依赖而非模态，因此图像与音频生成可并行，而 image-conditioned video 会等待其参考图。节点失败时，其因输入缺失而不可用的后代被取消，独立分支继续执行，已完成输出不回滚。 运行时工具路由：工具服务按节点 type 选择工具，Provider 层解析 provider、模型、凭据、默认参数与 fallback；有效参数由 provider 默认值、节点覆盖值和前驱输出注入的输入合并。上游完成后系统解析其输出本地路径并按任务关系注入下游调用，例如 image-to-video 依赖注入初始视觉条件、image-to-3D 依赖注入参考图，下游 prompt 无需嵌入路径。注册只发生在输出成功写盘之后。同一轮内下游通过 asset_id 解析并消费文件；跨轮时用户以 asset_ref 引用历史资产，它在新 DEG 中物化为已完成的 asset_source 节点。修订创建新记录并保留 source_asset_id，不原地更新。 文中以 Event Material 场景举例：由产品图生成海报、带音效宣传视频和着陆页。DEG 分四 Wave：Wave 0 分析产品参考图；Wave 1 并行生成海报视觉与视频/音效；Wave 2 组合宣传视频与海报；Wave 3 生成着陆页。若用户后来只要求更换着陆页风格，已注册的产品分析与宣传资产会物化为已完成源节点，仅重新执行着陆页任务。 训练与数据细节：本文不做模型训练或微调，能力来自过程性技能、可替换外部后端和资产管理层；评估数据是 UniM 的固定受控子集 UniM-90。论文没有训练集、损失或优化器描述，其“可学习/可扩展”性体现在技能库、provider 绑定与 fallback 策略的增量更新上。

实验在 UniM 的一个固定受控子集上，对多个不同宿主代理分别比较基础配置与加载 Omni-IO Skills 后的表现。指标包括输入支持率、绝对与相对 SQCS、ICS、StS、LeS。加载 harness 后，宿主的输入覆盖达到全部实例；相对语义-质量耦合分与交错一致性分在完整测试集上明显上升；结构指标接近满分；且加载 harness 后的绝对 SQCS 超过基础代理仅在其较窄支持子集上的绝对 SQCS。案例研究展示艺术教程生成与产品推广中的多技能编排、跨资产复用与交付物一致性。

1. Omni-IO Skills 将 GPT-5.6 Sol 与 Claude Sonnet 5 的输入支持率分别从 40.00% 和 38.89% 提升到 100%。

   First, the input-support rates of GPT-5.6 Sol and Claude Sonnet 5 increase from 40.00% and 38.89%, respectively, to 100% in both cases.

2. 在完整测试集上，相对 SQCS 从 26.99/27.82 提升到 74.94/77.78，ICS 从 34.61/32.00 提升到 93.98/83.28。

   In terms of the relative metrics, SQCS increases from 26.99 and 27.82 to 74.94 and 77.78, while ICS increases from 34.61 and 32.00 to 93.98 and 83.28, respectively, demonstrating substantial improvements in semantic quality and interleaved multimodal coherence over the full test set.

3. 绝对 SQCS 分别从 67.49 和 71.53 提升到 74.94 和 77.78，说明 harness 不仅扩展模态支持还改善输出质量。

   For the absolute metrics, SQCS increases from 67.49 and 71.53 to 74.94 and 77.78, respectively, indicating that Omni-IO Skills not only broadens modality support but also improves the semantic correctness and generation quality of task outputs.

4. 结构指标接近满分：GPT-5.6 Sol 的 StS 与 LeS 均为 100%，Claude Sonnet 5 为 99.78% 与 100%。

   The gains are particularly pronounced for the structure metrics: GPT-5.6 Sol achieves 100% on both StS and LeS, while Claude Sonnet 5 reaches 99.78% and 100%, respectively, validating the effectiveness of Omni-IO Skills in multimodal tool invocation, asset organization, and output-structure control.

5. 加载 harness 后的绝对 SQCS 超过基础代理仅在其较窄支持子集上测得的绝对 SQCS。

   The absolute SQCS values after loading the harness are 74.94 and 77.78 over all instances, exceeding the Base Agents’ 67.49 and 71.53 measured only on their narrower supported subsets.

6. 结论报告相对 SQCS 分别提升 47.95 与 49.96 分，输入支持率到 100%，StS 达 100.00 与 99.78。

   On UniM-90, the harness raises the input-support rates of GPT-5.6 Sol and Claude Sonnet 5 to 100%, increases relative Semantic–Quality Coupled Score by 47.95 and 49.96 points, and reaches Strict Structure Scores of 100.00 and 99.78.

7. 案例研究中，两个宿主代理均产出全部请求输出，并在教程步骤、产品身份与交付物之间保持一致。

   Both GPT-5.6 Sol and Claude Sonnet 5 produce all requested outputs while preserving consistency across tutorial steps, product identity, and deliverables, demonstrating the stable performance of Omni-IO Skills in multimodal understanding, generation, and complex task orchestration.

Novelty：单项构件（Agent Skills、MCP、执行图调度、资产注册）均有先例，因此 novelty 不是基础性突破，而是系统集成层面的创新。本文的差异在于把这些构件组合成面向 any-to-any 多资产生产工作流的 harness：层级技能负责过程性知识，DEG 负责依赖与并发，Provider 层负责后端可替换，Asset Registry 负责中间产物与跨轮复用。与 SkillsBench、CUA-Skill、MMSkills 相比，它更强调多个相互依赖交付物、中间资产传递和跨轮修订，而非单轮工具调用或视觉决策。综合判断为中等偏强的工程/系统创新。 Soundness：架构定义清晰，公式化契约、无环验证、Wave 调度、失败传播与 append-only registry 均可操作，provider 解耦设计也合理。但经验验证偏薄：缺少组件消融、统计检验、失败注入与并发冲突实验；固定子集可能带来选择偏差；相对指标由支持率乘以绝对分构造，可能把覆盖提升与真实质量混在一起；结构分数接近满分提示指标可能饱和。案例研究只能说明可行性，不能证明各机制的必要性。整体 soundness 为中等。 Significance：实用意义较高：该 harness 使通用智能体无需重训即可覆盖多模态输入输出和多资产生产，并支持 provider 替换、资产追踪与跨轮复用，对教育、营销、办公、游戏资产等场景有直接迁移价值。它也提供了一条与原生 Omni 模型互补、可随专业模型/工具独立演进的路线。学术意义上，若后续补齐消融、鲁棒性、成本与其他编排基线的受控比较，可成为 harness 级 Omni 系统的代表性方案；当前主要受限于证据强度。

一是评估范围有限：仅在 UniM-90 固定子集上报告结果，未覆盖全量 UniM，也没有统计显著性检验，代表性风险存在。二是没有消融实验：Asset Registry、Wave 并发、层级技能展开、provider fallback、统一 MCP 契约等组件各自贡献无法归因。三是对比不足：只比较 Base Agent 与 Agent+Omni-IO Skills，未与直接 MCP 工具调用、ReAct/MM-ReAct 式协调、其他 Skills 框架或端到端 Omni 模型比较。四是自动指标可能饱和或混叠：相对分数由支持率与绝对分相乘，结构指标接近满分，难以区分系统差异，且缺少人工偏好评估。五是鲁棒性机制未经实证：失败注入、并发写冲突、provider 失效/回退、超时与部分失败只描述了策略，没有实验验证。六是成本与延迟未报告：多技能、多 provider 调用和 append-only registry 的累积开销、费用与时延未知。七是技能覆盖依赖人工 curated，新应用需编写新的 Scenario/Expert，且请求欠指定时依赖澄清交互，自动化程度有限。八是安全与治理问题未讨论：跨工具/跨 provider 资产传递、网页浏览和代码生成可能引入注入、版权、隐私和输出可控性风险。

后续工作可沿以下方向展开：第一，做组件消融和鲁棒性实验，逐项移除 Asset Registry、Wave 并发、层级技能或 fallback，并进行失败注入、并发写压力、provider 切换与超时测试。第二，在更大且更多样的基准上评估，加入多轮修订、长尾模态组合和人工偏好评估，同时报告成本、延迟与 token 开销。第三，增加基线对比，包括直接 MCP 工具调用、ReAct/MM-ReAct 式模态专家协调、其他 Skills 框架以及原生 Omni 模型，并控制后端一致以公平比较。第四，研究从工作流日志中自动合成或优化 Expert/Scenario 技能，减少人工 curated 成本，并探索技能选择与澄清策略的自动化。第五，形式化 DEG 调度与资源约束，例如并发上限、API 配额、截止时间与部分失败下的重规划。第六，为 Asset Registry 设计版本合并、冲突解决、跨会话权限和安全审计机制。第七，检验 harness 对较弱宿主模型规划能力的敏感度，判断其适用边界。

本文提出 EngiWorld，一个面向专业工业设计软件的智能体评测基准。其定位不是一般电脑操作或软件工程基准，而是围绕“完整设计闭环”（意图表达→工具选择→构造→规格达成→跨工具交付→验证）组织的跨领域工程基准：覆盖 CAD、CAE、CAM、BIM、EDA 与 3D 可视化多个领域，涉及多种专业软件平台，同时提供 GUI 与 CLI 接口及多类任务。与前作不同，它不比较最终界面状态或参考解，而是以“工件为中心”的统一域验证器检查提交的工程文件（几何有效性、物理可行性、规则符合性），并对定量设计任务给出连续质量分而非二值成败。论文的核心贡献是基准本身及对多款前沿模型的首次系统评估，结论是现有智能体距工业级工程执行标准仍有很大差距。

现有通用计算机使用基准（如 OSWorld、Spider2-V、ScienceBoard）用最终状态或参考解判定成功，无法验证工程工件的功能完整性：外观“正确”的模型可能因非流形几何、拓扑约束错误或违反物理定律而不可用。FEABench、BIM-Edit、CADTestBench 等已开始校验工件质量，但各自局限于单一软件平台、单一任务格式。交互深度也不足：Text2CAD 以单轮生成为主，CADWorld 虽引入 GUI 但步数预算被限制在很低水平，而工业任务需要在长操作序列中保持参数化逻辑，早期错误会级联使后续操作失效。反馈缺口同样突出：多数智能体只收到文本信号（如编译错误），GUI-EDA 甚至离线单步预测而不执行动作；工程师实际依赖渲染输出、仿真收敛曲线、设计规则违例报告等原生反馈迭代。真实工程是一个完整设计闭环，但既有基准只覆盖其中一环。本文据此提出 EngiWorld，以闭环结构、多轮真实软件交互和工件级验证填补空白。

EngiWorld 的核心设计可分解为任务形式化、交互模型、环境、任务构建、工件中心评估与评分公式几部分。 任务形式化。每个任务写作 τ_i=(g_i,x_i,e_i,A_i,Y_i,C_i)：g_i 为目标，x_i 为输入（参考媒体、初始文件），e_i 为软件环境与工作区状态，A_i 为可用接口动作，Y_i 为所需交付物，C_i 为验收准则。这一元组对应设计闭环的不同阶段：x_i、e_i 表达意图与环境，A_i 支配构造，Y_i 与 C_i 编码规格与交付。 交互建模。交互被建模为部分可观测序贯决策过程：s_t 表示第 t 轮软件环境的完整状态（应用状态、工作区文件、执行中产生的工件）；智能体通过任务接口收到观察 o_t 并维护历史 h_t；动作按 a_t～π_θ(·|g_i,o_t,h_t) 采样，取值于 A_i∪{DONE,FAIL}；环境按 s_{t+1}～P_i(·|s_t,a_t) 与 o_{t+1}～Ω_i(·|s_{t+1}) 转移。GUI 观察主要是渲染的应用画面（可含无障碍信息），CLI 观察是终端输出、文件内容与执行日志。回合在 DONE、FAIL 或任务决策上限时终止。关键设计是：评估发生在终止后提交的工件 Y_T 上，而非动作轨迹或最终界面状态，因此“看起来完成”不等于通过验证。 环境。任务运行在隔离的 Windows 或 Ubuntu 虚拟机中，装有原生工程软件。共提供 37 个环境：26 个单软件环境、10 个多软件复合环境、1 个开放任务环境（另有多个软件选择复合环境）。GUI 经 PyAutoGUI 以 1920×1080 截图配合鼠标键盘操作；CLI 发终端命令与脚本，图像可用 readimg 查看；两接口共享同一工件评估协议。默认决策上限为 GUI 200 轮、CLI 100 轮，多软件与开放任务提高到 300/150 轮；保留最近 15 轮交互历史。复合环境示例包括 AutoCAD+SolidWorks+Abaqus、Archicad+OpenStudio、KiCad+OpenSCAD+FreeCAD+Blender 等，中间工件在应用间传递并在后续阶段被检查。 任务构建。采用“专家校准 + LLM 辅助”的流水线。领域专家从官方文档、教程、技术参考与工程教材中挑选代表工作流，转化为可执行任务规格（指令、初始文件、参考工件、交付物、任务专用验证器）；AI 负责标准化措辞与结构，专家复核并定稿。随后在指定软件中构造实例：专家准备初始工程状态并构造经过校验的参考实现，AI 辅助工件准备与迭代；同一规格可存在多个满足工程条件的合法实现。多软件任务的中间工件保存跨阶段依赖并作为后续应用的输入；开放选择任务固定需求与交付物而允许工具和顺序灵活。 工件中心评估。终止后，验证器重新打开提交的交付物，抽取任务所需属性，对照结构要求或带容差的数值准则检查。检查覆盖几何尺寸与拓扑、仿真量、原理图连通性、建筑模型实体与关系、3D 场景结构；多软件任务额外检查中间工件与跨阶段一致性。中性格式（STEP、DXF、IFC）会被重新导入，因此导出错误会直接反映在结果中；缺失、无效或不可读交付物判为失败。验证器用参考工件、替代合法解与受控缺陷提交测试，确保既接受合法实现又能检测任务相关违规。 评分公式。二值任务 S_i=Π_{k=1}^{K_i} φ_ik(Y_T)，φ∈{0,1}，所有验收准则都满足才算成功。定量设计分两阶段：先由 F_i=Π ψ_ik 验证工程可行性约束（几何、材料与载荷指派、物理响应上限等），可行才计算质量 q_i，否则 Q_i=0；当目标度量是相对初始设计的改进时，Q_i=clip_[0,1]((m(Y_T)-m_base)/(m_ref-m_base))，支持最小化与最大化目标，基线得 0、达到或超过参考得 1；其他任务直接按布局代价或曲面逼近误差计分。直觉是：可行性门防止几何或拓扑有缺陷的输出仅凭逼近精度获得分数。EngiScore=100/|D|(Σ_{二值}S_i+Σ_{定量}Q_i)，每任务等权，范围 0–100；纯二值集上等价于成功率百分点。 验证器技术栈与检查族。检查器栈包括 CadQuery/OCCT（实体）、ezdxf（图纸）、IfcOpenShell（建筑模型）、FreeCAD/Blender 原生 API、Abaqus odbAccess（仿真结果）、SQLite（EnergyPlus/OpenStudio 输出）。检查族包括：全局几何（包围尺寸、体积、面积、实体有效性）、局部几何（指定截面轮廓，容差 0.005–0.08 mm）、实体-空腔占位（材料、空腔、通孔、残余材料 ≤0.1 mm³）、工程指派（材料、载荷、边界条件、热区）、仿真输出（场量与物理响应误差界）、结构关系（净连通、实体角色、跨文件引用）、跨阶段一致性（如 KiCad–OpenSCAD–FreeCAD–Blender 流程中板标识与安装孔尺寸匹配）。完整性检查保护指定输入并防止脚本化绕过 GUI。 验证器验证。预期结果在执行前由任务需求指派；任务作者标注替代与缺陷工件，另一名标注者独立复核，分歧触发规格复审与相关检查重做。参考实现应被接受，空交付与仅有指标、缺少工件的提交应被拒绝。 数据与训练细节。本工作不训练模型，是零样本基准评估。主评估使用按软件×任务类别分层的子集，均衡覆盖全部六领域与两类接口。七款被评估模型（三款闭源、四款开源）收到相同任务规格与工具说明。

实验将多款前沿模型（闭源与开源混合）置于同一分层抽样任务子集上做零样本评估，覆盖不同接口与全部工程领域。总体结论是能力缺口显著：最强模型仍远低于工业级标准，跨软件协调与软件选择是突出短板，接口对表现影响很大，命令行表现强并不自动转化为视觉交互能力。消融显示参考图呈现、运行时图像访问、无障碍树、截图分辨率与历史长度的影响随模型而异，更多结构化观察未必带来更优工程决策。失败分析呈现两类主导失效：未经验证即声明完成，以及在构造阶段耗尽交互预算。定量设计任务显示可行性门与连续质量分能区分合法但质量不同的输出与几何无效的输出。验证器审计显示参考实现与替代合法解被接受，而空交付与仅有指标、缺少工件的提交被拒绝。

1. 基准规模与覆盖：1,301 个专家精选任务、6 个工程领域、26 个专业软件平台，GUI/CLI 双接口与 6 类任务。

   We present EngiWorld , the first benchmark structured around the complete design loop: 1,301 expert-curated tasks spanning 6 engineering domains (CAD, CAE, CAM, BIM, EDA, and 3D visualization) and 26 professional software platforms, with both GUI and CLI interfaces and 6 task types ranging from software-selection to open-ended tasks.

2. 任务类型构成：单软件 931、多软件 60、软件选择 140、定量设计 40、图像建模 120、开放任务 10，形成不相交划分。

   Single-software tasks (931) require agents to complete an objective within a designated application. Multi-software tasks (60) require intermediate artifacts to be transferred and preserved across multiple applications. Software-selection tasks (140) allow agents to choose from a permitted set of tools. Quantitative design tasks (40) evaluate both engineering feasibility and a task-specific design objective. Image-based modeling tasks (120) require agents to construct artifacts from visual references. Open-ended tasks (10) remove predefined software and workflow constraints

3. 总体能力缺口：最强模型 EngiScore 仅 44.3，多软件尝试只有 3.6% 成功。

   Evaluation of seven frontier models reveals a substantial capability gap: the strongest model achieves an EngiScore of only 44.3, and just 3.6% of multi-software attempts succeed.

4. 主榜排序：Claude Opus 5 以 44.3 居首，GPT-5.6 Sol 以 38.0 次之。

   Claude Opus 5 achieves the highest overall EngiScore at 44.3, followed by GPT-5.6 Sol at 38.0

5. 全零任务：七款模型在 300 个主评估任务中的 128 个全部得零分。

   all seven models receive zero scores on 128 of the 300 tasks

6. 跨软件协调：全部模型的多软件尝试在 168 次中仅 6 次成功。

   only 6 of 168 Multi-software attempts succeed across all models

7. 执行成本：平均步数 54.9–120.5，GPT 最少为 54.9，Claude 为 70.2。

   Models average 54.9–120.5 interaction steps per task. GPT uses the fewest steps (54.9), followed by Claude (70.2).

8. 失败模式：GPT 与 Claude 的保留失败中 87.0% 与 73.9% 以 DONE 零分结束，Gemini 为 39.6%。

   Declared completion is the dominant failure mode for GPT and Claude: 87.0% and 73.9% of their retained failures end with DONE , compared with 39.6% for Gemini.

9. 决策轮耗尽：占 GUI 失败 55.3%、CLI 失败 36.6%。

   It accounts for 55.3% of GUI failures and 36.6% of CLI failures.

10. 消融-初始图呈现：把参考图直接放入任务消息使 GPT 的 GUI 分数从 15.0 提升到 31.7。

    Presenting reference drawings directly in the task message improves GUI performance for all three models, with GPT increasing from 15.0 to 31.7

11. 定量设计结果分布：231 次主评估运行中 53 次部分分、9 次满分、169 次零分。

    Partial scores occur in 53 of the 231 main-evaluation runs on Quantitative design tasks; nine runs receive 1.0 and 169 receive zero

12. 定量评分示例：Gemini 的 KiCad 布局得 0.982 对基线 0.647，加权成本从 64.2085 降至 3.2135，布线长度从 53.1618 降至 40.1688 mm。

    Gemini’s KiCad task-01 output scores 0.982, compared with 0.647 for the baseline layout. The evaluator-computed weighted cost decreases from 64.2085 to 3.2135, and route length decreases from 53.1618 to 40.1688 mm.

Novelty：新意在于把“完整设计闭环”作为基准结构，并在两个维度上超越前作。其一，跨领域、跨平台、跨接口的统一：此前 FEABench、BIM-Edit、CADTestBench 均单一平台单一格式，CADWorld 虽引入 GUI 但步数受限，Text2CAD 以单轮为主；EngiWorld 在六大领域、众多平台与任务类型、GUI/CLI 双接口上统一。其二，评估范式转变：从最终状态比对转向工件中心验证，把单域程序化校验扩展为统一域验证器套件，并叠加“可行性门 + 连续质量分”的定量评分。闭环结构（意图、选型、构造、规格、交付、验证）使诊断能定位到阶段转换处，这是相对明显的增量贡献。不过“第一个完整设计闭环基准”的表述依赖对“完整”的界定，单点机制多为既有思想的组合与扩展，根本性新方法有限。 Soundness：方法学总体扎实：任务由专家校准并经 LLM 辅助标准化，每道题在目标软件环境中执行复核；验证器有参考实现、替代合法解与受控缺陷的接受/拒绝测试；工件而非轨迹评分避免界面状态误导；隔离 VM、容差数值与完整性检查控制泄露与绕过。主要扣分点是评估规模与验证覆盖：主实验只跑全部任务中的分层子集，全量可复现性未证实；验证器审计只覆盖完成组，容差边界测试明确在已完成审计群体之外，且未报告人工标注者间一致性；闭源模型版本与成本数据难以独立复核；消融样本较小，部分结论高度依赖具体模型。整体 soundness 可评为中等偏强，但需要更多全量、可复现与边界验证证据支撑。 Significance：意义较大：专业工业设计软件自动化具有很高经济与社会价值，而此前缺乏可测的闭环基准。EngiWorld 提供了统一、可扩展的工件级验证框架，暴露“能操作工具≠能可靠完成工程”的系统性差距，并把失败定位到跨应用转换、几何/物理约束与验证缺失。这对后续工业智能体研究有明确方向价值：可作为强化学习与工具使用的训练-评估环境（若开放全量），也可推动工件级可验证奖励。局限在于当前仍为静态评测基准，未与真实制造或仿真-实验闭环连接，因此短期更偏向诊断与评测基础设施，而非直接提升模型能力。

1) 主评估只覆盖全部任务的一个分层子集，全量分数、完整领域榜单与更多软件覆盖尚未给出；分层抽样虽控制成本，但每层任务数少，使领域与任务类别结论噪声较大。2) 验证器验证有限：仅完成审计组的参考工件被全部接受，容差边界测试不在完成审计范围内；替代合法解只覆盖 Abaqus/ANSYS 选择与 FreeCAD 轻量化设计；未报告人工标注一致性，可能低估评估噪声。3) 依赖大量闭源商业软件与特定版本模型，环境许可与模型快照难以复现；成本、步数与 token 统计受 API 定价与配额影响。4) 零样本设定只测基础模型，未比较不同智能体框架（规划器、记忆、反思、工具封装），因此“智能体”结论不能完全区分模型能力与脚手架缺失。5) 失败分析以描述性分类为主，缺乏因果干预实验，例如强制“提交前自检”或调整预算分配是否会改善 DONE 零分与轮数耗尽。6) 多软件任务与开放任务数量少，闭环阶段转换的统计力不足。7) EngiScore 等权聚合使二值单软件任务主导总分，连续质量分只出现在少数定量任务，对“部分正确”的工程贡献刻画不足。8) 未报告人类专家基线，难以校准分数的实际含义；也未讨论与公开文档/教程的潜在训练数据污染。

后续工作可沿四条线展开。第一，扩大与开放：跑满全部任务并公开排行榜、验证器与 VM 镜像，增加多软件、开放与软件选择任务以强化阶段转换信号，建立专家工程师基线并做人工-自动评分一致性研究。第二，把工件验证变成训练信号：将求解器残差、仿真收敛、设计规则违例等原生反馈接入奖励或提示，训练/微调智能体在提交前调用验证器做自检，直接针对 DONE 零分与跨阶段不一致两类主导失败。第三，机制性诊断：用因果消融区分模型、脚手架与观察模态的贡献，研究视觉反馈为何对不同模型方向相反，以及无障碍树为何降分却增成本，从而设计自适应的观察策略与预算分配。第四，向真实闭环延伸：把 CAM 的 G-code 与实际加工、CAE 与实验测量关联，加入物理可制造性与成本约束，使基准从“软件操作”走向“可交付工程”。此外，可探索参数化、约束求解与 LLM 的混合架构，以及面向工业软件的长程记忆与跨应用依赖图维护。

Modern LLMs are increasingly capable as autonomous agents, but they follow sequential interaction cycles: read, think, reply or call tools, repeat. Many real-world use cases are not sequential: voice assistants, embodied agents, and monitoring systems receive new inputs while they think or perform another task. Modern LLMs address this with specialized architectures for voice interaction and video streams, VLAs for robot control, asynchronous tool calling for API usage, and others. In this work, we generalize from different asynchronous tasks to general asynchronous agents that can adapt to different types of concurrency. To achieve this, we develop an asynchronous LLM framework that lets users (or the agents themselves) define inference coroutines with overlapping memory states. We showcase that Qwen 3.x models are capable of asynchronous operation for streaming video understanding, videogames, and monitoring, without task-specific training.

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文是美团 LongCat 团队发布的一份系统技术报告，介绍 LongCat-DeepResearch：一个把增强后的 LongCat 模型与多智能体研究流水线相结合的深度研究系统。其定位不是提出新的语言模型训练算法或检索算法，而是解决开放域长篇研究报告生成中的"协调"问题——如何让多个研究智能体共享一份研究议程，同时保留各章节所需的细粒度证据调查。论文的核心主张是：把早期迭代从整篇报告转移到一份紧凑、可执行的 ResearchSpec 上；规划阶段多视角探索并固化章节级职责，研究阶段各 Researcher 在独立上下文中并行取证与撰写，编辑阶段再由 Global Editor 做跨章节裁决、Local Editor 做局部修订。相比反复全文改写或单一不断增长的研究历史，它用"紧凑全局协调 + 局部详细研究"来缓解上下文竞争、叙事锚定与重复生成问题。论文在多项公开基准与一项内部基准上给出系统级对比，并配套研究数据构造管线，属于工程系统、评测与训练数据流程相结合的综合性技术报告。

开放域深度研究要求智能体在问题未被完全指定时就检索外部证据并合成长篇报告。与常规信息检索不同，报告的取证需求无法在调查开始前完整写出：分析推进后会出现缺失证据、未决断言与新问题。因此系统既要有可用的初始议程，又要允许各章节在发展过程中继续取证。已有系统对这一"研究—写作"反馈主要有三种实现：推理、检索与起草交替进行（如 WebThinker）；用不断演化的报告引导后续检索与修订（如 TTD-DR）；先做多视角、证据支撑的大纲再写正文（如 STORM）。当反馈依赖增长中的研究历史或反复全文更新时，会出现三个困难：证据、中间推理与草稿文本争夺有限上下文，压缩可能删掉当时看似无关但后来重要的信息；早期发现会锚定叙事、收窄后续搜索视角；反复全文更新会重写与新增证据无关的段落。 相关工作可沿几条线索理解。一是上下文压缩与外部记忆：MemGPT 分离工作上下文与外部存储，AgentFold 学习细粒度上下文折叠，RE-TRAC 跨尝试携带结构化摘要，FoldAct 研究生成摘要改变未来观测带来的训练不稳定，AdaCoM 显示最优压缩程度随智能体而异。二是深度研究中的结构化状态：SearchSwarm 向编排者返回紧凑的带引文子智能体报告，Argus 从紧凑证据图合成答案，Deep-Reporter 在顺序生成章节时维持循环全局摘要加逐字局部尾部；RhinoInsight 用可核查清单约束研究动作并做证据审计，DualGraph 维持知识与大纲双图共演化。三是可变的、以效用为导向的结构：WebWeaver 边取证据边优化大纲，AgentCPM-Report 起草与深化交替，ScaffoldAgent 用下游效用选择大纲修改，Enterprise Deep Research 引入覆盖目标、依赖引导的信息共享与证据充分性条件，DecomposeR 用结构感知奖励训练可训练的研究 DAG。此外，PaperQA2 与 OpenScholar 把科学综述与引用支撑确立为超越事实检索的目标；NVIDIA AI-Q、LangChain Open Deep Research、GPT Researcher、Hugging Face Open Deep Research 提供开源编排先例；OpenAI Deep Research System Card、DR Tulu、Tongyi、Step-DeepResearch、S1-DeepResearch、Marco DeepResearch 描述面向深度研究的 mid-training/post-training 与轨迹构造；ResearchRubrics、DeepResearchBench II、DeepRubric、Quest 提供专家准则与任务构造原则。 本文的差异点在于：ResearchSpec 是规划后即固定、面向执行的章节级职责接口，而非持续演化的知识图谱或个性化查询的输入规范；完整章节产物被保留到组装与编辑，之后由全局判断决定局部修改，而不是在一次调用中重写全文。

核心抽象是 ResearchSpec：在详细证据积累之前就分配研究职责。它记录每个章节的 scope、research questions、必需的实体/案例与暂定来源线索；这份紧凑表示既是预期报告的需求清单，也是研究工作的分工表。每个可派发子单元有唯一层级 ID（如 S1.2），论文称这些执行单元为 section。规划完成后 ResearchSpec 被固定，不随章节研究重开；后续若需重开议程属于当前流水线之外的扩展。 规划阶段由多个独立 Planning Writer 各自短暂搜索并阅读来源，提出报告结构。其意义在于把研究范围锚定在模型先验之外的可用证据上，且多路探索可暴露互补视角（类似 STORM 的视角引导）。Planning Judge 合并候选规格；Critic 搜索缺失问题与案例；Reviser 吸收反馈。因为章节分配会决定后续研究方向，这一精炼旨在方向被遗漏前发现盲点。额外候选与多轮精炼是分配更多算力给规划的手段，收益并不保证。派发前，validators 检查 ID 唯一性、父子关系、连续编号与必填字段；非法计划被修复或回退到已验证候选，未解决错误则停止派发。 研究阶段，每个 Researcher 只接收原始 query、完整 ResearchSpec 与一个章节任务。全局规格说明其局部工作如何贡献于报告，而独立上下文容纳该分支的详细工具交互。各 Researcher 并发执行，各自写作带引文的章节；同一智能体把本地证据直接带入写作，无需先压缩成摘要交给独立写手。这样完整章节保留了已发展的论证与细节，降低后续合成对反复压缩的共享历史的依赖。 组装阶段按 ResearchSpec 顺序机械拼接章节，即使内容重叠也保留原文与引用。随后 Global Editor 通读整份草稿，判定重复材料的归属、识别冲突并指定修改；Local Editor 以完整草稿与规格为上下文，把这些指令应用到被分配的章节，只使用草稿中已有的事实与引文。输出范围是局部的，因此一次编辑调用无需重写整份文档。这把协调所需的全局判断与修订文本的生成分离，同时保留原始章节与组装草稿以供比较。两类 Editor 都读取全文，仍受输入上下文限制；局部输出减少每次调用重写量，但反复输入全文仍成本可观，且研究与编辑都可能遗漏有用细节。 从函数角度看，三个映射定义了可被单独评估与改进的单元：planning 把 query 与已探索来源映射为 ResearchSpec；research 把章节任务映射为有据可依的章节；editing 把草稿与指令映射为修订章节。于是可以在详细调查前检查 ResearchSpec 的覆盖度，把章节对照其任务要求，把修订对照编辑指令与原文。这一分解也是数据构造与分阶段评估的基础。 研究数据构造沿同一组阶段接口进行：先构造证据可支撑的研究任务，再收集展示这些任务如何被规划、调查与编辑的轨迹。目标画像指定语言、主题、广度与预期报告。文章路线从独立授权的综述文章出发；互补路线使用冻结的多来源简报（事实、摘录、URL 与来源限制）。两条路线都为需要跨来源解释或比较的问题组织证据。每个问题配任务特定 rubric：事实性准则必须有支撑证据，分析性准则须是可辩护的比较或推断；rubric 可含隐式要求与否定条件（沿用 ResearchRubrics 的区分）。构造证据与 rubric 与交给答题智能体的 query 分离。 文章路线附带一个有界的可搜索性检查，针对原子信息回忆类准则：搜索替代来源、去掉来自被排除构造文章的命中、抓取剩余页面并检查完整事实要求的支撑情况；结果映射为 Keep/Revise/Drop，只有当所有保留准则都拿到 Keep 时闸门才通过。确定性检查处理重复 rubric、答案泄漏、排除来源泄漏与时间范围；联合语义审查确认问题、证据与 rubric 构成连贯任务。有界搜索只证明预算内的证据可得性，不证明全网可回答性。 通过的 query 驱动教师执行 harness，记录候选与最终 ResearchSpec、工具请求与观测、带引文章节、组装草稿与编辑决策；并行分支保留真实输入与依赖。过滤检查角色身份、工具调用/响应闭合与中间产物有效性，同时保留完整、部分与失败尝试的区别。数据集层面还做重叠检查、分布感知选择与指定的人工审查。研究数据与其他数据一起用于 LongCat 通用模型的 mid-training 与 post-training；系统级分数不隔离流水线、单一数据源或单一训练阶段的贡献。 评测机制上，DeepResearchBench 的 RACE 协议在四个顶层维度内生成任务特定准则与权重，分别给目标报告与强参考打分，再取相对分 100×S_tgt/(S_tgt+S_ref)，在任务内计算后跨任务宏观平均。DeepResearchBench II 的原子 rubric 覆盖信息回忆、分析与呈现，只有报告包含所需事实或推断才通过，数值要求须显式匹配；若支撑句引用被屏蔽的来源文章，该 rubric 得 −1。ResearchRubrics 用专家准则与带符号权重，分子为分数乘权重之和、分母仅正权重之和，负权重准则在分子中贡献惩罚。三个产品对比系统使用各官方客户端及其原生工具与预算，属于系统级而非模型或 harness 隔离。

评测覆盖多项公开基准与内部基准，并把 LongCat-DeepResearch 与多家商业深度研究产品做系统级对比。在公开基准上，LongCat 在总分与多个维度上领先；内部基准上排名第二，仅小幅落后于表现最好的对照系统。维度层面，其在理解与分析相关维度表现强，而可读性、呈现、指令遵循、引用质量等维度仍有短板。组件消融显示：完整的"多规划者—并行研究者—全局到局部编辑"流水线优于简化规划与单一全篇研究者；规划聚合能提升报告质量，但进一步的批评—修订轮次在类别分数上效果不一致；增强编辑轮次在平均可读性偏好上单调改善，且最终轮相对未编辑草稿保持或提高原生分数，但不同基准趋势不同。模型与流水线的多配置对比表明，流水线换用与模型升级都对分数有正向贡献，二者互补。案例研究展示了 ResearchSpec 修订、章节证据协调与跨章节归属裁决的实际运作，同时也暴露了内部编号错配与覆盖遗漏。

1. 主结果显示 LongCat-DeepResearch 在 DeepResearchBench、DeepResearchBench II 与 ResearchRubrics 上分别取得 55.25、51.35 与 79.83 的总分。

   LongCat-DeepResearch achieves 55.25 on DeepResearchBench, 51.35 on DeepResearchBench II, and 79.83 on ResearchRubrics.

2. 相对三款被比较网络产品中的最强者，三个基准上的分差分别为 +0.30、+3.17 与 +5.62。

   Relative to the strongest of the three listed web products, these are differences of + 0.30 +0.30 , + 3.17 +3.17 , and + 5.62 +5.62 points, respectively.

3. 内部基准上 LongCat 以 76.04 排第二，落后 ChatGPT-DeepResearch 的 76.59 共 0.55 分，高于 Claude-DeepResearch 的 61.42 与 Gemini-DeepResearch 的 42.49。

   On our in-house benchmark, LongCat-DeepResearch ranks second with an overall score of 76.04, exceeding Claude-DeepResearch at 61.42 and Gemini-DeepResearch at 42.49, and trailing ChatGPT-DeepResearch’s 76.59 by 0.55 points.

4. DeepResearchBench 维度中可读性是短板：49.96 低于 ChatGPT-DeepResearch 的 51.51 与 Claude-DeepResearch 的 51.35。

   Readability remains weaker: its 49.96 is below ChatGPT-DeepResearch’s 51.51 and Claude-DeepResearch’s 51.35.

5. DeepResearchBench II 上分析维度优势最大，为 60.69 对次高系统的 52.26。

   The strongest dimension-level advantage is in analysis: 60.69 versus 52.26 for the next-highest system.

6. ResearchRubrics 上 LongCat 在显式要求（86.97）、隐式要求（79.52）与综合（78.92）维度领先。

   It leads in explicit requirements (86.97), implicit requirements (79.52), and synthesis (78.92).

7. 组件消融中完整流水线（Full）在两开发子集上的均值 63.91 最高，高于简化规划的 59.56、单一全篇研究者的 62.07 与无编辑的 63.30。

   Configuration | DRB-II | ResearchRubrics | Avg. Full | 48.68 | 79.14 | 63.91 One Writer → \rightarrow Reviser | 44.65 | 74.46 | 59.56 One whole-report Researcher | 45.64 | 78.49 | 62.07 No Editor | 48.60 | 78.00 | 63.30

8. ResearchSpec 精炼中，从单写手（W0）到三写手经 Judge 聚合（J0）同时提升计划覆盖与总分，随后两轮批评—修订（R1、R2）只提升覆盖、总分波动。

   Stage | ResearchSpec | ResearchRubrics | Coverage (%) | Explicit | Implicit | Total W0 | 53.76 | 84.34 | 82.21 | 81.67 J0 | 60.47 | 89.09 | 87.11 | 85.13 R1 | 63.14 | 91.59 | 82.76 | 84.34 R2 | 62.48 | 90.91 | 87.99 | 84.89

9. 编辑扩展中三轮增强编辑（B3）取得最高平均可读性偏好 53.96，且原生分数均值 72.19 也为五条件最高。

   Configuration | Native report score | Readability | DRB-II | RR | Avg. | Avg. preference A0: No Editor | 55.87 | 85.91 | 70.89 | — A1: Original Editor (1 round) | 56.04 | 85.66 | 70.85 | 50.00 B1: Enhanced (1 round) | 55.15 | 85.18 | 70.17 | 50.42 B2: Enhanced (2 rounds) | 55.68 | 86.87 | 71.28 | 53.33 B3: Enhanced (3 rounds) | 58.38 | 86.00 | 72.19 | 53.96

10. 模型-流水线三配置中，旧模型加 ReAct/直接报告的均值为 47.04，旧模型加当前流水线为 58.05，当前模型加当前流水线为 62.14，说明流水线与模型各自贡献增益。

    Model | Harness | DRB-I | DRB-II | RR | Avg. LongCat (previous release) | ReAct / direct report | 47.65 | 33.13 | 60.33 | 47.04 LongCat (previous release) | Current harness | 53.58 | 48.68 | 71.90 | 58.05 LongCat (current) | Current harness | 55.25 | 51.35 | 79.83 | 62.14

11. 配对结果中，三轮增强编辑相对未编辑草稿在 DeepResearchBench II 上变化 +2.51、在 ResearchRubrics 上变化 +0.09。

    LongCat B3–A0 changes DRB-II by + 2.51 +2.51 and ResearchRubrics by + 0.09 +0.09 .

Novelty：新颖性主要体现在系统组织层面，而非新的学习算法或模型架构。其最明确的增量是把规划阶段的迭代对象从整篇报告替换为紧凑可执行的 ResearchSpec，并在规划后固化章节级职责；与之配合的是并行 Researcher 在独立上下文中取证写作、以及 Global/Local Editor 把全局裁决与局部文本生成分开。这三段式接口同时被复用为训练数据的构造单元。单独看，多视角规划（STORM）、结构化大纲、章节级并行写作（NVIDIA AI-Q 等）、证据绑定与核查清单（RhinoInsight）、双图共演化（DualGraph）、全局-局部编辑（CogGen）都已有先例；本工作的新意在于把这些组件整合成一个强调"共享议程 + 独立上下文 + 局部修订"的流水线，并明确 ResearchSpec 是执行接口而非持续知识图谱。数据构造中的 Keep/Revise/Drop 有界可搜索性闸门与确定性泄漏检查有工程价值，但同样属于增量设计。总体判断：系统级新颖性中等，对深度研究编排有清晰的工程贡献，但缺少可迁移的理论洞见。 Soundness：在证据强度上，报告做了多基准、多系统、多消融的评测，使用官方评估器与官方协议，并报告维度分数和配对 bootstrap 区间，这比单一榜单分数更可信。但若干设计削弱了因果与统计结论：主对比是单次运行的点估计，作者明确不建立统计显著性；组件研究每份报告只有一个完成分数，且开发子集"先前已被检查，部分基于先前模型分数选择"，存在选择偏差与过拟合风险；编辑增强把来源访问、指令与迭代次数混在一起，无法分离各自贡献；模型与 harness 的三配置没有匹配训练消融；各系统 scored coverage 不同，Claude 的 ResearchRubrics 总分是外部汇总、不可逐题核实；未报告 FACT 引用支持；可读性是自动相对偏好而非人类评分；案例研究也自曝最终报告仍漏掉若干基准要求。因此，论文对其系统在公开基准上领先的结论应视为工程快照而非严格可复现的因果证据。其内部一致性较好：局限部分主动披露了单次评分、开发子集检查、训练阶段不隔离等问题。 Significance：实践意义较为明确：它提供了一个可复制的深度研究编排蓝图——用紧凑规格协调全局、用独立上下文保全章节证据、用局部编辑降低重写成本——并配套了从任务到轨迹的数据生产流程，对想训练通用模型深研能力的团队有参考价值；基准结果也显示该系统处于有竞争力的水平。学术影响则相对有限：核心机制是已有思想的组合，没有提出新的优化目标或可泛化算法。对深度研究智能体研究，它主要贡献了关于"何时以及在哪一层协调"的经验证据（规划聚合有益、进一步精炼混合、编辑对可读性有利但基准相关），以及对分数不稳定与维度弱点的提醒。作为技术报告而非经同行评审的方法论文，其定位恰当，但对领域的推动更多是工程与评估层面，而非范式层面。

论文自身的局限声明与审稿视角可归纳如下。第一，评测统计强度有限：主对比只有点估计，未建立统计显著性；bootstrap 区间只刻画题目变异，不涵盖重复生成或重复判分的方差；组件研究每份报告只有一个完成分数。第二，开发子集与方法选择存在偏差：组件、精炼与编辑研究使用"先前已被检查"的开发子集，部分子集基于先前模型分数选择，后续又扩充，属于探索性而非独立验证；编辑增强联合改变来源访问、指令与轮数，无法归因。第三，复现与隔离不足：三配置对比没有匹配训练消融，无法识别单一数据源或训练阶段贡献；各系统的 scored coverage、检索窗口、已实现计算与恢复历史不同，产品快照会随时间漂移，精确重放困难。第四，框架固有限制：ResearchSpec 规划后即固定，草稿后重开全局议程不在核心流水线内；研究、组装与编辑都可能丢失有用细节；Global/Local Editor 都读全文，受输入上下文限制，反复全文输入成本高；输出可能冗长、密集或重复，可读性仍是弱项。第五，证据与分数的解释边界：ResearchSpec 覆盖度、原生分数与引用支持测量不同属性，覆盖诊断不等于事实核查；FACT 未报告，引用质量维度仍有短板；自动可读性偏好不是人类评分。第六，任务/轨迹数据构造的验证：有界搜索只证明预算内证据可得，不证明全网可回答；系统级分数不隔离训练数据流水线的贡献。

跟进方向可按机制、训练与评测三条线展开。机制上，最自然的是让 ResearchSpec 在草稿产生后具备受控重开能力：允许 Global Editor 在发现跨章节证据缺口时追加规划修订，而不是把议程固定到写作前；可以把重开决策做成有结构感知奖励的可学习 DAG（借鉴 DecomposeR），或引入 RhinoInsight 式的可核查清单与证据审计，使修订在覆盖与引用质量上可验证。为了缓解全文输入的上下文压力，可研究分层摘要或证据图与逐字尾部的混合表示，使 Global Editor 不必反复读取完整草稿，同时保留局部细节。编辑方面应拆解增强 Editor 的来源摘录、事实核查指令与迭代次数，做单变量消融，并用 DeepTRACE/Mr. Dre 式度量追踪修订是否在改进某维度时损害既有覆盖与归因。训练上，需要匹配的训练消融来分离 mid-training 与 post-training、文章路线与多来源简报路线、不同数据比例的作用；也可把 Keep/Revise/Drop 搜索闸门扩展为可学习的证据充分性模型。评测上，应补充重复生成与重复判分的方差估计、人类可读性与事实核查，报告 FACT 及长度归一化的引用指标，统一各系统的 scored coverage 并在官方榜单快照上做严格重放。最后，针对内部基准上呈现与分析维度的短板、ResearchRubrics 上指令遵循与引用质量的落后，可在 rubrics 中显式加入对应训练信号，或增加面向归因与呈现的后训练阶段。

这是一篇实证的尺度律（scaling-law）测量与表征论文，而不是新训练算法。它把 Gao et al. (2023) 针对奖励模型过优化提出的“金标准–代理指标随 KL 变化”的方法学，迁移到同家族 on-policy distillation（OPD）上：以学生相对其 SFT 参考模型的 token 级逆向 KL 的平方根 d 作为训练进度坐标，刻画金标准分数 G（held-out 准确率）的轨迹，并跨 teacher–student 尺度拟合峰值与转移速率的联合幂律。其核心概念性主张是：OPD 有一个规律的初始“有用转移”线性区间，随后是异质尾部；峰值学生误差近似正比于教师的剩余误差，且在分数匹配时更小的教师迁移更好；bootstrapping 和 off-policy cold start 不能改善弱到强迁移。目标读者是后训练实践者与 LLM 尺度律研究者。

现代推理模型的能力多由 RL（如 GRPO）获得，专家模型随后需要把任务专长传递给更大的模型。On-policy distillation（OPD）应运而生：教师在学生自己采样出的 rollout 上提供 token 级监督，而不是强迫学生模仿教师自己的轨迹。近期出现了大量 OPD 变体（ExOPD、relaxed OPD、基于对比的 W2S-OPD/Direct-OPD/OPD²、OPRD 等），也有经验分析考察 rollout 长度、token 重叠率、稳定性等，但 OPD 的尺度性质——结果如何依赖教师与学生规模——此前未被系统刻画。方法学模板来自奖励模型过优化研究：Gao et al. (2023) 把金标准奖励描述为相对初始策略 KL 的函数，且系数可由奖励模型规模预测；DPO 等直接对齐方法也呈现类似的 KL 索引退化。OPD 同样是对代理指标（教师诱导的 token 奖励）做优化，因此适合沿用“金标准 vs KL”的处理。弱到强监督（Burns et al. 2024）表明强学生可以超过弱监督者；OPD 通过在不断演化的学生 rollout 上查询教师，扩展了这一思路。相关理论（Awano & Suzuki 的特征学习激发、Ildiz et al. 的风险渐近）支持弱到强迁移的可行性。同时，预训练/后训练尺度律（Kaplan、Hoffmann、Zhang et al. 的微调幂律、Busbridge 的蒸馏计算律、Lu & Liu 的离线教师上限）提供了跨资源配置外推的背景。本文把这些线索汇合，对同家族 OPD 做跨尺度联合幂律拟合。

【目标与奖励】学生策略 πθ 是经过共享 SFT 阶段的 Qwen2.5 base 模型，πref 即该 SFT 检查点；教师 πT 是经过 GRPO RL 的数学专家，πT_base 是其 RL 前参考检查点。Vanilla-OPD 的逐 token 奖励为 r_V = log πT(y_t|…) − log πref(y_t|…)，即教师相对学生自身参考模型更偏好该 token 的对数比；学生在其自己采样的 rollout 上以该隐式 token 奖励做策略优化，不使用教师轨迹。Delta-OPD 用 r_Δ = log πT − log πT_base，即教师由 RL 诱导的策略偏移，去掉了教师 base 先验。纯 OffPD 则是直接在教师 rollout 上做 SFT，没有 on-policy 打分。 【坐标与指标】金标准分数 G 是 held-out 测试集准确率，对应 Gao et al. 的“gold reward”；代理 P 是训练 rollout 上的 token 均值教师奖励。进度坐标 d = √k3，其中 k3 = E[(1/|y|) Σ (exp(δ_t) − δ_t − 1)]，δ_t = log πref(y_t|…) − log πθ(y_t|…)，是 token 均值逆向 KL 的非负、无偏 k3 估计量。作者特意用 token 均值而非序列级 KL，以匹配即时 token 目标；又因 KL 对参数扰动是二阶量，取其平方根作为一阶进度坐标。 【两阶段动力学】把每次运行读作 G 对 d 的曲线。对前 30（Vanilla）或 40（Delta）个检查点拟合 G(d)=c+md；d_transfer 定义为轨迹连续三个检查点低于该线性拟合 95% 预测带之前的最后一个 d。d_transfer 之后是异质尾部：改善衰减、饱和或回归。回归带有过优化签名：G 下降时代理 P 仍持续上升。 【局部几何解释】附录 D 证明为何 G 在 d 中到一阶是线性的。沿 θ(τ)=θ0+τh+O(τ²)，条件 KL 在 θ0 处为 0、一阶导为 0、Hessian 为条件 Fisher，故 token 均值散度 D_tok = (τ²/2) h^T F_tok h + O(τ³)；on-policy 前缀分布的漂移只贡献 O(τ³)。金标准分数 G = G0 + τ g0^T h + O(τ²)。反解 d = τ√(h^T F_tok h/2) 得 G(d)=G0+md+O(d²)，斜率 m = √2·g0^T h/√(h^T F_tok h)。两种目标共享同一个前导指数，只通过更新方向与金标准梯度在 Fisher 归一化下的对齐程度来区分斜率；若 g0^T h=0，前导变化会变成 d 的二次项。 【尺度律机制】参数数按 10 亿归一化，并把教师规模封顶在学生规模上：Ñ_T^eff = min(N_T, N_S)/1B，以编码“教师超过学生自身规模后饱和甚至反转”的观测。联合幂律为 1−G_peak = A·Ñ_S^{−α}·(Ñ_T^eff)^{−β}·(1−G_T^eff)^ζ，m = B·Ñ_S^{−γ}·(Ñ_T^eff)^δ·(1−G_T^eff)^{−ξ}；仅尺度的基线去掉教师分数因子。乘法形式编码“学生规模扩大移除教师诱导剩余误差的固定比例”的交互。在教师全为 RL 端点的网格上，教师规模与教师分数几乎共线（r≈−0.9999），指数无法分离；bootstrapped 链中作为前序 OPD 产物的教师打破了共线性，从而识别所有指数。转移范围 d_transfer 不按幂律建模，而是用删失加速失效时间拟合，当作近似尺度无关的 KL 预算。 【消融设计】Delta-OPD 与 Vanilla-OPD 在匹配 KL 下比较，用各自初始化上的增益 ΔG 来消除 step-zero 精度差异。监督的 on-policy 程度分三档：纯 OPD、off-policy cold start（先对教师 rollout 做一 epoch SFT，再跑完整 OPD）、纯 OffPD。Bootstrapping 只在最小模型上做 RL，链上每个更大模型都是上一阶段的最佳 OPD 检查点（M1 →RL→ M1 →OPD→ M2 →OPD→ …），再与最小专家的直接 OPD 比较。 【训练与数据细节】五个 Qwen2.5 base 规模（0.5B/1.5B/3B/7B/14B）。共享 SFT 在 Dolci-SFT 子集上进行（2 epochs、每 epoch 300K 样本、学习率按 N^{−1/4} 缩放、最大响应 2048）。教师由 GRPO RL 在 GSM8K+MATH 混合训练集（14.8K）上训练、在混合测试集（6.3K）上评估，10 epochs、组大小 8、学习率 1e-6、batch 256、温度 1.0、KL 惩罚 0.0。OPD 学习率 1e-6、batch 256、≤10 epochs（580 updates）、最大 rollout 2048。评估采样温度 1.0、top-p 1.0。全程单一种子，框架为 verl v0.8.0。

作者在五个 Qwen2.5 base 规模上构建了 GRPO 教师与 OPD 学生的受控网格，覆盖弱到强、同基座、强到弱三种配置，并在 GSM8K+MATH 混合任务上以 held-out 准确率为金标准、以教师诱导 token 奖励为代理做评估。总体发现：OPD 轨迹先经历金标准分数随 KL 平方根近似线性上升的规律“有用转移”区间，随后进入衰减改善、饱和与回归混合的异质尾部；峰值与转移速率可用学生规模、封顶教师规模、教师金标准分数拟合的联合幂律描述，且在分数匹配时更小的教师迁移更好；Delta-OPD 在多数共享单元中优于 Vanilla-OPD；off-policy cold start 随弱到强能力差距增大而愈发有害；bootstrapping 不能超过最小专家的直接 OPD。

1. 教师由 GRPO RL 在 14.8K 的 GSM8K+MATH 混合训练集上训练，并在 6.3K 的混合测试集上评估；每次 OPD 运行至多 10 个 epoch（580 updates）。

   Teacher models are obtained by GRPO RL on the mixed GSM8K ( Cobbe et al., 2021 ) and MATH ( Hendrycks et al., 2021 ) training split of 14.8K examples and evaluated on the corresponding mixed test split of 6.3K examples (results in Figure 14 ). OPD and RL use the same training prompts, and each OPD run lasts at most ten epochs (580 updates) with periodic held-out evaluation.

2. 在 25 条 Vanilla-OPD 运行中，前 30 个检查点上金标准分数近似线性于 d，R² 介于 0.932 与 0.988，斜率介于 0.175 与 0.721。

   Across the 25 runs, linear fits G ⁡ ( d ) = c + m ​ d G(d)=c+md to the first 30 checkpoints obtain R 2 ∈ [ 0.932 , 0.988 ] R^{2}\in[0.932,0.988] and RMSE in [ 0.0026 , 0.0129 ] [0.0026,0.0129] accuracy units. The fitted slopes span [ 0.175 , 0.721 ] [0.175,0.721] : weak teachers generally induce smaller initial gains for larger students, while teachers closer to the student’s scale tend to raise gold score faster per unit d d ( Figure 3 ).

3. 7B 与 14B 学生的峰值金标准分数随教师规模上升（72.7→81.9%、77.7→87.3%），但 0.5B 学生在最大教师下反而更低（3B 教师为 40.8%，7B 为 39.0%，14B 为 37.7%）。

   Every trajectory improves initially, and peak gold score increases with teacher scale for the larger students, from 72.7% to 81.9% for the 7B student and from 77.7% to 87.3% for the 14B student. In every panel the smallest teacher shows the clearest post-peak regression, while other tails attenuate or saturate. For smaller students, larger teachers do not always improve the peak: the 0.5B student peaks at 40.8% with the 3B teacher but reaches only 39.0% under the 7B teacher and 37.7% under the 14B teacher.

4. 金标准最大值所处的 KL 位置对教师规模不单调；7B 学生在教师规模增大时依次为 0.274、0.282、0.308、0.323、0.323。

   The locations d peak d_{\mathrm{peak}} of the gold-score maximum are less monotone: for the 7B student they are 0.274, 0.282, 0.308, 0.323, and 0.323 as teacher size increases, and other student series likewise contain reversals.

5. Vanilla-OPD 同基座峰值在全部五个规模上与直接 RL 参考相差在 0.5 个百分点以内，其中三个规模超过直接 RL。

   Vanilla-OPD same-base peaks lie within 0.5 percentage points of the final direct-RL reference at all five scales, exceeding it at three of them.

6. 峰值学生误差近乎正比于封顶教师的剩余误差（ζ≈1），教师规模指数 β 为负，因此分数匹配时更小的教师迁移更好；加入教师分数使留一规模交叉验证 RMSE 减半，联合律对最大 withheld 规模的外推误差为 Vanilla 0.7 点、Delta 0.4 点。

   With ζ ≈ 1 \zeta\approx 1 for both methods, peak student error is nearly proportional to the capped teacher’s remaining error, scaled down by a power of student size; the negative β \beta means that at matched score the smaller teacher transfers better. Table 4 validates these laws: conditioning on teacher score halves the leave-one-scale-out RMSE of the scale-only baseline of Equation 7 , and the joint law extrapolates to the held-out largest student and teacher within 0.7 (Vanilla-OPD) and 0.4 (Delta-OPD) accuracy points.

7. 样本外受控比较中，得 66.0 分的 3B 中间教师教 7B 学生到峰值 73.8；联合律预测 74.1（误差 0.3 点）并正确给出低于 1.5B 端点教师（77.5）的排序，而仅尺度律与仅分数律都错误地偏好更大且分数更高的教师。

   we distill the 7B student from an intermediate 3B teacher checkpoint scoring 66.0, slightly above the 1.5B RL endpoint’s 63.6 ( Tables 5 and 5 ). The joint law predicts its peak within 0.3 points (74.1 against the observed 73.8) and the correct ordering below the 1.5B teacher’s 77.5. The scale-only and score-only laws instead both favor the larger, higher-scoring teacher; protocol details are in appendix H .

8. 转移速率律对教师分数依赖更强（Vanilla ξ=1.9、Delta ξ=2.0），教师剩余误差越大转移越慢；速率拟合比峰值拟合更嘈杂（对数空间 R² 为 0.59 与 0.76）。

   The rate law mirrors the peak law with stronger score dependence: ξ = 1.9 \xi=1.9 for Vanilla-OPD and 2.0 2.0 for Delta-OPD, so transfer slows sharply as the teacher’s remaining error grows, and at matched score the larger teacher transfers more slowly. Rate fits are noisier than peak fits (log-space R 2 R^{2} of 0.59 and 0.76); the rate law is better read as an interpretable scale summary than a precise predictor ( appendix H ).

9. 有用转移范围近似尺度无关：观测到的偏离与删失下界合计跨 d=0.20–0.36（Vanilla）与 0.27–0.34（Delta），中位数分别为 0.30 与 0.29。

   Observed departures and censored lower bounds together span d d of 0.20–0.36 for Vanilla-OPD and 0.27–0.34 for Delta-OPD, within a factor of two across the grid, with medians of 0.30 and 0.29.

10. Delta-OPD 的斜率在 17 个共享单元中有 15 个超过 Vanilla-OPD，在 12 个单元取得更大的归一化峰值增益与绝对峰值（多为弱到强对）；0.5B 教师多出 2–4 个绝对峰值点，更大教师则只差约 1 点。

    Their slopes exceed Vanilla-OPD in 15 of the 17 shared cells; the exceptions are the two smallest students under the 0.5B teacher ( Table 11 ). Delta-OPD attains the larger baseline-normalized peak gain and the larger absolute peak in 12 cells each, mostly in weak-to-strong pairs (nine of ten; Figure 9 ). The benefit shrinks with teacher scale: the 0.5B teacher yields two to four extra points of absolute peak, whereas larger teachers stay within about one point.

11. off-policy cold start 对 0.5B 专家所教的 3B、7B、14B 学生分别造成 6.6、15.7、19.4 点损失，其中一 epoch SFT 直接抹掉了 14B 学生 32 点的初始化优势。

    The off-policy cold start grows increasingly harmful with the weak-to-strong capability gap, costing 6.6, 15.7, and 19.4 points for the 3B, 7B, and 14B students taught by the 0.5B expert. The damage is done by the cold start itself: one epoch of SFT on the 0.5B expert’s rollouts pins every student near the teacher’s own score, erasing 32 points of the 14B student’s initialization.

12. Bootstrapping 未能改善直接迁移：每条链在各规模上都低于 0.5B 专家的直接 OPD（3B 为 60.4 vs 61.4，7B 为 70.0–71.3 vs 72.7，14B 为 76.8 vs 77.7）；同时 1.5B OPD 产物虽得 53.0%（高于 0.5B RL 专家的 39.8%），其 3B 学生峰值仍低于 0.5B 专家的直接学生。

    Bootstrapping does not improve on direct transfer: every chain peaks below direct OPD from the 0.5B expert (60.4 versus 61.4 at 3B, 70.0–71.3 versus 72.7 at 7B, and 76.8 versus 77.7 at 14B, in %), and longer chains end slightly lower than shorter ones. The comparison also dissociates a teacher’s score from its teaching value: the 1.5B OPD product scores 53.0% against the 0.5B RL expert’s 39.8%, yet its 3B student peaks below the 0.5B expert’s direct student.

Novelty：中等。核心机器（金标准-代理随 KL 的刻画、系数可预测的幂律）直接借鉴 Gao et al. 2023 与 Rafailov et al. 2024；Vanilla/Delta-OPD 目标本身也是既有方法，局部一阶展开（附录 D）只是标准 Fisher/KL 几何，非新理论。真正的新意在于：（1）对 OPD 做系统化的 25 单元跨尺度网格与两阶段动力学刻画；（2）以“封顶教师规模 + 测量教师分数”为条件的联合峰值/速率幂律，以及负 β 结论“分数匹配时更小教师迁移更好”；（3）cold start 与 bootstrapping 在弱到强 OPD 上的负面结果。作为一项测量/表征性贡献，它相对既有尺度律模板是增量式但有针对性的。 Soundness：在声明范围内大体可靠。优点：同家族受控比较、匹配 KL 的方法对比、把最大规模 withheld 的留一规模外推、能区分联合律与基线的样本外匹配分数教师检验，以及平方根 KL 线性的干净推导。不足：单一种子、每对仅一次规范运行、无 prompt 级 bootstrap 或优化种子区间；主网格上教师规模与分数几乎共线（r≈−0.9999），仅靠 5+3 个 bootstrapped 单元部分解共线；速率律对数空间 R² 低，且留一规模 RMSE 未超过原始仿射基线；转移范围对 Delta-OPD 不可识别；30/40 检查点窗口是探索性选择；提前终止会删失 d_transfer 并把 d_peak 放在观测边界。因此这些“定律”更适合读作单一模型家族、单一任务上的描述性规律，而非稳健的普适尺度律。 Significance：对摊销式 RL 后训练有实际意义：它提示可以只训练一个小型 RL 专家一次，并用其分数与规模预测向更大学生的迁移；收益在接近学生自身规模时趋于饱和，分数匹配时更小教师更优，bootstrapping 与 cold start 的负面结论给出可操作的工程指引。科学意义受范围限制：仅 Qwen2.5（≤14B）、单一数学混合任务、单一种子，系数能否迁移到前沿规模、其他模型家族、任务或配方未被检验。但在 OPD 后训练实践中，两阶段图景与分数条件幂律构成一个有价值的基准与诊断模板。

范围局限：证据仅来自一个预训练家族（Qwen2.5，0.5B–14B）、一个数学推理混合任务、每对 teacher–student 一次规范运行、响应至多 2K token、轨迹被有意截断。评估记录是聚合的而非逐 prompt，因此没有 prompt bootstrap 或优化种子区间；cell-bootstrap 区间只反映跨尺度对的变异，不反映跨训练种子的变异。系数是否迁移到其他家族、任务或后训练配方未检验。若干配方常量被固定且可能重要：rollout 长度（已有工作显示其影响稳定性）、共享 SFT 配方、教师 RL 检查点、KL 估计量、验证频率、同一步日志约定；token 均值坐标加权 token 而非响应，且没有全序列 k3 的对照，估计量稳健性未测。RL 端点网格内教师规模与能力共同变化，bootstrapped 链虽打破共线，但只有五个 Vanilla 与三个 Delta 辅助单元，且其斜率来自更稀疏的日志。机制与理论仅解释前导指数；线性窗口长度、异质尾部、幂律形式仍是无机制的规律。Delta-OPD 端点律只有五个观测偏离，速率律在留一规模 RMSE 下未超过原始仿射基线，固定 30/40 观测窗口是探索性的。单一种子、有限评估频率与提前终止会删失 d_transfer 并可能把 d_peak 置于观测边界。

后续工作可在以下方向展开：（1）多种子重复、prompt 级 bootstrap 与更密集评估，以量化删失与不确定性；（2）在更多模型家族（Llama、Mistral 等）、任务（代码、多轮代理、工具调用）与更长 rollout 上复现，检验系数迁移性；（3）系统做分数匹配的样本外教师比较，验证负 β 结论的普适性；（4）为阶段边界与异质尾部建立机制理论，解释 d_transfer 为何近似尺度无关、峰值为何出现反转；（5）向更大规模外推，检验弱到强 OPD 能否在更困难领域持续超过监督者；（6）与可验证奖励的 RL/OPRD 式方法结合，研究代理质量与金标准-代理分离；（7）评估蒸馏学生的安全、鲁棒性与分布偏移，尤其弱教师缺陷是否被放大；（8）把 KL 坐标与计算/步数坐标统一，建立成本感知的迁移定律，指导“何时停止 OPD、何时切换教师”。

本文是一篇评测基准（benchmark）论文，定位在大型音频语言模型（LALM）的“口语对话记忆”评估。作者认为现有评测在三方面不足：证据上偏重词法内容，忽视“谁在说、怎么说、环境中有什么可听信息”；记忆操作上零散、事后拼凑，缺乏统一的操作分类；历史上以单会话/单录音为主，未系统覆盖跨会话累积。VoxMem 的核心主张是把口语记忆拆成两条正交轴——要记住的“声学证据”与施加其上的“记忆操作”——并在多会话历史与受控上下文长度（8K–64K）下联合刻画。相比表1的既有基准（AudioMarathon、LongSpeech、VoiceGiraffe、SpokenWOZ、ContextDialog、MTalk-Bench、Audio MultiChallenge、Vox-Infinity），VoxMem 是唯一同时提供证据接地、IE/MSR/TET/AR 四类操作、受控长度缩放与多会话结构的基准。其贡献形式为“分类法 + 数据集 + 15模型系统评测 + 细粒度错误分析”，而非提出新模型或训练方法。

大音频语言模型使跨多次会话的自然语音交互成为可能，长期记忆是基本需求：系统需要累积过去交互的信息，并用其约束当前回答。一条直接路线是长上下文扩展，把更长对话历史直接放进上下文窗口；但“提供更长历史”并不保证“模型能可靠检索并利用其中的信息”。因此评测要回答的关键问题是：随着历史增长，信息能否被准确检索、跨会话使用。 作者指出现有基准缺三样东西。第一，缺原则性分类法：先前工作主要测语言内容与少量声学线索，很少测“谁说的、怎么说、环境可听内容”；证据与操作的选择是 ad hoc 的。第二，记忆操作覆盖有限且碎片化，检索、证据整合、时序跟踪、识别证据不足（拒绝回答）分别散落在不同基准里，未被统一地组织。第三，跨会话记忆刻画不足：多数评测针对孤立录音，近期开始考虑连续对话；而真实人机口语交互是分散会话，话题、情境、时间间隔都在变化，要求模型检索并关联散布在长而异构历史中的证据。此外，已有分析历史长度的工作往往在不同长度问不同问题，把“历史长度”与“问题难度、证据类型”混淆，无法干净地归因于上下文长度。 VoxMem 据此提出“声学证据 × 记忆操作”两轴分类法，构建多会话、受控缩放的基准，以隔离上下文长度效应；其目标是测量并推动“完整口语会话记忆”这一能力的进展。

核心机制是“证据 × 操作”的二维框架，并围绕它设计一套保证每道题确实测到目标单元的构建与质控流水线。 【两轴分类法】 声学证据轴定义“要记住什么”，共四类：Speech Semantics（语义：事实、数量、计划、偏好、决定、显式更新，词面即可恢复，作为 transcript-sufficient 基线）；Speaker Identity（谁说的：一个助手服务多个同权用户，需把已述信息与发声者声音绑定，此链接不在转录中）；Paralinguistic Cues（怎么说：犹豫、惊讶、强调、语速、笑等非词法发声线索）；Environmental Sound（周围可听什么：交通、警报、机器、家务、天气等非语音声事件）。后三类是 audio-native：答案必要信息在转录中不存在，直接探测声学记忆。 记忆操作轴定义“如何用这些证据”，共四类：Information Extraction（IE，从单一历史会话提取信息，分 context-to-cue 检索与 cue-to-fact 关联两个方向，保证声学证据参与检索）；Multi-Session Reasoning（MSR，跨多个会话合并证据，子类型为计数、匹配/消解、聚合/比较，答案与证据顺序无关）；Temporal Evolution Tracking（TET，跟踪“状态”随会话演化，子类型为最新状态、指定历史状态、演化/迁移，答案依赖证据顺序）；Answer Refusal（AR，当历史不足以唯一回答时应拒绝作答，由 IE/MSR/TET 题删除或中和证据派生而来）。 有效场景共 15 个（刻意排除语义 IE，因为锚与答案都词法化时任务会退化为局部转写/事实检索）；三可答操作下共 30 条证据型–子类型路线（IE 6、MSR 12、TET 12）。 【构建流水线与数据细节】 历史由三种角色会话组成：evidence（含答案所需信息）、haystack（同话题可信但不给答案，防止主题匹配短路）、filler（无关普通对话，拉长历史）。 构建按三阶段进行： 1) 规划：先定问题、金答案与所需证据，再写任何对话/音频；证据按操作分布（IE 单会话、MSR 多会话、TET 有序序列），并强制答案唯一、audio-native 题不可由转录恢复。生成 30,000+ 计划，问题用 Gemini-3.7-Flash 与 GPT-5.6-Luna 转成自然语言。 2) 对话写作：user 与 assistant 两遍独立生成，assistant 是 evidence-blind（拿不到证据规格、金答案、声学标签、最终问句与其他会话），且不得复述/确认答案细节、不得描述说话人/语气/背景声，防止答案从文本泄漏。 3) 语音合成：用户转写用 Higgs-TTS-3（4B）固定版本合成；每个用户固定一个 VCTK 参考声音、跨会话保持一致；副语言线索通过风格控制引入，并保留同词同声但去掉线索的 paired rendition；环境声取自 ESC-50（45类）以 10dB SNR 加性混入干净语音 stem，保留环境移除消融版。最终输入中用户转写为音频、助手转写为文本（助手固定回复不承载答案关键声学证据），带会话边界与时间戳——这样所有模型拿到同一历史，也兼容只接受音频输入但不生成语音的模型。 Haystack 有两类：复用其他问题的证据会话（跨问题、同证据型/声音组织、主题兼容、不含目标答案），以及 question-specific 的 same-key distractors（共享检索键但值不同或缺失）。验证方式：一个仅文本的分类器区分证据/干扰会话准确率只有 51–56%，接近乱序基线 47–49%，说明不能靠表面模式定位证据。Filler 取自 InstructS2S，修剪至与会话等长，并筛除会泄露答案的内容，复用次数受限。 组装四长度：8K/16K/32K/64K，用 Whisper 编码器统一长度尺度（约 2.5–20 分钟音频）；长历史严格扩展短历史（同一问题、答案、证据不变），证据与干扰会话均匀分布以防位置/时间戳泄漏，TET 保留证据相对顺序；AR 复用源题历史、只改证据。规模上每个实例从 9→66 个会话、40→288 段音频。 【质量控制】 分两层。QC-1 会话级：音频语言模型验证转录保真、说话人一致性、目标声学线索可感知；确定性检查保证副语言/环境成对版本同文本同声音。QC-2 问题族级：对每个可答题在四个长度及其 AR 变体做三类检查——答案与操作有效性（删/重排证据会话，确认答案只按预期变化；拒绝可凭词面或世界知识作答的题）、声学必要性（拒绝可从转录或配对消融版答出的 audio-native 题）、全历史有效性（泄漏答案、替代答案、AR 残余可答性）。所用检查模型 Gemini-3.7-Flash 不在被评估模型之列。转录必要性结果：全音频与仅转录对比下，audio-native 题从 46.2% 降到 4.4%，语义题仅从 75.9% 降到 71.0%，证明保留的 audio-native 题无法从“神谕转录”回答。最终规模：799 题、3196 实例、34,743 会话（177 小时）、1,326 个证据会话，平均每会话约 9 轮/4.4 段、每段约 190 token。

实验系统评估了 15 个 LALM（10 开源、5 闭源），全部经原生音频接口，在 8K/16K/32K/64K 四档受控历史长度下回答开放式短答案，AR 项要求声明“历史不足以回答”。评分用 LLM 裁判逐题判对错，并用第二裁判交叉验证（一致率很高）；报告按证据型、操作与长度聚合准确率，总体准确率汇总可答题与 AR。结果呈五条主线：当前模型距可靠口语记忆很远；非词法声学信息远不如语义可及；操作难度与证据型交互而非统一排序；拒绝回答与正常回答呈相反剖面，声学题拒绝“正确”更多反映处理不了声学证据而非真正意识到证据缺失；同一证据随历史增长而可及性下降、且下降速率因证据型而异。错误归因进一步显示不同证据型/操作有质上不同的失效模式。具体数字见下方 claim+quote 对。

1. VoxMem 数据规模为 3,196 个评测实例、34,743 个口语会话、177 小时音频。

   3,196 evaluation instances over 34,743 spoken sessions (177 hours)

2. 在 32K 参考预算下，15 个 LALM 无一超过 40% 总体准确率，最强模型仅 38.5%。

   no evaluated model exceeds 40% overall accuracy, with the strongest model reaching 38.5%

3. 同一预算下，5 个闭源模型平均 33.0%，10 个开源模型平均 21.9%。

   At this budget, the five proprietary models average 33.0% and the ten open-weight models 21.9%

4. 证据型之间差距显著：32K 下闭源模型在语义/说话人/副语言/环境上分别为 55.6%/32.7%/20.0%/21.9%。

   At 32K, proprietary models average 55.6% on Speech Semantics, compared with 32.7% on Speaker Identity, 20.0% on Paralinguistic Cues, and 21.9% on Environmental Sound.

5. 转录必要性检验：仅转录输入使 audio-native 题从 46.2% 跌至 4.4%，而语义题只从 75.9% 微降到 71.0%。

   transcript-only input reduces accuracy on audio-native questions from 46.2% to 4.4%, but on speech semantics only from 75.9% to 71.0%

6. MSR 在语义与说话人上分别 41.8%/43.1%，副语言与环境 26.7%/25.2%，明显高于对应 IE 的 8.8%/13.5%，说明跨会话合并证据未必比单会话检索更难。

   models achieve 41.8% on Speech Semantics and 43.1% on Speaker Identity, while still reaching 26.7% and 25.2% on Paralinguistic and Environmental evidence—well above the corresponding Information Extraction scores (8.8% and 13.5%)

7. TET 在语义 44.5%、说话人 20.0%，副语言 3.4% 与环境 1.2% 近乎崩溃。

   Models track speech semantics well (44.5%), but performance falls to 20.0% for Speaker Identity and nearly collapses for Paralinguistic (3.4%) and Environmental (1.2%) evidence.

8. 拒绝回答呈反向剖面：副语言与环境拒绝正确率 34.3%/34.2%，高于语义与说话人的 19.9%/16.2%。

   Models abstain more successfully for Paralinguistic and Environmental questions (34.3% and 34.2%) than for Speech Semantics and Speaker Identity (19.9% and 16.2%)

9. 8K→32K 长度扩展时，闭源均值 40.1%→33.0%，开源 26.6%→21.9%。

   From 8K to 32K, mean accuracy drops from 40.1% to 33.0% for proprietary models and from 26.6% to 21.9% for open-weight models.

10. 64K 时模型保留其 8K 准确率的比例：语义 70.3%、副语言 69.8%、说话人 66.5%、环境 63.2%，说话人/环境退化最快。

    At 64K, models retain 70.3% of their 8K accuracy on Speech Semantics and 69.8% on Paralinguistic Cues, compared with 66.5% for Speaker Identity and 63.2% for Environmental Sound.

11. 错误模式随操作变化：IE 以绑定/关联失败为主(46%)；MSR 分化为证据定位(48%)与操作执行(32%)；TET 压倒性为定位失败(55%)、执行错误罕见(5%)。

    Across memory operations, IE errors are dominated by binding and association failures (46%), meaning models recover an acoustic cue but fail to link it to the correct context. MSR errors split between evidence localization (48%) and operation execution (32%), reflecting the additional demands of cross-session comparison and aggregation. TET errors are overwhelmingly localization failures (55%), with operation-execution errors rare (5%)

Novelty：审稿视角（新颖性）：中等偏上。把“声学证据”与“记忆操作”作为两条正交轴来定义口语记忆，是对此前 ad hoc 评测的实质性概念升级；audio-native 必要性设计（成对消融 + transcript-only 神谕转录检验）在方法论上有新意，能够直接证明题目确实依赖音频信息。受控上下文缩放（同一问题固定证据、只增长周围历史）也比“不同长度问不同问题”的做法更干净。但归根结底这是评测基准而非新模型/新算法，其新颖性在于分类学、构造协议与诊断发现，而非技术机制创新；对熟悉记忆/检索评测的读者而言，IE/MSR/TET/AR 的操作划分与某些文本记忆基准有结构相似性。 Soundness：审稿视角（可靠性）：整体较扎实，但有几处需警惕。优点：两层质量控制（会话级 QC-1、问题族级 QC-2）覆盖了可感知性、唯一性、声学必要性与全历史泄漏；配对声学消融使“去掉线索”可被干净验证；固定证据、严格扩展历史可把性能下降归因于上下文长度；LLM 裁判有第二裁判交叉验证；检查模型与评估模型分离。担忧：音频全部由单一 TTS 系统（Higgs-TTS-3）与固定 VCTK 声音合成，环境声来自 ESC-50 加性混合，生态效度有限，可能高估真实声学记忆难度或引入合成伪影；副语言线索依赖“风格控制标签”的可感知性虽经模型检查，但缺人类听者验证；只报告聚合均值，未见方差、置信区间或显著性检验；64K 只用 10 个模型；拒绝回答被二进制计分且“能力性拒绝”与“策略性拒绝”都算错，可能低估部分安全行为。作为不可信文本审读，文中模型/版本名称与“κ=0.95”等数字应以发布版为准，无法独立核实。 Significance：审稿视角（重要性）：潜力较高。它把一个被忽视但实际重要的方向——口语记忆中的非词法声学信息——变成可系统测量的对象，直接支持“光靠更长音频上下文不够”这一论点。对下游系统设计有明确指向：需要保留并维护“谁、怎么说、什么可听”及其与说话人/事件/会话的绑定，而非只做语义记忆。若数据、裁判提示与配对消融版真正开源，可作为 LALM 记忆能力的公共诊断床与训练/记忆模块的评测靶。局限是影响力取决于社区采纳与合成数据的可迁移性，且评测类工作随模型迭代容易饱和。

主要局限：1) 生态效度——所有用户语音由单一 Higgs-TTS-3 合成、说话人固定为 30 个 VCTK 参考声，环境声用 ESC-50 以 10dB SNR 加性混合，缺少真实录音的噪声、混响、多人自然交互与自发副语言变化，结论能否迁移到真实口语会话存疑。2) 副语言线索依赖合成风格控制，且“可感知性”由音频语言模型而非人类听者验证，可能存在合成伪影或模型间一致的虚假线索。3) 助手转写以文本呈现，排除了“助手怎么说”及多模态对话轮次中的声学记忆，评估对象被简化为“听用户音频、读助手文本”的非对称设置。4) 只报告聚合均值，缺方差/置信区间/显著性检验，无法判断模型间差异是否稳健；64K 分析仅覆盖 10 个模型。5) LLM 裁判的规则化判分虽有一致性报告，但仍有主观性与提示敏感性；拒绝回答被二进制化，“能力性拒绝”与“策略性拒绝”统一计错。6) 会话是合成并在单次输入内拼接的多会话历史，真实的时间间隔、用户状态漂移与跨设备一致性未建模。7) 未做训练数据泄漏分析（尤其闭源模型），也未给出人类基线，难以定位“40% 上限”相对人类表现的位置。8) 基准规模（799 题）与证据型子集（如 speaker/environment 各 126）不算大，细粒度切片统计功效有限。

跟进方向：1) 用真实多人录音与真实时间间隔替换合成会话，或做合成/真实对比以量化迁移差距。2) 引入人类听者验证副语言线索与环境声可感知性，并报告人类基线，把模型成绩锚定在人类表现上。3) 扩展为完全语音的会话（助手也以音频回答）、多说话人重叠、不同口音/语言与房间声学。4) 把 VoxMem 作为诊断床评测记忆干预手段：检索增强、分层摘要、记忆模块、声学指纹/说话人嵌入缓存等，检验哪些组件能修复“非词法信息随历史退化”。5) 在 VoxMem 上做训练/微调实验，看能否通过合成音频-native 记忆数据提升“谁/怎么/什么可听”的保持，并测试泛化到真实音频。6) 增加统计严谨性：多次采样置信区间、模型排序显著性、按子类型的功效分析。7) 细化 AR 评估，区分“正确识别证据缺失”与“因处理不了声学证据而拒答”，可用反事实配对量化。8) 扩展到视频/多模态记忆（人、表情、场景、声音的联合绑定），并研究跨模态线索互补或冲突时的记忆行为。

Chunked KV-cache compression reduces the memory and attention costs of long-context inference by compressing windows of consecutive tokens into fewer cache entries at a fixed stride. Such compression also introduces a new positional coordinate: a token's phase, or its position relative to compression-window boundaries. We uncover a systematic asymmetry in models using such compression: the same information can be easy to retrieve at one phase and difficult at another. We call this periodic variation in retrieval performance phase sensitivity. In large open-weight models with such compression, long-context retrieval accuracy can differ by up to 40 percentage points across phases, revealing periodic weak spots that average benchmark scores can conceal. To investigate this behavior, we pretrain a family of transformers from scratch across multiple KV-compression designs, reproducing phase sensitivity across the variants. Mechanistic analysis using causal interventions in these models re

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

We introduce Context Language Models (CLMs), language models that natively manage their own context. We implement this by treating the context as a file and allowing the model to make unrestricted updates to this file. This allows the model to learn what is most important to maintain in context, and naturally extends to multi-agent systems where multiple agent contexts coexist as files. Building CLMs zero-shot with existing models outperforms SOTA context management strategies across a variety of tasks: 11.4% higher accuracy with 21.5% fewer FLOPs on BrowseComp-Plus, 5% higher scores with 59% fewer FLOPs on 12-hour EdgeBench, and 65% greater improvement with the same compute on a 24-hour multi-repository agent-swarm task. Moreover, by shifting context management from external harness control to intrinsic model behavior, CLMs naturally enable both in-context and parametric learning of context-management strategies. We show that CLMs can be steered with natural-language instructions evol

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。