2026-09-19

本文提出 SoL-Pi，一个位于 agent harness 层、受递归自改进（RSI）启发的自动研究系统。其目标不是降低单位 token 成本，而是通过改进模型与环境之间的 harness，减少完成长时域任务所需的 token 流量与 API 成本。与更快的 attention kernel、量化、更便宜模型等路线正交，也与逐任务 prompt 级或任务专用 harness 搜索不同，SoL-Pi 通过大规模、可隔离的 auto-research loop 搜索可迁移的效率机制，并以冻结的 held-out 集验证。它最终产出四个机制：Action Fusion、Online Context Compact、ObservationPack、Evidence-Preserving Reducer，分别覆盖动作执行、上下文压缩、观察处理与委托阅读。在 EdgeBench 上，效率点在保持接近 Pi 能力的同时显著降低 token 与成本，并能迁移到未适配的 Opus 后端。定位上属于自动化 harness 优化/自动 agent 设计，但强调以“搜索反馈与最终评估分离”获得可迁移改进，而非任务级过拟合。

背景有两层。第一，基础模型使智能体能在更长时域、更少监督下处理开放任务，token 效率因此成为首要系统问题；已有工作主要关注更快推理、量化、更便宜模型，即降低单位 token 成本，而 harness 层如何更聪明地使用 token 是正交方向。第二，harness 优化在实践中困难：工具使用、上下文管理、验证、委托、恢复与终止高度耦合，局部有利改动可能引发下游失败，或把 token 成本转移到执行后期；人工检查长轨迹、定位重复失败并改写代码成本高，难以跨任务与环境扩展。此前已有 Meta-Harness、RHI、AutoHarness、AHE、MemoHarness 等自动化尝试，但 Wang 等的 held-out 研究发现演化出的 harness 可能过拟合搜索任务，对未见任务收益有限。这促使 SoL-Pi 把候选开发与 held-out 验证严格分离，并用“广度-深度漏斗 + 一次性隔离谱系”扩大搜索。其三条设计原则是：广度与深度、独立验证、可扩展编排。论文在 EdgeBench、Terminal-Bench、IMO 数学基准和核优化 swarm 上评估。

总体流程。SoL-Pi 把 harness 改进建模为对可复用效率机制的搜索。研究 AI 观察跑 base harness 的独立 agent 的执行轨迹，提出候选改动，并在准备的研究环境中测试。实验开始前就固定能力指标、容差和效率指标，且这些指标与容差对优化 agent 严格隔离，防止其博弈验收标准。候选选择经过两道顺序门：所有能力指标必须保持在预声明容差内；候选必须至少改进一个声明的效率指标。通过两门的候选按声明指标保留非支配解。各机制独立探索，最后集成进 SoL-Pi 并微调超参数与实现，同时保持能力。EdgeBench 留作最终验证，不参与搜索；harness 与验收规则在评估前冻结；held-out 结果绝不回流，失败即拒绝，不触发进一步优化。 广而深搜索与孤立谱系。外层探索大量机制假设，内层独立开发选定假设。外层方向池来自六个提案族：上下文、进度、工具、委托、提示与策略、改进与评估。Oracle Analysis 在分配 rollout 预算前检查已有开发轨迹，识别 base harness 中可避免的工作；每个方向必须指出具体开销来源并提出相应 harness 改动。提案族只按假设来源分类，不限制实现位置；例如 ObservationPack 来自两个上下文假设，但最终改的是观察边界。每个独立搜索遵循“提出改动—实现—跑固定实验—检查结果—保留/修改/丢弃”的循环，并用 Ralph Loop 做迭代实现：实现者把候选改到显式完成标准，独立审查者通过后才评估；审查失败触发修改。每次迭代可产生多条探索轨迹；独立分析器逐条检查重复动作、上下文增长、大观察或稀疏诊断信号，reducer 把发现汇总成候选级摘要以指导下一轮提案。每个独立搜索是共享技能模板的一次性实例：复制模板、设置参数、跑完，保留候选与证据并丢弃被改动的编排代码。广度来自更多隔离循环，深度来自循环内反复精炼。 搜索环境。搜索环境与迁移评估环境分离。搜索集包含两类可执行环境：仓库任务来自 GitHub issue–PR 对，以及带可执行成功验证器的合成任务。仓库环境把 issue 与修复前仓库状态、离线依赖配对，以被接受的 patch 和变更历史作为参考轨迹，PR 与回归测试对 agent 隐藏，只保留 patch 前测试失败、patch 后通过的环境。验证器驱动环境先生成定义成功的可执行验证器，再围绕它构造任务环境，允许多条合法解路径且无需参考轨迹，主要使用 Terminal-Bench-2 风格验证器接口。两类构造路径与 held-out 评估之间有隔离边界。 四个机制。Action Fusion：base Pi 经常在编辑文件后另发命令去测试、构建或运行；Action Fusion 把两个动作合成一次工具请求，并在单条 observation 中返回两者结果，省掉一次模型往返；需要检查修改结果的命令仍保持分开。实现上给文件变更工具增加可选 follow-up command，并在一次 observation 中返回两个结果。Online Context Compact：在 plan-step 完成边界判断是否压缩。agent 通过 update_plan 维护计划；每个完成边界，harness 用已完成步骤之间观察到的请求数和未完成步骤数估计剩余模型请求，再用“按观察到的增长率填满当前上下文窗口所需的请求数”对该估计设上限。成本门比较预期输入节省与重写 prompt cache 的额外成本；后续压缩还会把未回收的重写成本计入，要求更大节省边际。当门通过、或上下文接近窗口上限且压缩能缩短上下文时，调用 Pi 原生压缩。实现中门用上下文大小与 cache 写/读价格比估算 cache 重写开销，不单独给摘要调用计价。ObservationPack：对超过阈值的大工具输出本地归档，并在接下来的两次 provider 请求中仍全量发送；从第三次请求起替换为稳定句柄、原始大小、以及完整首尾行的短摘录；agent 可通过句柄按需取回精确页面。小结果不变。Evidence-Preserving Reducer：只压缩预定义命令集合中至少 4 KiB 的构建/测试日志；文件读取与搜索结果绕过。harness 归档精确输出，让低成本模型抽取关键证据到紧凑 receipt。确定性验证器检查 receipt 的 schema、源哈希、退出状态、精确引用和大小。验证失败、疑似凭据、或 receipt 无尺寸缩减时回退到原始日志。Reducer 先于 ObservationPack 处理；ObservationPack 识别 reducer 的 receipt 标记并跳过这些结果，以保留已验证证据。辅助模型只抽取证据，主 agent 保留诊断与动作选择。 集成与实现。四机制作用于工作流不同阶段：编辑后 Action Fusion 合并后续命令；环境返回输出时 Reducer 先抽取已验证证据、ObservationPack 再避免反复全量发送；plan-step 完成时 Online Context Compact 判断压缩。最终端到端联合评估。全部实现作为 Pi 扩展；Evidence-Preserving Reducer 使用 GPT-5.6 Luna 的 high 设置抽取证据并验证 receipt；评估前冻结机制源码、配置、指标、能力容差与验收规则。EdgeBench 公开任务中一部分用于已冻结候选的单向验收，其余留作泛化评估。Action Fusion 的溯源显示其 lineage 经历 oracle 分析、基线构建、prompt 与工具 schema 优化、最终 held-out 验证；prompt-only 触发不可靠后，改为扩展工具 schema 暴露融合动作，并引入 trigger rate 作为中间验收指标。

实验部分先在 EdgeBench 公共任务上比较多种配置：官方参考行、原生 Codex/Claude Code、多个第三方 harness、Pi，以及 SoL-Pi 的效率点与性能点；随后把未适配的 SoL-Pi 迁移到 Opus 后端。接着在 Terminal-Bench 的 CPU 子集和 IMO 数学基准的 Lean 验证上比较 Codex、Pi、SoL-Pi；再用核优化 swarm 比较单 agent、Pi 基线 swarm 与 SoL-Pi swarm。消融部分做 add-one 评估每个机制，比较触发率与触发强度，分析完整栈与单机制的 token 效率增益，并讨论 cache 读写与总成本的权衡。最后以 Action Fusion 为例展示从 oracle 观察、基线构造到冻结验证的保留过程。总体结论：效率点在保持接近 Pi 能力的同时显著降低 token 与成本；性能点以较小压缩换取能力与 token 效率提升；机制在不同后端与多智能体设置中表现出迁移与扩展价值。

1. EdgeBench 效率点总 token 为 1.10B，比 Pi 少 49.0%，保留 93.7% 平均分（42.0 vs 44.8），token 成本比 Pi 低 33.2%。

   The Efficiency point uses a total of 1.10 B tokens, 49.0% fewer than Pi, while retaining 93.7% of Pi’s average score (42.0 vs. 44.8). Its token cost is 33.2% lower than Pi’s.

2. EdgeBench 性能点把平均分从 44.8 提升到 47.2（+5.3%），token 流量降低 6.1%，token 效率提升 9.8%。

   The Performance point raises average score from 44.8 to 47.2, a 5.3% gain, while reducing token traffic by 6.1% and improving token efficiency by 9.8%.

3. 迁移到 Opus 5 时，SoL-Pi 保留 Pi 平均分的 94.3%，token 流量降低 44.7%，API 成本降低 33.5%。

   On Opus 5, it retains 94.3% of Pi’s average score while reducing token traffic by 44.7% and API cost by 33.5%, relative to Pi’s point estimates.

4. Terminal-Bench 4 上 Codex 与 Pi 各解出 18 题，SoL-Pi 解出 15 题；相对 Pi，SoL-Pi 总模型成本降低 26.3%（$211.12 vs $286.45），每题成本降低 11.6%（$14.07 vs $15.91）。

   Codex and Pi each solve 18 tasks, while SoL-Pi solves 15. Compared with Pi, SoL-Pi reduces total model cost by 26.3% ($211.12 vs. $286.45) and cost per solved task by 11.6% ($14.07 vs. $15.91).

5. IMO 2026 上 SoL-Pi 以 $62.69 总成本通过 6 题中的 3 题，每题通过成本为 $20.90，低于 Codex 的 $22.89 与 Pi 的 $25.32。

   SoL-Pi passes three of six problems at a total model cost of $62.69, achieving the lowest cost per passed problem ($20.90), compared with $22.89 for Codex and $25.32 for Pi.

6. 核优化 swarm 中 SoL-Pi swarm 达到 1,127 cycles/$60.11，单 agent 为 1,333 cycles/$39.20，Pi 基线 swarm 为 1,366 cycles/$82.12；SoL-Pi swarm 比 Pi 基线 swarm 降低 26.8% API 成本。

   Figure 5 (b) shows that the SoL-Pi swarm reaches 1,127 cycles at $60.11, compared with 1,333 cycles at $39.20 for the single agent and 1,366 cycles at $82.12 for the Pi baseline swarm. Under the same execution budget, the SoL-Pi swarm reduces API cost by 26.8% relative to the Pi baseline swarm, while the single agent remains least expensive.

7. 速度阈值方面，SoL-Pi swarm 与单 agent 通过全部八档，Pi 基线 swarm 只通过七档，未达低于 1,363 cycles 的最后一档。

   The SoL-Pi swarm and single agent pass all eight speed thresholds, whereas the Pi baseline swarm passes seven, missing the final threshold of fewer than 1,363 cycles.

8. add-one 消融中每个组件在两个后端都降低总 token；GPT-5.6 Sol 下 ObservationPack 平均分最高，Opus 5 下 Action Fusion 平均分最高；完整栈在两个后端块中总 token 与 token 成本最低。

   Every component reduces the total token count under both backends. ObservationPack records the highest average score under GPT-5.6 Sol, while Action Fusion does so under Opus 5. The complete stack represents the efficiency-oriented point and has the lowest total token count and token cost in both backend blocks.

9. GPT-5.6 Sol 下完整栈把 cache-read 从 2.1326B 降到 1.0605B token，cache-write 从 0.0141B 增到 0.0316B，但总模型成本从 $1,339 降到 $894。

   with GPT-5.6 Sol, the complete stack reduces cache-read traffic from 2.1326 B to 1.0605 B tokens, while cache-write traffic increases from 0.0141 B to 0.0316 B. Despite the additional cache-write traffic, total model cost falls from $1,339 to $894.

10. 论文总结称最佳候选在 EdgeBench 上提升模型性能 5.3–12.8%、token 效率 9.8–18.2%，完整栈降低 token 流量 44.7–49.0%、token 成本约三分之一。

    On EdgeBench, the best-performing candidates improve model performance by 5.3–12.8% and token efficiency by 9.8–18.2%, while the complete stack reduces token traffic by 44.7–49.0% and token cost by about one third at comparable performance.

11. 搜索规模约为 150 个提议方向、约 500 个可执行环境，包含超过 3,000 次运行和超过 60,000 次智能体-环境交互。

    Guided by these principles, we scale AI-led auto-research across roughly ∼ \sim 150 proposed directions and ∼ \sim 500 executable environments, comprising more than 3,000 runs and more than 60,000 agent–environment interactions.

Novelty：新颖性中等。单个机制本身（动作合并、上下文压缩、观察截断、日志摘要）并不新，相关思想在 SWE-agent、Context-Folding、ACON、AgentDiet 等已有前身。论文的真正新意在于搜索过程：以 RSI 式 auto-research loop 在 harness 层大规模、隔离地发现可迁移机制，并用冻结 held-out 门控防止任务级过拟合；把“广度-深度漏斗 + 一次性谱系 + 非支配选择”组成一个可扩展的 harness 发现系统。与 Meta-Harness/AHE 相比，SoL-Pi 更强调跨任务与跨后端迁移证据；与 RHI 的逐任务 prompt 级精炼相比，目标从单任务解变为可复用中间件。因此可视为自动化 harness 优化从“搜索出任务专用补丁”走向“预训练式 harness 发现”的早期尝试，但机制层面没有提出新的学习算法或理论。 Soundness：方法学上较为审慎：指标与容差预先固定、对优化 agent 隔离；能力门与效率门顺序执行；EdgeBench 作为 held-out，候选冻结后仅单向验收，失败不回流，这降低了过拟合与验收博弈风险。但结论的证据强度有限：结果基本是单次运行的点估计，没有置信区间、多随机种子或显著性检验；API 价格固定在 2026-08-17；单机制消融中“各自触发任务子集”的比较无法分离交互效应；搜索只在 GPT-5.6 Sol 上优化，Opus 5 只是零迁移观察；GPU 依赖任务被排除；IMO 题量很小；swarm 每配置只跑一次两小时。因此效率与泛化方向可信，但具体提升幅度和跨任务稳健性应视为初步证据。 Significance：实践意义较高：如果 harness 层能在不训练模型的情况下稳定降低 token 流量与成本并保持能力，对长时域编码 agent、多智能体 swarm 和 RSI 的成本结构都有直接价值；跨后端迁移也降低了重复调参成本。研究意义体现在把“自动 agent 设计”的重心从单任务分数转向可迁移效率机制，并提出“pretraining the harness”与“recursive efficient improvement”两个可检验的长期方向。但其理论贡献弱，搜索成本高，且当前只是初步证据，尚未证明随规模持续增益或闭环复利。因此显著性属于有前景的工程-系统级贡献，而非基础方法突破。

1) 搜索后端单一。候选全部来自 GPT-5.6 Sol 轨迹；在 Opus 5 上机制触发率与触发强度都更低，尽管触发时仍有增益，说明触发条件与阈值可能过拟合某一后端的行为分布。2) 泛化证据有限。最终 held-out 只覆盖 EdgeBench 公开任务的一部分，其他基准的题量较小或经过基础设施筛选（如 Terminal-Bench 4 排除 GPU 任务）；没有多轮重复或置信区间，所有成本与分数都是点估计。3) 没有受控的广度/深度 scaling 实验。论文明确表示运行完整 auto-research loop 很贵，无法在固定预算下系统比较搜索广度与深度；因此“规模化带来可迁移收益”仍主要是经验观察而非定律。4) 机制阈值与规则是启发式固定的（如 10 KiB、4 KiB、前两次请求、后续边际），不具备学习或自适应能力；不同任务、模型与价格结构下可能需要重调。5) Reducer 的验证与回退设计较谨慎，但仍依赖低成本模型抽取证据，可能存在漏抽关键信息、验证器本身漏洞或回退增加成本；cache 重写与摘要调用成本也未完全显式计入 Online Context Compact 的门。6) 验收指标与容差虽称固定，但论文未给出具体定义与阈值，读者无法完全审计选择过程；trigger rate 等中间指标由 agent 自行引入，增加了灵活性也带来可控性风险。7) 单次 swarm 运行无法证明多智能体收益稳健。8) 递归高效改进、pretraining the harness 均只是愿景，未在本文验证复利效应。

后续可沿几条线推进。第一，多后端训练：在多个 LLM 后端上收集轨迹并共同优化 harness，显式加入触发率/触发强度作为目标，减少后端特异性。第二，受控 scaling laws：在固定总预算下扫描搜索广度、深度、环境数量与假设多样性，测量 held-out 泛化、过拟合边界和收益递减点。第三，统计与可复现：多随机种子、配对检验、完整 EdgeBench 任务集、开放 lineage 与环境，报告置信区间和失败案例。第四，把固定阈值改为学习式策略：用在线学习或小模型策略决定何时压缩、何时全量发送、何时合并动作，并显式建模 cache 读写、摘要调用与回退成本。第五，增强 Evidence-Preserving Reducer 的安全性：验证器形式化、凭据/隐私审计、漏抽检测，避免低成本模型造成不可见证据损失。第六，把 SoL-Pi 作为下一轮 auto-research 的起点，验证 recursive efficient improvement 是否真的在固定预算下覆盖更多环境并找到更强机制。第七，扩展到编码之外的长时域任务和多智能体协议，检验机制组合的跨域可迁移性。第八，发展自动发现中间验收指标的方法，如 Action Fusion 中的 trigger rate，使搜索更稳定地平衡能力与效率。

本文是一篇系统性的经验研究，不提出新的智能体算法或架构，而是用控制变量法拆解 coding harness 的三个核心组件。作者自制一个轻量 harness，固定 ReAct 执行循环及工作区访问控制、编辑后诊断、卡死检测等支撑组件，单独改变 planning、action space、context management，从而估计每个干预的条件效应。其定位介于"完整系统评测"与"孤立微消融"之间：既避免跨 harness 比较把多种机制混在一起，又覆盖长程编码任务中上下文窗口真正成为约束的场景。论文的贡献是一种可复用的模块化评估框架，以及一套跨模型能力、任务类型、窗口预算的诊断性结论，供后续 harness 设计按条件选择组件而非默认启用。

大型语言模型被用于自主完成软件工程任务，如关闭 GitHub issue（SWE-Bench）和端到端终端任务（Terminal-Bench）。这类性能依赖 coding harness——一个软件层，其中的 planning scaffold 维持任务结构、action interface 决定模型意图如何变成可执行操作、context-management policy 决定在有限窗口下保留哪些交互历史。这些不是无关紧要的实现细节：固定模型而改变 harness 会显著改变性能。然而大量现有工作把 harness 当作完整系统评估（如 OpenHands、SWE-Agent 等），跨 harness 的比较会混淆 planning、工具设计、上下文管理及其与模型的交互，无法判断性能差异来自哪个组件。 已有研究从不同侧面触及组件问题：Agentless、AutoCodeRover 等系统级工作表明无需极复杂架构也能取得强性能；AgentArch 报告模型特定的架构偏好；大轨迹研究发现不同框架的行为差异随模型代际变化；Liu (2026) 在短程推理任务上做 prompt 级全因子研究但未显式考察上下文窗口压力。上下文管理方面，静态方法包括 elision/截断陈旧内容、按需从外部存储检索、把历史摘要为紧凑状态；动态方法常通过强化学习让模型管理自身上下文。这些机制通常作为"改进"被引入并在单一模型上评估，其价值与"有多少窗口可管理"以及"模型是否强到能从压缩中获益而非被压缩饿死"的依赖关系未被刻画。 本文的研究问题是：harness 组件是否普遍有用，还是每个组件的有效性取决于模型能力、任务类型与资源预算。为此，作者在固定执行循环的前提下联合改变三个实现级组件，并显式扫过多个上下文窗口预算，同时用同家族三档模型尺度与跨家族模型作为能力轴。

整体架构。harness 从零构建于 LangGraph，基准通过 Harbor 驱动（Harbor 拥有每个任务的容器与 verifier，宿主 agent 在容器上行动）。执行循环固定为 ReAct 循环：每轮包含推理、动作、观察。三组件可独立配置；工作区访问控制、编辑后诊断、卡死检测等保持固定，以隔离每个干预的效应。 Planning 的运作。planning 提供一个显式、持久、由模型维护的任务进度表示。开启时：系统指令定义协议；首轮提醒要求先给出初始计划；模型通过 update_plan 工具维护计划，该工具用新 plan 字符串替换内存中的完整计划而不修改工作区文件；后续轮次把当前存储的 plan 序列化到 {PLAN} 注入模型输入，但不把它追加进对话历史（避免历史累积旧副本）。关闭时移除计划指令、提醒、plan 注入与 update_plan 工具，执行循环、动作接口、上下文管理不变。因此该消融估计的是"持久计划脚手架"的效应，而非一般意义上的推理规划策略。 Action space 的运作。预定义工具集包含 read_file、write_file、edit_file、list_files、glob_files、grep_text、web_fetch、bash，每个工具有类型化参数 schema 与描述（协议、错误、副作用）。明确排除 web search，因为 SWE-Bench 任务源自公开 GitHub issue，搜索可能暴露对应 PR 与 ground-truth patch。bash-only 条件移除预定义的文件、搜索、web 工具，只留 bash 做通用环境交互；update_plan 与 recall_event 作为辅助工具由 planning/context 组件独立控制。关键细节：该干预同时改变工作区修改的跟踪与校验——预定义文件工具强制 read-before-write 检查、更新 harness 文件状态、在受支持的编辑后触发自动诊断；经 bash 发出的等价修改不参与该状态跟踪与诊断路径。因此其效果应解释为"完整动作接口"（工具可用性 + 接口指令 + 状态跟踪 + 校验支持）的效应，而非孤立的工具数量或动作粒度效应。 Context management 的运作。三个可组合机制：M1 elision 用短 stub 替换陈旧工具观察的正文；M2 recall 把被 elide 的观察存到文件系统并暴露 recall_event(id) 按需读回，使 elision 可逆；M3 summarization 把更旧的消息折进一个运行中的自然语言摘要，摘要由一次独立的、无工具调用、使用同一被评估模型的调用来生成。算法直觉是：elision 廉价地回收 token 但丢弃细节；recall 在需要时恢复细节；summarization 压缩那些太旧而无法逐字保留的历史。过程由两个 token 阈值 soft B1 与 hard B2 控制：preamble（系统提示 + 初始任务描述）和一个按预算保留的最近窗口（至少两轮）保持 verbatim，只有中间区域被压缩。历史超过 B1 时，harness 对中间区域的臃肿工具观察做 elision，原文存外部、原位留 stub；若仍超过 B2，则把最旧的中间事件摘要进 running summary（Algorithm 1 给出完整流程）。五个策略分层隔离各机制：T0 无压缩、超窗即错误终止；T1 仅 M1（丢弃原文）；T2 M1+M2（可恢复）；T3 仅 M3（无 elision）；T4 全机制，先 elision 后摘要。由于 T1–T3 各只有单一动作，它们在硬阈值 B2 触发；T4 在 B1 触发 elision、在 B2 触发摘要。分层设计的预期效果是：先用规则 elision 处理许多情况，减少昂贵的 LLM 摘要调用。 固定支撑组件。工作区 guard 解析每个路径并拒绝任何逃逸项目根目录的路径（含 symlink）；read-before-write 检查拒绝编辑/覆盖本会话中未读过的文件，并用内容 hash 检测外部修改；权限层把每个动作分类为 allow/ask/deny；工具错误以观察形式返回而非抛出，使失败动作不会崩溃循环。编辑或写入 Python 文件后，harness 用 ruff、pyflakes 或纯语法回退做快速只读检查，并把发现追加到工具结果，让模型在花一轮测试前就能修复语法错误、未定义名称与未使用导入。卡死检测监控工具日志中连续相同工具名与字节相同参数调用（不同参数如分页读取的新 offset 会终结 streak）：在 5 次相同调用或 5 次相同失败调用时注入一次性换思路提醒；8 次连续相同失败调用时提前终止（权限拒绝不计为失败）。 训练与数据细节。本文不训练任何模型：Nemotron-3 三尺寸与 Mistral-Medium-3.5-128B 均为现成模型，以 SGLang 本地 BF16 服务，temperature=0、top-p=0.95、每轮输出上限 16384 token；上下文摘要同样调用同模型、无微调。数据为 SWE-Bench Verified（500 个人工验证的真实 GitHub issue）与 Terminal-Bench 2.1（89 个命令行端到端任务）。成本按 OpenRouter 定价计算。运行配置：每任务最多 300 步；软/硬上下文阈值分别为可用窗口的 0.6/0.85；verbatim 最近窗口预算 0.3 且至少保留两轮；工具结果截断至 24k 字符；每步最多 8 个只读工具并行。统计上使用任务配对的两侧精确 McNemar 检验，并用 Benjamini–Hochberg 过程把 FDR 控制在 0.05。

作者在四个模型（同家族三档尺度加一个跨家族模型）与两个长程编码基准上，评估五种上下文管理策略在四个上下文窗口预算下的表现，并在默认配置下对 planning 开/关与完整工具集/仅 bash 做配对消融；全部设置以任务配对的精确 McNemar 检验并做多重检验校正。结果呈现四条主线：上下文管理的收益集中在窗口紧张时，且主要来自防止上下文溢出导致的提前终止；"先规则 elision、后 LLM 摘要"的分层策略在相近成功率下成本最低；可逆 recall 机制很少被调用且未带来一致收益；planning 对弱模型是成功率脚手架、对强模型主要是省成本；预定义工具帮助 shell 能力弱的模型，而 shell 能力强的模型在 bash-only 接口下可明显降低成本。轨迹级分析把三个组件的效应分别关联为：上下文管理延长执行轨迹而不显著改变行为，planning 改变轨迹在哪里停止，动作空间改变代码被书写的粒度。

1. 上下文管理相对无管理（managed–T0）的成功率差距随窗口扩大而稳定缩小，两个基准均如此。

   Averaged across the models, the managed–T0 gap shrinks steadily across 32k, 64k, 96k, and 128k windows: from 35.7 35.7 to 15.9 15.9 , 5.5 5.5 , and 2.7 2.7 percentage points on SWE-Bench, and from 9.5 9.5 to 7.5 7.5 , 4.8 4.8 , and 2.8 2.8 on Terminal-Bench (Tables 3 and 4 ).

2. T0 的窗口溢出失败率随窗口增大大幅下降，而所有管理策略始终保持零溢出。

   Across these budgets, the model-averaged T0 overflow rate falls from 78.7 % 78.7\% to 8.7 % 8.7\% on SWE-Bench and from 61.0 % 61.0\% to 12.1 % 12.1\% on Terminal-Bench, while all managed tiers have zero overflow failures throughout.

3. T4 取得与 T1–T3 相当的成功率，并在八个模型-基准面板中的七个成本最低。

   Figure 4 shows that T4 achieves success rates comparable to T1–T3, with the lowest cost in seven of eight model–benchmark panels.

4. recall 机制极少被调用，调用集中于最大上下文压力下，且较大窗口的 planning/action-space 设置完全没有调用。

   Among the 64 T2 and T4 settings, 36 ( 56.3 % 56.3\% ) never call recall_event , the median invocation rate is zero, and the equal-weight mean falls from 0.540 0.540 calls per task at 32k to 0.069 0.069 , 0.011 0.011 , and 0.007 0.007 at 64k, 96k, and 128k; the 16 planning and action-space settings at T4/128k record no recall calls at all.

5. T2 相对 T1 的可逆性（recall）收益接近零，等权平均差甚至为负。

   Across 32 model–benchmark–window comparisons, T2 outperforms T1 in 15 settings, underperforms in 14, and ties in three; the equal-weight mean difference is − 0.36 -0.36 percentage points ( + 0.40 +0.40 on SWE-Bench, − 1.12 -1.12 on Terminal-Bench).

6. planning 对最弱模型 Nemotron-3 30B 是准确率脚手架，在两个基准上显著提升成功率并带来更高成本。

   For Nemotron-3 30B, planning increases success rate by 11.6 11.6 percentage points on SWE-Bench and 4.5 4.5 points on Terminal-Bench, at higher cost on both benchmarks.

7. 对较强模型，planning 主要降低 SWE-Bench 成本，成功率仅有小幅下降。

   On SWE-Bench, their costs fall by approximately 30 % 30\% and 32 % 32\% , respectively, while success rates decrease by 2.0 2.0 and 0.4 0.4 percentage points (Tables 3 and 4 ).

8. 预定义工具集对 bash 能力弱的 30B 在两个基准上带来明显成功率提升。

   For Nemotron-3 30B, the predefined tool set raises success by 15.0% on SWE-Bench and 10.1% on Terminal-Bench.

9. 对 bash-capable 的 Nemotron-3 550B，bash-only 在两个基准上略微提升成功率并大幅降低成本。

   For Nemotron-3 550B, bash-only improves success rate by 3.6 % 3.6\% on SWE-Bench and 5.6 % 5.6\% on Terminal-Bench while reducing cost by 53 % 53\% and 30 % 30\% , respectively.

10. Mistral 呈现任务类型依赖的反转：SWE-Bench 上完整工具集更好，Terminal-Bench 上 bash-only 更好。

    The full tool set improves success by 23.2 % 23.2\% on SWE-Bench, but bash-only adds 6.7 % 6.7\% on Terminal-Bench.

11. 30B 在 bash-only 下大量轨迹因发出接口外的工具调用而提前终止，平均轨迹被显著缩短。

    On Terminal-Bench, 66% of bash-only trajectories terminate after such out-of-interface emissions, shortening the average trajectory from 71 to 15 turns.

12. 去掉 planning 使 30B 的 SWE-Bench 中位轨迹长度大幅缩短，且更多运行在未编辑或定位阶段终止。

    Disabling planning reduces the median SWE-Bench trajectory length from 40 to 5 turns. Without planning, 68.6% of runs terminate without an edit and 58.4% terminate during Localize, compared with 27.8% and 10.4%, respectively, with planning (Table 6 ).

Novelty：单看组件（elision/recall/summarization、计划脚手架、预定义工具与 bash）都已在文献中存在，因此本文的贡献不是算法级新意，而是"控制变量"的实证贡献：用固定执行循环的方式隔离三个实现级组件的条件效应，并同时显式扫上下文窗口预算、在统一 harness 内跨四模型/两基准比较，这是此前系统级评测或短程全因子研究没有做到的。配合轨迹级行为标注，论文把聚合结果与"行为如何改变"联系起来，也为后续 harness 组件提供了可复用的模块化评估框架。但"先 elision 后摘要"等具体设计仍属组合式改良，创新强度偏中等。 Soundness：方法上较扎实：固定执行循环与支撑组件，采用匹配对照、任务配对的两侧精确 McNemar 检验并做 BH-FDR 校正，轨迹标注有 LLM judge 与人工一致性验证，消融解释谨慎（明确承认 action space 是捆绑干预）。主要弱点在统计功效与覆盖度：每个设置只跑一次、无跨随机种子方差估计；Terminal-Bench 仅 89 个任务，多数单元格对比不显著，作者也承认结论依赖跨模型/预算的一致方向而非单个显著单元格；planning 与 action space 只在默认配置下消融，非全因子，无法排除与其他组件或窗口预算的交互；模型尺寸只是能力的粗糙代理，Nemotron 家族与 Mistral 的差异可能来自训练、工具暴露或 shell 熟练度；成本结论依赖特定时点的 OpenRouter 定价。总体上，内部效度较好、外部推广需谨慎。 Significance：对实践有直接指导价值：harness 组件应作为"模型、任务类型、资源预算"的条件性选择而非默认开启，尤其是"上下文管理价值随窗口变宽而衰减""recall 机制极少被使用且无收益""planning 对强模型主要省成本而非提准确率""bash-only 对 shell 强模型是高效接口"这些结论可以帮助避免过度工程。同时论文提供一个模块化框架，后续可把新的上下文策略或工具接口接入同一执行循环做对比。局限是结论绑定于本文的 harness 实现、模型家族与两类编码任务，crossover 点不能直接外推；但对 harness 设计者与 agent 评测研究而言，这是一份有诊断价值的经验基准。

第一，结果估计的是本文具体实现的条件效应，而非通用最优。planning 只用一种 prompt 与 update 机制，上下文管理是固定阈值与固定压缩设置的策略，action space 是捆绑接口（同时改变工具可用性、接口提示、文件状态跟踪与自动诊断），未隔离工具数量或动作粒度的单独作用。第二，设计空间覆盖与统计功效有限：planning 与 action space 仅在默认配置下消融，非全因子，无法判断其效应在其他组件组合或窗口预算下是否保持；每个设置每任务只跑一次，缺乏随机种子层面的方差；Terminal-Bench 仅 89 个任务，许多配对 McNemar 对比不显著，结论更多依赖跨模型与跨预算的一致方向。第三，外部效度受模型与任务约束：只研究 Nemotron-3 三个尺寸与 Mistral-Medium-3.5-128B，SWE-Bench Verified 仅 Python；模型尺寸只是能力的近似代理，训练差异、对工具接口的事先暴露、原生 shell 熟练度都可能贡献观测趋势（Mistral 的基准依赖型接口偏好即是例证）；报告中的 crossover 点在迁移到其他模型家族、harness 实现或软件工程之外的任务前需要重新验证。第四，成本结论依赖 OpenRouter 的时点定价，token 价格变化会改变"省成本"的量级甚至方向；温度设为 0 且单次运行可能低估性能方差。第五，轨迹分析依赖 LLM judge 的概率标注，虽有人工一致性报告，但 judge 本身是概率模型，细粒度阶段/动作归因仍可能带系统偏差。

可跟进的方向包括：(1) 把 planning、action space、context management 做成全因子设计，覆盖多个窗口预算与多档模型，估计二阶交互，检验"强模型不需要 planning 的准确率收益"是否在紧窗口下被反转。(2) 增强统计功效：多次重复运行、更多任务、报告种子方差与置信区间，避免 Terminal-Bench 小样本导致的方向性结论。(3) 拆解 action space 捆绑干预，分别控制"工具数量/粒度、接口提示、read-before-write 状态跟踪、自动诊断"，定位 bash-only 收益到底来自哪一层。(4) 把 recall 的失败机制做因果诊断：是模型不知道何时该召回、检索触发策略不当，还是外部存储索引/描述不足，从而设计更有效的可逆压缩。(5) 对比固定阈值分层策略与动态/RL 训练式上下文管理，看"按需压缩"能否在更广窗口范围内稳定优于 T4。(6) 在更多模型家族（包括前沿代码模型）与非 Python、非软件工程任务上验证 crossover 点，并把能力刻画从"模型尺寸"换成可测量的 shell 熟练度、工具对齐度等代理变量。(7) 将组件选择形式化为预算约束下的自动配置问题，按模型与任务预测最优 planning/action/context 组合，而不是依赖事后消融。

该文提出 WeVisDoc，一个以数据为中心的端到端文档解析框架，明确区分“扩大覆盖”与“提高能力”两种干预。第一阶段构造广覆盖训练池；第二阶段用独立诊断探针定位剩余弱点，先验证目标可靠性，再定向补数与重配目标 token 曝光。作者在 Qwen3-VL-Instruct 上以两个模型规模实例化，保持骨干、输出序列化与自回归目标不变，把训练混合视为可度量的设计接口。论文的核心主张是：残差本身不足以证明覆盖缺失，可靠的数据预算分配才是从覆盖到能力的关键。

文档解析需把页面图像映射为保留文本、元素类型、结构与阅读顺序的结构化文本。现有生成式解析器（Donut、Nougat、Pix2Struct、SmolDocling、DeepSeek-OCR 等）或整页直接解码，或先布局分析再区域识别；训练数据的语言、版式、密度、元素构成与采集条件共同决定失败模式。OmniDocBench 以异构页级标注评估文本、公式、表格与阅读顺序；PureDocBench 以 HTML/CSS 源渲染 Clean、Digital Degraded、Real Degraded 对齐视图，提供可追溯真值，凸显退化鲁棒性。已有数据工作分别做大规模策展、标注修复、可控合成与降质增强；模型感知分配（Rho-1、LESS、JTT、UACS、MinerU2.5-Pro、PaddleOCR-VL-1.6 等）用输出分歧、代理混合或表示空间诊断来优先级数据。本文的关键区分是：补充样本扩展经验支撑，重放或重加权只改变已有支撑的曝光；残差可能来自标注不可靠、内容不可读、解码失败或模型极限，不能自动当作覆盖缺口。

任务与目标。对记录 i，输入 x_i 可为整页、文本 crop、混合区域、孤立公式或表格；目标 y_i 在阅读顺序中统一表示：正文 Markdown、公式 LaTeX、表格 HTML。参数为 θ 的解析器按自回归分布生成目标。为处理不同记录长度差异，引入掩码 m_{i,t} 只标记参与损失的 target token；有效长度 L_i=Σ m_{i,t}，负对数似然 ℓ_i=-Σ m_{i,t} log p(…)。训练目标不是按记录平均，而是按受监督 token 归一：L(θ;q)=E_q[ℓ_i]/E_q[L_i]。因此长页比短组件贡献更多 token；池子大小与记录抽样概率不直接等于训练曝光。所有阶段共享该目标；Stage I 从 θ0 得到 θ1，预算 B1；Stage II 得到 θ2，预算 B2，且冻结视觉编码器、只更新语言模型。 Stage I 覆盖。池子约四千万记录，来自公开集、内部生产数据、定向爬取与生成，按来源和粒度可追踪。粒度覆盖整页、纯文本或混合区域 crop、孤立表格与公式，分别教授全局阅读顺序、局部识别分辨率与结构语法。源级平衡先按源的有效 token 总数 M_s 计算期望 token 份额 ω_s∝M_s^ρ：ρ=1 按规模，ρ=0 等权，中间值抑制大源。由于 token 份额不等于记录抽样概率，作者引入流：流 g 有期望 token 份额 v_g 与流内平均长度 L̄_g，其记录选择权重 α_g∝v_g/L̄_g；短目标流需要更多抽样次数才能达到同一 token 份额。干净流与降质流合成为 q1，降质 token 份额由内部验证选定，重复组上限限制同源重复曝光。 标注与质量控制。源标注有效时优先；否则由 MinerU2.5-Pro、PaddleOCR-VL-1.6、dots.mocr 三个专家系统生成候选。归一化编辑距离 d_i=ED/max(1,|y1|,|y2|)；三方两两 NED 都低于 δ_ann 且通过 HTML/LaTeX 解析与结构检查才作为高置信目标。两方一致而第三方不同需图像审核；三方分歧或缺失则扣留，进入 Stage II 审核队列。可靠性（confidence）与难度（difficulty）分离：难度由结构复杂度、组件密度与专家分歧刻画，分 Easy、Medium、Hard；难度不代表真值正确。 可执行合成。合成页以语义 HTML 为中间表示：每个块是带唯一标识的 DOM 节点，CSS 控制布局。一条编译路径渲染图像与几何，另一条遍历同一树生成标签、阅读顺序 Markdown、HTML 表与 LaTeX；共享标识使图像区域与结构化目标精确对齐。语义关系先于布局建立（claim 连 evidence、line items 连 totals、概念连方程），再决定标题、表格、图注与跨区域阅读顺序。生成页经历同样的规范化、验证与去重，失败渲染、裁剪、非法结构均拒绝。 结构保持降质。外观增强按采集路径组织算子族：纸张与墨水形成、打印复印扫描、透视、弯曲、折痕、光照、屏幕翻拍 moiré 等；源介质约束合法路径，内容密度、符号尺寸与表格线宽约束强度。只有当所有受监督内容仍可见可读时才保留原 target；否则拒绝或转为可见内容 crop target。变体共享干净页的重复组身份，因此语义覆盖统计只计源一次，而采样可控制变体曝光。 Stage II 诊断与验证。精炼池约五百万记录。先用冻结 θ1 在训练池分析样本 D_mine 与独立探针 D_probe 上测残差，二者与最终基准均内容互斥。页级 NED 比较完整序列化目标与预测，用于检索候选而非认证；组件通道分别计算 text=NED、table=1-TEDS、formula=1-CDM，以捕捉页面占比小但重要的失败。候选随后核查三类替代解释：目标错误（用 OCR-EDR/DocEDR 做渲染感知修复并保持结构有效）、解码失败（重复或不停止）、不可读（裁剪、模糊、遮挡、低分辨率）。只有通过目标可靠性核查、且修复后 checkpoint 仍显著出错的记录才进入 verified hard set H 并允许 oversampling；若修复消除错误，只能入普通监督。 视觉-结构聚类与覆盖诊断。聚类特征 z_i=[PCA(h_i);η_str b̃_i]，h_i 为冻结 SigLIP2 嵌入，b̃_i 是组件构成、密度、语言、版式、采集条件与目标长度的归一化结构元数据，η_str 控制结构权重。中心为拟合记录均值，拟合后冻结；新记录按最近中心分配。覆盖优先级结合 -log 记录占比与簇内离散度，标记小而弥散的簇。探针误差 R_k 为可靠探针记录的加权平均；用 γ_k=n_k^eff/(n_k^eff+λ_sh) 向全局均值 R̄ 收缩，小簇更依赖先验，空簇不产生局部误差。随后跨簇标准化并截断得到 g_k；组件通道独立聚合，取最大正标准残差 D_k^elem。最终优先级为覆盖优先级、总体残差、组件残差的非负加权和，只用于指导审核，不自动入训。审核请求转成真实检索或定向合成，新数据仍需通过监督、可靠性与去重检查。 Stage II 分配。对已验证错误增加 token 曝光，同时重放 Stage I 高质量样例防遗忘；所有曝光计入 B2。阈值与混合比例在预设训练池 fold 上校准，公共基准只在数据集与配置冻结后运行；同规模模型共享 system prompt、图像预处理与确定性解码，用官方协议与同一 evaluator，每 checkpoint 推理三次取均值。

实验分两层：其一是在 OmniDocBench v1.6 与 PureDocBench 三个对齐轨道上，把最终模型同通用 VLM、流水线系统与端到端专家比较；其二是比较 Stage I 与 Stage II 的成对结果，观察能力精炼在干净与降质页上的整体收益。报告覆盖文本、公式、表格、阅读顺序与综合分数；对 PureDocBench 使用三轨平均。具体数值与逐字原文见 experiments 的 claim–quote 对，本总评不重复数字。

1. 最终 4B 在 OmniDocBench v1.6 的 Overall 为 95.38，PureDocBench 三轨平均 Overall 为 75.54，并在四个设定中居端到端解析器首位。

   WeVisDoc-4B achieves an Overall score of 95.38 on OmniDocBench v1.6 and a mean Overall score of 75.54 across the three PureDocBench tracks, ranking first among the compared end-to-end parsers in all four settings.

2. 2B 与 4B 在 OmniDocBench v1.6 的 Overall 分别为 95.06 与 95.38。

   the final 2B and 4B models achieve Overall scores of 95.06 and 95.38, respectively

3. 4B 在 OmniDocBench v1.6 上把此前领先结果提高 0.64，并在 TextEdit、FormulaCDM、TableTEDS_S、ROEdit 上领先。

   WeVisDoc-4B establishes a new state of the art among the compared end-to-end specialists, achieving 95.38 Overall and improving the previous leading result by 0.64 points. It also leads this series in TextEdit (0.036), FormulaCDM (96.81), TableTEDS_S (95.34), and ROEdit (0.125).

4. PureDocBench 上 4B 比领先的通用基线 Qwen3.5-122B-A10B 高 1.43；Clean 为 79.81、Digital Degraded 为 77.74，Real Degraded 的 69.08 把端到端 SOTA 提高 1.44。

   exceeding the leading broad-domain baseline, Qwen3.5-122B-A10B, by 1.43 points. It also achieves the highest Overall scores on Clean (79.81) and Digital Degraded (77.74), while its 69.08 on Real Degraded advances the previous end-to-end state of the art by 1.44 points.

5. 2B 在 PureDocBench 三轨平均为 73.86，Clean 为 79.36、Digital Degraded 为 76.62。

   WeVisDoc-2B delivers top-tier end-to-end performance with 73.86 Avg 3 \mathrm{Avg}_{3} , including 79.36 on Clean and 76.62 on Digital Degraded.

6. 从 2B 到 4B，Clean、Digital Degraded、Real Degraded 分别提升 0.45、1.12、3.48，容量收益在更强外观偏移下最大。

   Scaling from 2B to 4B yields gains of 0.45, 1.12, and 3.48 points on Clean, Digital Degraded, and Real Degraded, respectively, indicating that additional capacity is most beneficial under stronger appearance shifts.

7. Stage II 相对 Stage I 在两个基准与两个规模上均提高 Overall，降质轨增益更大，4B 在 Real Degraded 上提升 4.03。

   Compared with Stage I, Stage II improves Overall scores for the 2B and 4B models on both benchmarks, with larger gains on the degraded PureDocBench tracks, including a 4.03-point gain for the 4B model on the Real Degraded track.

8. 2B 在 OmniDocBench v1.6 的 FormulaCDM 为 95.94、TableTEDS 为 93.03、TableTEDS_S 为 95.26。

   WeVisDoc-2B delivers top-tier end-to-end performance with 95.06 Overall, together with 95.94 FormulaCDM, 93.03 TableTEDS, and 95.26 TableTEDS_S.

Novelty：主要新颖点是把文档解析的数据扩展组织成“覆盖构建→能力诊断→目标化精炼”的闭环，并把监督优化预算定义为损失承载的 target token 而非记录数。这比单纯扩大语料或按样本重加权更明确地区分“新增支持”与“增加已有支持曝光”。独立探针与视觉-结构簇上的收缩残差估计、先验证目标再 oversample 的硬样本挖掘、以及结构保持的降质合成，构成一个可复用的数据工程接口。其诊断部件本身并非全新（编辑距离、TEDS、CDM、聚类、收缩估计均有先例），组合方式与“残差需先归因”的设计原则是该文相对 UACS、Rho-1、MinerU2.5-Pro 等工作的增量。 Soundness：方法推导较清晰：token 归一目标与流到记录抽样概率的换算能保证期望 token 份额；探针与训练、挖掘、评估分离降低了数据窥探；硬样本必须排除标注错误、不可读与解码失败后才用于 oversampling；基准评测使用官方协议、同一 evaluator 与多次推理，阶段比较在同骨干内进行。主要削弱在于：Stage II 是复合干预，论文自己也承认不能把收益归因于残差感知分配；缺少单变量消融与超参数敏感性（ρ、δ_ann、η_str、λ_sh、降质 token 份额、阈值）；诊断质量依赖冻结 SigLIP2、PCA 与聚类设定；部分基线结果来自作者评估管线，跨系统公平性受限。综合看，整体结论有支持，但机制性主张的证据强度中等。 Significance：对文档解析的工程实践有较高意义：它证明在两个小型骨干上通过数据预算与可靠诊断即可达到端到端领先，训练混合可被当作可优化的接口。对于真实采集降质，论文给出结构保持增强与可追溯真值的处理方式，并强调把可靠性验证纳入硬样本挖掘。该流程有潜力迁移到其他视觉-文本结构化任务，但当前证据限于文档解析与两个基准，尚不足以宣称对通用多模态训练同样有效。

作者承认：证据受基准覆盖和合成降质保真度约束，手写、历史扫描、严重损坏与更广采集条件仍测量不足；残差重配依赖探针、表示模型、聚类与 evaluator，并带来额外计算；阶段比较不能隔离单项干预。除此之外，论文未报告训练算力、吞吐、端到端时延与人工审核成本；未对 Stage II 各子干预做消融；数据去重、重复组上限与污染控制的审计细节不充分；收缩估计中的先验、聚类数与结构元数据权重等超参稳健性未知；与外部系统的对比部分经自建管线重测，存在协议差异风险。因此“排名第一”的稳健性应结合官方榜单与更多次运行方差解读。

后续工作可优先：1）对 Stage II 的验证、聚类诊断、定向合成、重放与重配做单变量消融，并画 token 预算-性能曲线；2）以真实采集语料替代或校准合成降质，评估对 Real Degraded 的泛化；3）研究探针规模、聚类数量、λ_sh、η_str 与表示模型对诊断稳定性的影响，提供可解释的簇描述；4）将固定预算接口扩展到多语言、多领域与更细组件粒度；5）降低诊断与重配计算成本，探索在线更新；6）报告训练成本、数据泄漏审计、人工审核率与多次运行的置信区间；7）在更多基准和真实业务文档上验证，尤其手写、历史档案与严重损坏页面。

本文是一篇评测基准论文，不提出新模型或新训练方法。它面向新兴的全模态生成模型（Omni-Model），以 MiniMax-H3 为受试系统，核心问题是：多模态对齐能否提升模型对物理世界的推理能力，以及全模态输入能带来怎样的新评测范式。论文的关键主张是：既有视频生成与世界模型评测大多让文本提示显式描述目标事件，其他模态只是冗余或局部条件，无法检验模型是否真正跨模态推理；因此本文改用“隐式提示”，把决定事件的关键语义从文本中抽走并分散到图像、视频、音频等多模态观测中，要求模型先对齐、推断再生成，生成视频即其推理的行为化读出。围绕多视角空间推理、音频消歧推理、视频决策推理、视听整合推理四类场景，论文构建专家校验评测集并报告成功率，据此暴露“支持多模态输入”与“可靠完成多模态推理”之间的差距。

全模态生成模型近年把文本、图像、视频、音频统一到单一架构；MiniMax-H3 进一步把多模态上下文理解与音视频联合生成结合，使同一潜在事件的多份部分观测可作为联合条件输入，并通过生成结果观察模型如何解释这些观测。这自然引出一个问题：模型是否只是“接受”多种模态，还是会真正跨模态对齐与推理。一个模型可能支持全模态输入，却忽略非主导证据、不建立跨模态对应，或主要依赖文本先验。 既有基准难以回答这个问题。VBench 主要测视频生成质量，WorldModelBench 测世界模型的指令遵循与物理遵循；在多数设置中，提示明确描述期望输出，附加模态是冗余或局部条件信号。因此模型即使不识别输入间关系，也常能生成看似合理的结果。这类基准测的是“能否生成被告知的内容”，而非“能否判断应当生成什么”。 相关脉络还包括：视频生成评测中的物理忠实与音视频一致性（VideoPhy、AV-Phys Bench），跨模态推理评测（ROVER、OmniVideoBench），以及把生成序列当作任务解法的推理评测（VideoThinkBench、TiViBench、Gen-ViRe、RISE-Video）。世界模型评测（WorldScore、WorldMark、Omni-WorldBench）则关注空间结构保持、控制对齐与交互响应。本文承接这些方向，但把重心放在任务相关信息如何跨输入分布：空间任务要求整合互补视图，决策任务要求从观测动态推断应做出的响应，成功与否看生成结果是否满足由输入证据支持的语义约束。

机制部分说明本文的评测设计如何运转。全文没有训练新模型，MiniMax-H3 是作为预训练全模态生成系统被评测；因此“机制”的核心是任务构造、隐式提示设计、数据与标注流程，以及评测判据。 （1）总体设计：隐式全模态生成。 传统生成评测中文本提示完整指定目标事件，其他模态是冗余条件。本文反其道而行：把决定目标事件的关键语义从文本提示中刻意省略，并将其分散到多个输入模态中。每个模态只提供部分证据，只有通过对齐并联合解释观测才能恢复目标事件。模型必须依次完成：识别相关证据、建立跨模态关系、推断潜在事件、再通过视频生成补全该事件。生成视频由此成为推理过程的行为读出：输出是否与多模态证据一致，被用来判断模型是否恢复了被省略的语义，而不是仅仅执行显式生成指令。 （2）任务形式化。 给定任务提示 q 与观测 x，模型生成输出视频 Ŷ ∼ pθ(Y | q, x)（式 1）。pθ 是 MiniMax-H3 诱导的、以条件为输入的输出视频分布。文本提示只说明任务而不显式给出目标推断，迫使模型从观测中推出目标。 - 多视角空间推理（MSR，式 2）：给定 K 张不同视角图像 I={I(k)}，生成 Ŷ_MSR ∼ pθ(Y | q, I)。实例被设计为目标空间推断取决于分散在不同视图中的证据；模型必须建立跨视图对应、处理视点变化与遮挡，推断单一视图无法完整观察到的空间关系。评测看生成视频是否与输入视图共同支持的空间关系一致。 - 音频消歧推理（ADR，式 3）：给定一张允许多种合理解释的静态图像 I 与提供判别性证据的音频 A，生成 Ŷ_ADR ∼ pθ(Y | q, I, A)。图像单独看目标解释欠定，音频提供区分候选解释的线索；模型须识别声学线索、将其与图中物体或事件关联，并生成与两模态共同支持的解释一致的视频。论文给的直觉例：桌上三只不同材质杯子有一只掉落，落地的声音是判断“哪只杯子掉了”的证据。 - 视频决策推理（VDR，式 4）：给定前缀视频 V_{1:T}，生成续写 Ŷ_VDR ∼ pθ(Y | q, V_{1:T})。前缀提供运动、状态变化与交互的时间证据，模型须在不显式指定动作的提示下，推断全模态模型应采取的响应。直觉例：球滚向道路暗示儿童可能跟随，车辆应在潜在危险可见前停下。评测聚焦生成续写是否顾及观测事件的可合理后果，同时与场景动力学一致。 - 视听整合推理（AVIR，式 5）：给定视频 V 与音频 A，生成 Ŷ_AVIR ∼ pθ(Y | q, V, A)。视频可以是前缀或完整序列，音频不必与视频在时间上对齐。续写任务要求结合观测动态与音频内容推断后续事件；编辑任务要求把口语约束落实到视频中、识别错误内容。与 ADR 消歧静态观测不同，AVIR 要求在视觉事件序列的上下文中解释音频，考察续写或修订是否纳入相关音频内容并保持与视频一致。 （3）数据构造流程。 - 源采集：收集真实与合成视觉/声学数据，包括图像、视频、录音，以及生成模型产出的剪辑（音频用 ChatGPT Voice，视频用 Seedance 2.0）。合成数据用于构建现有记录难以获得的受控条件。每个源都要筛查感知质量、语义连贯性与任务适配性；视觉伪影或事件结构不清、无法支撑评测证据的源被剔除。 - 任务实例构造：对每个实例选定输入观测、定义输出目标、撰写视频生成提示。输入按四场景组织：MSR 为同一场景的多视角提供空间关系互补证据；ADR 为静态图像的多种解释配一条可区分的音频；VDR 为包含运动/状态变化/交互的前缀视频配一个应在续写中表达的预判响应；AVIR 为前缀或完整视频配声学证据或口语约束，支持续写或纠错编辑。对每个实例明确“支持目标的证据”与“有效输出应满足的语义要求”；这些要求针对生成视频所表达的推断，而非外观或运动的唯一实现。 - 隐式提示构造：在选定观测与语义目标之后，构造只说明任务、但隐去待推断信息的提示。用 ChatGPT 与开源 Qwen3 生成候选表述与语言变体，再由专家编辑与核验。构造遵循两条准则：文本单独不应泄露目标解释或生成内容；多模态输入应提供足够证据推断生成结果。论文举例说明，对 AVIR，音频可能给出约束，但“识别其违反”与“确定所需修正”仍要由视频落地。凡泄露答案、模糊请求内容、或要求输入不支持的假设的提示都会被改写。 - 迭代专家复审：每个条件-提示候选都经过多轮（论文称 10-loop）专家复审，从四个维度核验：场景复杂度（有足够的任务相关物体/关系/动态）、推理丰富度（达成目标需要时空/物理/语义推理，而非直接复现提示）、条件对齐（输入共同支持标注目标，视频与音频约束的故意不一致应定义所需修正）、提示隐式性（提示不点明目标推断但清楚说明任务）。专家还核验每对条件-提示是否提供足够证据、同时允许生成视频有合理变化。未通过的组合通过调整提示或替换输入条件后重新评估。 （4）实例表示与评测协议。 清洗、过滤、人工核验后，每个实例记为 E_i=(q_i, x_i, τ_i)：q_i 是隐式任务提示，x_i 是输入观测，τ_i 标识所属推理场景。观测随场景为多图、图+音频、视频前缀、或（前缀/完整）视频+音频。每对条件-提示都被核验为能在 MiniMax-H3 上通过视频生成支撑目标推断。 评测上，论文采用成功率（SR）作为主指标：给定子集 D 与二元标签 s_i∈{0,1}，SR(D)=100/|D|·Σ s_i（式 6）。专家独立评测每个生成视频，再结合对应输入与任务说明交叉核对。由于每个样本允许多个有效输出，评测看生成视频是否满足目标任务要求，而非匹配单一参考视频：MSR 看是否保持所需空间关系与跨视角协调动作；ADR 看生成事件是否与所给音频一致；VDR 看续写是否遵循观测运动与任务约束；AVIR 看音频是否正确反映在相关视觉内容中。视觉上合理但不满足任务条件的视频判为不成功。 小结：本文机制贡献在于“隐式提示 + 分散多模态证据 + 生成视频作为读出 + 专家语义判据”的评测范式，而不是新的生成算法或训练目标；其对训练细节的涉及仅限于数据来源与构造过程。

实验部分把 MiniMax-H3 在多类物理世界推理场景上的表现做了系统测量。评测集覆盖多个场景及若干子类，来源兼有真实与合成数据，并经同一套输入-提示构造与专家核验。评测采用成功率指标，由专家独立判断并交叉核对，判据是生成视频是否满足相应任务条件，而非是否与某个参考视频匹配。结果显示：视频决策推理相对最强，音频消歧推理最弱，多视角空间推理与视听整合推理居中。总体成功率表明模型仍在相当比例样例上失败。分任务看，多视角任务中穿线、倾倒等表现较好而清洁、关节运动、搬运较弱；视频决策任务中人、动物、交通动态较好而卡通、拼图较差；音频消歧中自然声相对好而机械、接触、警报声较差；视听整合中活动与制作类较好而动画与动物类较差。定性上模型常能生成视觉合理的延续并跟随主导线索，但失败案例反复出现证据锚定错误、事件实现不完整、物理与构型违反、时序状态不一致等问题。论文由此提出观察：视觉合理不等于物理一致；多模态输入支持不等于多模态推理；生成式评测反映的是“理解—整合—生成”全链条，单靠总体成功率难以归因。

1. 总体结果：MiniMax-H3 在 517 个评测实例上的总体成功率为 41.97%。

   Across 517 evaluation instances, MiniMax-H3 achieves an overall success rate of 41.97%

2. 四类场景成功率：视频决策推理最高（56.00%），其后为视听整合推理（47.89%）、多视角空间推理（43.50%），音频消歧推理最低（27.40%）。

   Among the four scenarios, VDR achieves the highest SR (56.00%), followed by AVIR (47.89%), MSR (43.50%), and ADR (27.40%).

3. 场景间最大差距出现在视频决策与音频消歧之间，相差 28.60 个百分点。

   The largest performance gap is observed between VDR and ADR, with a difference of 28.60 percentage points.

4. 评测集规模与构成：共 517 例、29 个子类；其中 MSR 200 例（10 子类）、VDR 100 例（8 子类）、ADR 146 例（6 子类）、AVIR 71 例（5 子类）。

   Our evaluation set contains 517 instances spanning four scenarios and 29 subcategories: MSR (200 instances; 10 subcategories), VDR (100; 8), ADR (146; 6), and AVIR (71; 5).

5. 多视角空间推理总体 43.50%；其中穿线（threading）75.00%、倾倒（pouring）58.30%，而清洁、关节运动、搬运约在 33–35%。

   MSR reaches an SR of 43.50%. Performance varies notably across manipulation tasks: threading achieves 75.00% and pouring 58.30%, while cleaning, articulation, and transport remain around 33-35%.

6. 视频决策推理总体 56.00%；人物、动物、交通动态相对较好，卡通与拼图分别降至 20.00% 与 16.67%。

   VDR performs best overall, reaching 56.00% SR. The model handles human, animal, and traffic dynamics relatively well, but performance drops substantially on cartoons and puzzles, where success rates fall to 20.00% and 16.67%, respectively.

7. 音频消歧推理总体 27.40%，为最困难场景；自然声相对较好，机械、接触、警报声仍困难。

   ADR is the most challenging scenario, with an SR of only 27.40%. Nature sounds are handled better than other categories, whereas machinery, contact, and alert sounds remain difficult.

8. 视听整合推理总体 47.89%；活动（activities）与制作（making）任务较好，动画与动物相关案例更难。

   Finally, AVIR reaches 47.89% SR. The model performs better on activities and making tasks, while animation and animal-related cases remain more difficult.

9. 摘要层面的关键结论：视频决策推理成功率 56.00% 最高，音频消歧推理 27.40% 最弱。

   Video-based Decision Reasoning yields the highest success rate at 56.00%, while Audio-based Disambiguation Reasoning is the weakest, reaching only 27.40%.

10. 正文实验部分对总体成功率的另一表述：全部 517 个样本的总体成功率为 41.97%。

    Overall success rate across all 517 samples: 41.97%.

Novelty：新颖性判断：中等偏上。核心新意在于“隐式提示 + 分散多模态证据”的评测构造：把待推断语义从文本中移除、迫使模型跨模态对齐并以视频生成作为读出，这与 VBench、WorldModelBench 等“显式提示”范式形成清晰对照，问题设定有辨识度。四类场景（跨视图空间、音频消歧、视频决策、视听整合）虽各有前例（如多视角空间关联、音频引导生成、物理预测、音视频一致），但把它们统一到“每模态只提供部分证据、需联合推断”这一同一框架下，仍是有价值的整合。不过，本文不提出新模型、新算法或新自动度量，评测规模与指标也相对基础（成功率加人工判定），方法层面的原创性有限。总体上属于“概念与评测范式创新”多于“技术方法创新”。 Soundness：严谨性判断：中等。设计逻辑自洽：数据经过多源采集、隐式提示构造与多轮专家复审，且明确给出每条实例的证据与语义判据；专家独立评测并以任务条件而非参考视频为判据，符合生成式开放输出的特点；成功率公式简单清晰。但存在明显薄弱点：未报告评分者间一致性（如 kappa 或一致率），无法评估人工判定的可靠性；仅评测 MiniMax-H3 单一模型，且没有消融（如去掉某模态、替换音频保持视觉不变）来分离理解、整合与生成环节的错误来源；不同场景的数据、提示与目标不同，作者自己也承认跨场景数字主要反映任务层面差异而非模态能力差异；无统计显著性检验或误差范围；失败类型只有定性列举而无定量分布。因此结论方向可信，但作为严谨基准的度量学证据不足。 Significance：影响力判断：中等。时点上契合全模态生成模型兴起的趋势，提出的隐式评测思路为后续基准提供了可迁移的模板（隐去关键语义、跨模态互补证据、生成即读出），对社区有启发意义；它揭示的“多模态输入支持不等于多模态推理”以及“视觉合理不等于物理一致”，是重要且可操作的研究问题。但当前版本只覆盖单模型、单版本，人工评测不可扩展，且没有自动化评测方案，限制其被广泛复现与长期追踪的潜力；若后续能扩展多模型、自动判分与消融诊断，其影响力会显著提升。

1) 单模型限制：全文仅评测 MiniMax-H3，没有与其他全模态模型或同一模型的不同模态组合对比，无法判断所暴露问题是个体模型缺陷还是该类模型的系统性缺陷。 2) 归因困难：生成视频是理解、跨模态整合、生成三阶段的复合产物，失败可能来自任一环节；论文在讨论中也承认需要删除单模态或替换音频等对照实验来分离因素，但并未实施。 3) 度量可靠性不足：采用人工二元成功率，未报告评分者间一致性、仲裁流程或不确定性；“满足任务条件”的语义判据仍可能因样本而异。 4) 规模与多样性有限：评测集在样本量与子类数量上都较有限，MSR 偏家庭操作、ADR 依赖声音类别，来源含生成模型合成数据，存在域偏；结论外推需谨慎。 5) 场景间不可直接比较：四类任务的数据、提示、目标不同，论文自己指出跨场景差异反映任务难度而非模态优劣。 6) 隐式性难以客观保证：提示隐式程度依赖专家判断，缺少对“文本泄露程度”的自动或定量校验，可复现性受限。 7) 无自动评测：当前框架无法规模化追踪未来模型，论文也把自动化评测列为未来工作。 8) 评测指标单一：仅总体/子类成功率，缺少对失败类型、时空一致性、音画对齐细粒度的量化。

1) 多模型基准化：将同一评测集用于多个全模态模型，报告相对强弱与共同失败模式，判断问题是否具有普遍性。 2) 受控消融：删除或替换单模态（去音频、换音频、只给单视图、遮蔽提示），以分离“证据提取—跨模态对齐—生成执行”各环节的错误来源。 3) 自动化评测：训练或提示 VLM 评委，结合物体检测、动作识别、音画对齐与物理一致性检测器，把人工判据转化为可复现的自动分数，并保留人工子集做校准。 4) 报告评分者间一致性：给出 Cohen's kappa、一致率与仲裁机制，建立项目难度与区分度分析。 5) 数据扩展与负样本设计：增加反事实音频、遮挡与视点变化、跨域场景，并设计“音频与视觉冲突”的诊断子集。 6) 细粒度指标：将失败类型（证据锚定错误、事件实现不完整、物理/构型违反、时序不一致）量化，形成可追踪的能力画像。 7) 训练侧研究：把这些隐式多模态任务用于指令微调或强化反馈，观察能否改善跨模态推理与物理一致性，而非仅作为评测。 8) 与论文提到的 Chain-of-Frames 联系起来，研究显式中间帧推理能否提升最终事件完成度。

本文是对 on-policy distillation（OPD）中长度膨胀现象的一项机制诊断研究。它没有提出新的训练算法，而是把一个实现层面的根因——基础学生与后训练教师在终止 token 上的偏好错配——单独拿出来做系统消融。文章的核心定位是：在 Qwen3、Llama、Gemma 等常见家族中，两个模型即使声明相同的解码停止集，也可能把“停止”这一语义放在不同 EOS token 上；这种错配通过 sampled-token OPD 的逐 token 信号压制学生的原生终止动作。相比已有解释（reverse-KL 熵塌缩、rollout 退化、预算诱导的后期崩溃），本文把 termination mismatch 视为一个可先诊断、可单独修正的入口条件，并用解码层与概率层修正的对比、多家族验证和 K2-Horizon 阶段分析划定其解释边界。

On-policy distillation（OPD）让学生在自己的 rollout 上接受固定教师的逐 token 监督，从而把后训练行为迁移到学生。与离线 SFT 或静态蒸馏不同，OPD 的监督发生在学生实际访问的 prefix 上，因此学生一旦开始偏离教师分布，后续监督会持续受影响。近年来多项工作报告 OPD 中学生回复过长、截断、重复或耗尽生成预算，即 length inflation。已有解释包括 reverse-KL 目标导致的熵塌缩、大预算下教师监督质量下降、rollout 质量退化和局部可教性塌缩；相应缓解包括 prefix 蒸馏、轨迹剪枝、教师接管或混合行为策略等。另一条线注意到 special token/EOS 不匹配，例如 Fu et al.（2026）遮蔽问题特殊 token，Plyusov et al.（2026）对 Qwen3 做 EOS canonicalization。本文的切入点是终止 token：在自回归生成中，结束响应由特殊 EOS token 触发；基础模型和后训练模型可能声明不同的停止集合，也可能声明相同集合但把停止概率放在不同 token 上。文章把这一现象从先前的“实现细节”提升为研究对象，区分解码停止集对齐与概率层终止语义对齐。

核心机制围绕 sampled-token OPD 的更新式展开。对前缀 s_t=(x,y_{<t})，学生采样 y_t，更新信号为 A_t = log π^E(y_t|s_t) − log π_θ(y_t|s_t)， g_t = A_t ∇_θ log π_θ(y_t|s_t)。 A_t 被 detach，按所有有效生成 token 平均，无 reward-to-go。关键限制是：教师只评价学生实际采样的那个 surface token，而不是整个动作空间。因此“停止”如果被编码到不同 token，就会被当作不同动作分别奖励或惩罚。 终止错配如何进入监督。设 ℰ_EOS 是 rollout 协议中等价的终止 token 集合，e★ 是基础学生原生支持的 EOS。即使两个模型声明相同的 ℰ_EOS，也可能把停止概率放在不同 token 上。以 Qwen3 为例，基础学生把停止概率主要放在 <|endoftext|>，后训练教师主要放在 <|im_end|>；学生对教师偏好的 <|im_end|> 的概率几乎为零，因此很少采样到它。学生一旦采到自己的 <|endoftext|>，教师在该 surface token 上概率低，于是 A_t(e) = log π^E(e|s_t) − log π_θ(e|s_t) 为负，学生原生终止动作被反复压低；而教师偏好的 token 因采样覆盖率低而得不到直接监督。结果是学生终止概率塌缩，回复持续生成、裁剪率上升。这是一种采样覆盖限制：teacher-preferred EOS 概率过低，直接 on-policy 更新很少到达它。 四种处理策略。Fix 1（共享停止集解码）只在 rollout 时把两个 EOS 都注册为停止 token，目标函数和模型概率不变。它没有改变学生原生 EOS 受到的负监督，也没有提高教师偏好 token 的采样概率，因此几乎与 vanilla OPD 重合。这说明问题在目标而非解码接口。 Fix 2（教师侧 EOS 映射）把教师在所有 ℰ_EOS 上的概率质量映射到 canonical 学生 EOS： π̃^E(e★|s_t) = Σ_{e∈ℰ_EOS} π^E(e|s_t)。 其他 EOS 概率置零；实现中保留极小概率以维持数值稳定，并调整 e★ 使总质量不变。学生分布不变，rollout 只在 e★ 停止。这样教师对“停止”的总体偏好被映射到学生已经支持的 surface token。 Fix 3（语义 EOS 类）不指定 canonical surface token，而是把所有 ℰ_EOS 视为单一语义动作 stop。对任意 π∈{π_θ,π^E}： π̄(stop|s_t) = Σ_{e∈ℰ_EOS} π(e|s_t)， 非 EOS 动作保持 π̄(a|s_t)=π(a|s_t)。若采样 y_t 是 EOS，则替换为 ȳ_t=stop，否则 ȳ_t=y_t。随后按标准更新： A_t = log π̄^E(ȳ_t|s_t) − log π̄_θ(ȳ_t|s_t)， g_t = A_t ∇_θ log π̄_θ(ȳ_t|s_t)。 于是 EOS 样本通过总停止概率获得监督，非 EOS 不变；rollout 中所有 ℰ_EOS 都注册为停止 token。它不要求两个模型学习相同的 token 偏好，只要求它们对“停止”这一语义的总概率被比较。 Fix 4（canonical 单 EOS 动作空间）把教师 EOS 质量映射到 e★（同 Fix 2），并把学生采样分布中的其他 ℰ_EOS token 删除后重新归一化；同一重归一化分布也用于 actor log-prob 计算，rollout 只在 e★ 停止。这得到一致的单一终止动作空间。 选择逻辑。Fix 2 在已知 Qwen3 错配下最简，只改教师分布；Fix 4 进一步约束学生动作空间；Fix 3 更适合跨家族或同声明集但不同偏好的情形，因为它不要求预先指定 canonical surface form。文章用 Fix 2 作为 Qwen3 显式错配的最简修正，用 Fix 3 作为跨家族默认。 跨家族机制。Llama 3.2 与 Qwen3 类似：基础模型声明 <|end_of_text|>，后训练模型还识别 <|eom_id|>、<|eot_id|>。Gemma 3 提供更一般的证据：PT 与 IT 已声明相同停止 token <eos> 与 <end_of_turn>，但学生主要把停止概率放在 <eos>，教师偏好 <end_of_turn>；语义修正后学生恢复终止而不必采用教师的 surface token。因此，真正的问题不是“声明集不同”，而是“相同语义停止被表示成不同 token 的概率分布”。 训练与数据细节。主消融使用 Qwen3-1.7B-Base 作为学生、Qwen3-4B（非思考模式）作为教师；跨家族使用 Llama-3.2-3B Base/Instruct 与 Gemma-3-4B PT/IT；阶段分析使用 K2-Horizon-7B 的 pretrain_final、mid_1_final、sft_1_final、main 检查点。每对学生和教师共享 tokenizer 与词表。训练数据为 DAPO-Math-17K，默认 TTRL 模板要求最终答案放在 \boxed{} 中，另有 DAPO 模板和 raw-question 模板；教师固定，学生按策略采样。评估使用 AIME24、AIME25、AMC23 的 Avg@16，并同时追踪训练期平均长度、裁剪率、终止概率。具体步数、批大小、长度预算、采样温度等数值见“实验”部分的原文引用。 阶段与残差动力学。K2-Horizon 的声明停止集跨阶段不变，pretrain 学生偏好 <|ifm|endoftext|>，final 教师偏好 <|ifm|im_end|>；这种偏好在 midtraining 已大部分转移。因为 pretrain 学生对教师偏好 token 已有非零概率，vanilla OPD 能采样到它并获得直接监督，从而转移表面 token。但之后仍出现 Phase 3 再膨胀：即使语义 EOS 修正后，终止概率也再次下降、长度上升。这说明 termination mismatch 是重要但非穷尽机制。 附录 C 进一步用 trajectory-level reverse KL 分析早期长度漂移。轨迹一致更新的系数为 A_t* = log π^E(y_t|s_t)/π_θ(y_t|s_t) − V_θ(f(s_t,y_t))， 而局部 OPD 只保留前一项，丢弃后继状态价值 V_θ。对停止 logit 的期望更新差为 Δ_e* − Δ_e^OPD = p_θ(s) C_θ(s) ≥ 0， 其中 p_θ(s)=π_θ(e|s)，C_θ(s)=E_{y∼π_θ(·|s)}[V_θ(f(s,y))]。直觉是：停止后未来 KL 为零；继续动作会带来未来错配惩罚，softmax 耦合下惩罚 continuation 会相对提高停止偏好。局部 OPD 丢弃这些后继惩罚，因而系统性地少给停止 logit 上行压力，可能解释修正后仍存在的 transient 长度增长。

实验分为四个层次。第一，Qwen3 主消融对比 vanilla OPD 与四种终止处理：仅共享解码停止集、教师侧 EOS 映射、语义 EOS 聚合、canonical 单 EOS 动作空间；结果显示仅改解码接口几乎无效，概率层修正使长度、裁剪率和原生终止概率恢复到接近教师参考。第二，跨家族验证在 Qwen3、Llama 3.2、Gemma 3 上重复 base-to-post-trained 蒸馏，确认语义 EOS 修正能降低错配导致的长度膨胀，其中 Gemma 证明即使声明停止集相同也会发生错配。第三，K2-Horizon 阶段分析以 final checkpoint 为教师、早期检查点为学生，显示终止偏好主要在中训练阶段迁移，但 Pretrain-to-Final 后期仍出现无法由 EOS 错配解释的再膨胀。第四，模板与 grader 分析显示训练模板影响长度、评估格式和 grader 影响测得准确率，长度膨胀不一定对应推理能力损失。总体而言，证据链是消融—跨家族—阶段—评估混杂因素的递进。

1. 在 Qwen3 终端状态附近，基础学生给教师偏好的 <|im_end|> token 的概率约为 10^{-11}，因此仅把该 token 加入停止集几乎没有实际作用。

   The student also assigns very small probability to the teacher-preferred <|im_end|> token, approximately 10 − 11 10^{-11} around terminal states.

2. 在 vanilla Qwen3 OPD 中，学生原生 EOS 的概率从约 0.8 降到接近零，同时响应长度与裁剪率上升。

   Consistent with this mechanism, the probability that the student assigns to its native EOS falls from roughly 0.8 0.8 early in training to near zero in Figure 2 , while response length and clipping increase.

3. 仅共享解码停止集的 Fix 1 几乎重复 vanilla OPD 的长度与裁剪轨迹，不能消除失败。

   As shown in Figure 4(a) , Fix 1 follows nearly the same response-length and clipping trajectory as vanilla OPD and does not remove the failure.

4. 概率层面的三种修正（Fix 2、3、4）行为相似，使响应长度和裁剪率接近教师参考，且学生原生终止概率不再塌缩。

   whereas Fixes 2, 3, and 4 reconcile termination at the probability level and behave similarly: response length and clipping remain substantially closer to the teacher references, and the native termination probability of the student no longer collapses.

5. 跨家族实验中，语义 EOS 修正显著降低 Qwen3、Llama 3.2、Gemma 3 的响应长度和裁剪率；Qwen3 与 Gemma 3 接近教师参考长度，Llama 3.2 保留较大残差。

   Relative to vanilla OPD, the semantic EOS correction substantially reduces response length and clipping in Qwen3, Llama 3.2, and Gemma 3, where Qwen3 and Gemma 3 approach their corresponding teacher reference lengths relatively closely and Llama 3.2 retains a larger residual gap.

6. Gemma 3 的 PT 与 IT 检查点声明相同停止 token，但学生主要把停止概率放在 <eos>，教师偏好 <end_of_turn>；语义修正后学生恢复可靠终止而不必采用教师偏好的 surface token。

   Figure 3 nevertheless shows that their learned preferences differ sharply: the student assigns its stopping probability mainly to <eos> , whereas the teacher favors <end_of_turn> , and with the semantic correction the student recovers reliable termination without adopting the surface token that the teacher prefers.

7. 原始 DAPO 评分器会低估 Qwen3-4B 教师：原始评分下 Avg@16 仅为 6.28%，格式兼容解析后为 24.34%。

   the Qwen3-4B teacher obtains only 6.28% Avg@16 under the original grader, compared with 24.34% after applying our format-compatible parsing extension.

8. 主训练协议为每步 16 个 prompt、每个 prompt 采样 4 条回复（共 64 条轨迹），训练 200 步，每 20 步保存检查点。

   Each training step contains 16 prompts with four sampled responses per prompt, corresponding to 64 trajectories per step. We train for 200 steps and save checkpoints every 20 steps.

9. 主实验训练的最大 prompt 长度为 1,024 token、最大回复长度为 7,168 token、模型上下文为 8,192 token；独立评估允许生成 8,192 token，模型上下文为 12,288 token。

   training uses a maximum prompt length of 1,024 tokens and a maximum response length of 7,168 tokens, with a maximum model context of 8,192 tokens. Independent checkpoint evaluation allows up to 8,192 generated tokens with a maximum model context of 12,288 tokens.

10. K2-Horizon 的 Pretrain-to-Final 运行训练 400 步，而 Midtrain-to-Final 与 SFT-to-Final 运行训练 200 步。

    The Pretrain-to-Final runs are trained for 400 steps, whereas the Midtrain-to-Final and SFT-to-Final runs are trained for 200 steps.

11. 评估基准 AIME24、AIME25、AMC23 分别包含 30、30、40 道题，每道题采样 16 次。

    These benchmarks contain 30, 30, and 40 problems, respectively. Each problem is sampled 16 times.

12. 实验可在四块 NVIDIA RTX PRO 6000 GPU（每块 96 GB）上运行。

    Unless otherwise specified, all experiments can be run on four NVIDIA RTX PRO 6000 GPUs with 96 GB of memory per GPU.

Novelty：审稿视角——新颖性：原始的 Qwen3 EOS 错配并非全新发现，已有工作提到 special-token masking 和 EOS canonicalization。本文的新颖性主要在机制化与系统性：它把“解码停止集对齐”和“概率层终止语义对齐”明确分开，证明前者不充分；用 Gemma 3 的同声明集案例把现象从“配置不同”推广到“学习偏好不同”；用 K2-Horizon 阶段分析表明该机制重要但非穷尽。修复手段本身是简单的概率聚合或映射，不构成算法创新。综合判断：机制洞察有清晰增量，但方法新颖性有限，属于中等偏弱到中等的新颖性。 Soundness：审稿视角——可靠性：证据链设计较清晰：从现象到解码层修复失败，再到概率层修复成功，并用多家族和训练阶段检查点提供对照。Fixes 2–4 行为相似增强了因果解释；实现细节、模板和 grader 问题披露较完整。主要不足是：仅评估 sampled-token OPD，没有 full-vocabulary baseline；跨家族只系统验证语义 EOS 聚合，未对四种修正做全交叉；缺乏多随机种子、方差估计或显著性检验；长度/裁剪曲线多为描述性结论；K2-Horizon 后期再膨胀未给出机制归因。综合判断：作为机制诊断，证据合理且可复现，可靠性中等偏上，但泛化与统计稳健性有限。 Significance：审稿视角——重要性：对实践者而言，这篇文章有直接诊断价值：在 base-to-post-trained OPD 前检查终止 token 错配，并用语义 EOS 聚合这种低成本改动避免预算饱和。对研究社区，它提醒 length inflation 可能来自实现层而非算法层，长度指标又受模板和 grader 混淆，因此不能简单把长度增长等同于推理退化。但当前结论限于单轮数学推理、中小模型和共享 tokenizer 的配对，且未解决残差后期膨胀，长期影响取决于是否能扩展到多轮、agentic 与更大规模训练。

第一，termination mismatch 不是完整解释。K2-Horizon 的 Phase 3 显示，即使语义 EOS 修正后仍会出现终止概率下降和长度再膨胀；作者明确不把这部分归因于 EOS 错配，其机制未解。第二，范围限于单轮数学推理。文中将多个 EOS token 视为操作等价，是因为它们都能结束单轮回复；在多轮或 agentic 场景中，<eos>、<end_of_turn>、消息结束、工具交接等 token 语义不同，简单聚合可能改变控制流。第三，模板与 grader 分析只在 Qwen3 上展开，未验证是否推广到 Llama 或 Gemma；训练/评估模板和 grader 的混淆使“性能提升”结论需要谨慎解读。第四，只研究 sampled-token OPD，没有 full-vocabulary 或 trajectory-consistent reverse KL 的实证对照；附录 C 的命题只提供解释性框架，未被直接实验验证。第五，模型规模和训练步数有限，且未报告多随机种子、置信区间或统计检验；跨家族只采用语义 EOS 聚合作为默认修正，其他修正在 Llama/Gemma 上的适用性不明确。第六，修复依赖人工确定 ℰ_EOS，Fix 2/Fix 4 还需要指定 canonical surface token；当终止语义随上下文变化时，这一假设可能不成立。

后续工作可以沿几条线展开。其一，把语义 EOS 聚合推广到多轮和 agentic 设置：定义上下文相关的终止/消息结束/工具交接类，而不是把所有 EOS 合并为单一 stop 动作；这需要能保留交互协议语义的 action abstraction。其二，系统研究 K2-Horizon Phase 3 的后期再膨胀：在已做 termination alignment 的条件下，结合 reverse-KL 熵塌缩、rollout 质量退化、预算与 teacher 监督质量等假说做受控消融，判断残差机制何时占主导。其三，补上 full-vocabulary OPD 与 trajectory-consistent value baseline 的实证比较，检验附录 C 中“局部 OPD 系统性少给停止 logit 上行压力”的预测，并量化早期 transient 长度漂移。其四，进行更大规模、多随机种子、更长训练步数的实验，并报告方差；在 Llama/Gemma 上完整比较 Fix 2/3/4，而不仅验证语义 EOS 聚合。其五，建立更稳健的评估协议：跨家族、跨模板、跨 grader 研究长度和准确率的解耦，避免把格式敏感度误判为推理能力变化。最后，可以把 termination alignment 与 prefix pruning、teacher takeover 等方法结合，探索在出现终止概率塌缩早期信号时的诊断与干预策略。

本文提出 JEPA-Anything，一个面向“不同世界”的域无关潜在世界建模框架，核心是把联合嵌入预测架构（JEPA）中原本单块的潜在目标，改为可学习的正交预测分解（OPF）。文章将其定位为一种共同的学习原则：各领域只需提供观测适配器、上下文—目标视图和编码器，之后共享同一套因子化预测核心。作者用视觉、单细胞、临床、干预动力学、控制、分子、物理场与天气等系统，分别检验终端读出、递归 rollout/规划、以及因子坐标科学分析三种用途，试图证明同一套容量分配机制可跨异构系统工作，并把世界建模与干预预测和可实验验证的科学发现连接起来。

世界模型的核心对象是一个预测状态：从已观测上下文构造潜在状态，再用它预测同一底层系统的另一状态，例如未来帧、被掩蔽区域、干预后状态或疾病风险。早期工作用循环潜在动力学支持控制，后来 JEPA 类方法把“上下文编码器—目标编码器—预测器”作为学习潜在预测状态的通用机制。相比重建，潜在预测更关注可预测的共享结构，避免对高方差、低语义价值的原始细节过度建模。 但常规 JEPA 仍把一个请求状态压缩成单一目标嵌入和单条预测通路。当目标同时包含局部与全局结构、多实体、多尺度变化时，容易预测或高方差的方向可能主导优化，若干潜在方向承担相似角色，弱预测结构受到冲突梯度。因此，文章把潜在状态设计视为“预测容量分配”问题：对外接口保持不变，内部则把目标状态组织成多个互补成分。 在此背景下，作者提出 OPF：用一组可学习基矩阵把停止梯度的目标表示分析成 K 个因子坐标，每个因子由专用预测头从共享上下文表示中预测，再用伪逆把预测因子合成为一个完整潜在状态。配合因子内/因子间正交、因子活动下限和在线编码器方差正则，框架试图同时获得非重叠覆盖、数值稳定合成、以及各分支可解释的预测通道。评估逻辑强调与“单块 JEPA”匹配比较：相同适配器、编码器、上下文—目标采样、优化预算、数据划分与基础损失，仅把单块预测项替换为 OPF 及其正则，以隔离因子化本身的作用。

统一接口。每个域 δ 的观测 x 经适配器 A_δ 映射为内容 token H={h_i} 和结构描述子 S={s_i}，描述子可编码图像块坐标、时间戳、图位置、实体身份或为空。视图采样器 V_δ 从指标集 Ω 中选上下文索引 C 与目标索引 T，得到 (H_C,S_C,T,S_T)。此后所有领域共享同一算法：在线编码器 f_θ(H_C,S_C) 产生上下文表示 z_c；目标编码器 f_{θ̄}(H,S)_t 为每个目标 t 产生 z_t∈R^d。目标编码器按 θ̄←mθ̄+(1−m)θ 做指数滑动平均且不接受梯度。|T|=1 时退化为单向量 JEPA。 OPF 分解与合成。设 K 个可学习投影矩阵 P_k∈R^{d×r}，选择 r 使 Kr=d。目标表示先停止梯度 z̃_t=sg(z_t)，因子坐标为 z_t^(k)=P_k^T z̃_t。每个因子有专用预测器 q_k，把共享上下文 z_c 和可选目标描述子 s_t 映射到同一 r 维空间：ẑ_t^(k)=q_k(z_c,s_t)。将所有预测因子拼接为 û_t=[ẑ_t^(1);…;ẑ_t^(K)]∈R^d，再通过分析映射 P^T 的 Moore–Penrose 伪逆合成完整状态：ẑ_t=(P^T)^† û_t，其中 P=[P_1,…,P_K]。若 P 严格正交，伪逆退化为 P，ẑ_t=Σ_k P_k ẑ_t^(k)。 动力学的递归使用。对时间、动作或干预条件实例，外生输入 ξ_t 被放入上下文 token 或目标描述子。当当前状态为 z_t 时，转移为 û_{t+1}=[q_1(z_t,ξ_t,s_{t+1});…;q_K(z_t,ξ_t,s_{t+1})]，ẑ_{t+1}=(P^T)^† û_{t+1}。重复应用即潜在 rollout，规划器可用外部奖励或任务奖励读头对轨迹打分。 损失与正则。预测损失直接回归每个因子的方向和幅值：L_pred=(1/(K|T|r))Σ_tΣ_k||ẑ_t^(k)−z_t^(k)||²₂，目标编码器输出停止梯度。正交损失 L_orth=Σ_k||P_k^T P_k−I_r||²_F+Σ_{i<j}||P_i^T P_j||²_F，第一项防止单个因子内部基退化，第二项防止不同因子重复编码相同方向。若 P_i^T P_j=0（i≠j）且 P_k^T P_k=I_r，则因子空间构成正交直和，对任意 z 有 ||P^T z||²=Σ_k||P_k^T z||²=||z||² 且 z=Σ_k P_k P_k^T z；由 Kr=d 还可得 P^T P=PP^T=I_d。相应地，若拼接因子预测有误差 e，则合成误差 ||ẑ−z||=||e|| 且条件数 κ₂(P)=1；没有跨因子正交约束时，重复方向可使 P 秩亏，近似重复方向可使条件数任意大。这为“完整覆盖 + 稳定合成”提供了几何依据。 活动正则。设 σ^{fac}_{k,j} 为小批量内因子坐标 z_t^(k) 第 j 维的经验标准差，因目标已停止梯度，该正则主要塑造投影矩阵；σ^{enc}_j 为在线上下文表示 z_c 第 j 维的经验标准差，token 化上下文在所有有效上下文 token 上计算。L_fac=(1/(Kr))Σ_kΣ_j max(0,γ_fac−σ^{fac}_{k,j}) 维持投影目标的活动；L_enc=(1/d)Σ_j max(0,γ_enc−σ^{enc}_j) 直接给在线编码器反坍缩梯度。总损失 L_OPF=L_pred+λ_orth L_orth+λ_fac L_fac+λ_enc L_enc，训练损失为 L_train^(δ)=L_base^(δ)+L_OPF，其中 L_base^(δ) 是各领域原实现已使用的基础损失。表 10 给出部分系数，例如 CITRIS 用 λ_orth=.10、λ_fac=.05、λ_enc=.02，多个动力学任务也使用 .10/.05/.02。 共享训练循环。每个实例依次：把原始观测适配为 token 与描述子；采样上下文和目标；在线编码器编码上下文、停止梯度 EMA 编码器编码目标；预测每个正交目标因子；用基础损失加 OPF 损失更新在线编码器、投影矩阵和预测器；再 EMA 更新目标编码器。 下游使用分三种。普通读出丢弃 EMA 目标编码器、投影矩阵和预测头，只保留在线编码器特征并附加任务读头 h_{δ,τ}(x)=R_{δ,τ}(f_θ^δ(A_δ(x)))；读头可选择 token、池化集合/序列、保留时间索引状态或学习探针。未来状态预测、干预预测、规划与自回归模拟则保留投影矩阵和预测器，由式(5)给出完整下一步潜在状态。因子级分析保留 P_k，计算 u_k(x)=P_k^T z_δ(x)，把因子坐标作为诊断接口。 各领域训练/数据细节。视觉实验用 DINOv3 ViT-S（d=384）和 SigLIP2 Base（d=768），K=4，r 分别为 96 和 192，在受控 MuJoCo 场景上以块掩码 patch 预测和二维位置描述子训练，标准 JEPA 与 JEPA-Anything 从同一副本开始，共享数据、掩码、优化和读头，编码器冻结后用图像不交叠和留一单元评估创新场。单细胞用 scGPT 主干的 Cell-JEPA 构造：学生看到掩码表达并预测未掩码 EMA 教师得到的细胞级嵌入；Norman 扰动实验目标为 z_response=z_observed−z_control，d=512、K=4、r=128，预训练约 80 万个人肾细胞，PBMC-10K 做微调/零样本聚类，Adamson 与 Norman 评估扰动后表达。临床用 GPT-2 small、d=768、K=4、r=192，历史编码器预测未来患者状态，共享解码器把合成状态映射到 1000 多个事件风险。CITRIS 用 d=160、K=5、r=32，对比稠密标准 JEPA，并额外与容量匹配的无约束多头条件进行几何审计。动力学基准在 CausalWorld、DMC、PDEBench、WeatherBench2 上使用 d=128、K=4、r=32，标准 JEPA 与 JEPA-Anything 在 10 个任务、5 个种子、同数据同骨干同预算下比较，rollout 接收真实连续六步动作或目标序列并逐步预测。APEBench Burgers 和 KS 用 MLP，第一线性层权重形状为 [256,64]，d=128、K=4、r=32。50 步 Burgers 用 64 格点、ν=0.01、输入维 1024、隐藏宽 256、d=128、K=4、r=32，堆叠投影形状 (4,128,32)，训练 2000 步。连续控制用 Hopper-v5、Walker2d-v5、HalfCheetah-v5，d=32、K=4、r=8，CEM 规划器；K∈{1,2,4,8} 的分支宽度校准显示参数差低于 0.3%、FLOP 差低于 2%。分子预报器为 TrajCast 风格 O(3) 等变骨干，在 l=1 扇区的 64 通道多重性轴上施加 OPF，d=64、K=4、r=16，通道投影等价于 P_k⊗I_3 以保持等变性，报告 5 个种子的一步 MAE 与 100 步 RMSD。科学分析中，生物因子坐标提名 IL-18 联合 NT5E/CD73 阻断；轨道实验从模拟位置—速度轨迹提取潜在谱模式并对照开普勒关系。

实验按终端读出、递归动力学、因子级科学分析三种模式组织。终端读出方面，因子化预训练在视觉绑定、单细胞聚类与扰动预测、以及临床事件风险预测上均优于固定基线或单块 JEPA。递归动力学方面，干预条件预测、偏微分方程、天气和分子 rollout 的整体结果偏向因子化模型，长期误差增长更慢；连续控制收益因环境而异，并非所有环境都占优。几何审计显示因子坐标接近正交、条件数接近单位值、合成误差极低。因子级分析把学习到的坐标用于生物干预提名和轨道谱表征，分别得到湿实验支持与物理定律恢复。整体上，同一核心在异构世界中展现出跨域一致的趋势，但控制任务存在环境依赖，生物学提名与外部验证仍以个案为主。

1. 视觉绑定实验中，在保持学习网格读头不变时，JEPA-Anything 相对固定检查点和标准 JEPA 在 DINOv3 与 SigLIP2 上提高 INJ 和网格恢复、降低坍缩率；例如 DINOv3 的 INJ 从标准 JEPA 的 .572 升到 .581，SigLIP2 从 .483 升到 .490。

   Backbone | Encoder pretraining | Grid supervision | INJ ↑ \uparrow | Coll. ↓ \downarrow | Rec. ↑ \uparrow DINOv3 | Frozen checkpoint | Known grid | .452 | .667 | — DINOv3 | Frozen checkpoint | Learned grid | .569 | .433 | .643 DINOv3 | Standard JEPA | Learned grid | .572 | .426 | .645 DINOv3 | JEPA -Anything | Learned grid | .581 | .417 | .659 SigLIP2 | Frozen checkpoint | Known grid | .476 | .656 | — SigLIP2 | Frozen checkpoint | Learned grid | .484 | .511 | .676 SigLIP2 | Standard JEPA | Learned grid | .483 | .514 | .679 SigLIP2 | JEPA -Anything | Learned grid | .490 | .503 | .688

2. 单细胞实验中，JEPA-Anything 在 PBMC 微调与零样本 AvgBIO、Norman 与 Adamson Pearson 四项指标上均最高，分别为 0.8301、0.7752、0.814、0.942。

   Model | JEPA | Orthogonal factors | PBMC finetuned AvgBIO ↑ \uparrow | PBMC zero-shot AvgBIO ↑ \uparrow | Norman Pearson ↑ \uparrow | Adamson Pearson ↑ \uparrow scGPT | No | No | 0.7531 | 0.5288 | 0.631 | 0.905 Cell-JEPA | Yes | No | 0.7830 | 0.7194 | 0.787 | 0.937 JEPA -Anything | Yes | Yes | 0.8301 | 0.7752 | 0.814 | 0.942

3. 临床疾病状态预测覆盖超过 1000 个未来临床事件，因子化未来状态的平均 PRAUC 高于匹配的单块 JEPA。

   forecasting of over 1,000 clinical events

4. CITRIS 干预预测中，JEPA-Anything 相对稠密标准 JEPA 将单干预一步 MSE 从 0.009541 降至 0.006218，降幅 34.83%；联合干预从 0.009441 降至 0.008223，降幅 12.90%；六步自由 rollout 从 0.009478 降至 0.008665，降幅 8.58%。

   Relative to the dense standard JEPA baseline, JEPA -Anything reduces single-intervention one-step MSE from 0.009541 to 0.006218, combined-intervention one-step MSE from 0.009441 to 0.008223, and six-step free-rollout MSE from 0.009478 to 0.008665. The corresponding reductions are 34.83%, 12.90%, and 8.58%, respectively.

5. CITRIS 几何审计显示，正交分解的跨因子重叠约为 5.18e-16，最小奇异值 0.999989，条件数 1.00005，精确因子转置合成 NMSE 约 2.98e-14；而无约束多头条件条件数高达 438.52、合成 NMSE 为 0.7886。

   Metric | Unconstrained multi-head | Orthogonal factorization Cross-factor subspace overlap ↓ \downarrow | 0.4550 ± 0.0420 0.4550\pm 0.0420 | ( 5.18 ± 0.34 ) × 10 − 16 (5.18\pm 0.34)\!\times\!10^{-16} Minimum singular value σ min ​ ( P ) \sigma_{\min}(P) ↑ \uparrow | 0.00513 ± 0.00233 0.00513\pm 0.00233 | 0.999989 ± 0.000003 0.999989\pm 0.000003 Condition number κ 2 ​ ( P ) \kappa_{2}(P) ↓ \downarrow | 438.52 ± 170.00 438.52\pm 170.00 | 1.00005 ± 0.000004 1.00005\pm 0.000004 Transpose synthesis NMSE (exact factors) ↓ \downarrow | 0.7886 ± 0.0299 0.7886\pm 0.0299 | ( 2.98 ± 0.11 ) × 10 − 14 (2.98\pm 0.11)\!\times\!10^{-14}

6. 匹配动力学基准表中，JEPA-Anything 在 CausalWorld、PDEBench Burgers 与浅水波任务的第一步和第六步 MSE 均低于标准 JEPA；DMC 像素动力学第六步也从 0.008594 降到 0.008526。

   | Standard JEPA | JEPA -Anything Task | Step 1 | Step 6 | Step 1 | Step 6 CausalWorld state prediction | 0.01306 | 0.01307 | 0.01037 | 0.01079 DMC pixel dynamics | 0.008539 | 0.008594 | 0.008498 | 0.008526 PDEBench Burgers | 0.001830 | 0.006369 | 0.001101 | 0.004014 PDEBench shallow water | 0.007090 | 0.010510 | 0.003999 | 0.006522

7. APEBench 上，JEPA-Anything 的 Burgers 外推晚段 MSE 为 0.08389、六步 rollout MSE 为 0.16153，KS 晚段 MSE 为 0.9558，均低于标准 JEPA 的 0.16621、0.29186、1.1012。

   System | Metric | Standard JEPA | JEPA -Anything Burgers | Held-out late MSE ↓ \downarrow | 0.16621 ± 0.01740 0.16621\pm 0.01740 | 0.08389 ± 0.01770 0.08389\pm 0.01770 Burgers | Six-step rollout MSE ↓ \downarrow | 0.29186 ± 0.00682 0.29186\pm 0.00682 | 0.16153 ± 0.03500 0.16153\pm 0.03500 Kuramoto–Sivashinsky | Held-out late MSE ↓ \downarrow | 1.1012 ± 0.0763 1.1012\pm 0.0763 | 0.9558 ± 0.0340 0.9558\pm 0.0340

8. 50 步粘性 Burgers 协议中，JEPA-Anything 在 ID 与高频 OOD 的 H20/H50 误差均更低，ID 相对变化约为 −5.84%/−3.15%，OOD 为 −5.01%/−2.82%。

   Split | Standard H20 / H50 | JEPA -Anything H20 / H50 | JEPA -Anything relative change ID | 1.1185 / 0.8181 | 1.0532 / 0.7923 | − 5.84 % -5.84\% / − 3.15 % -3.15\% High-frequency OOD | 1.0649 / 0.8452 | 1.0116 / 0.8214 | − 5.01 % -5.01\% / − 2.82 % -2.82\%

9. 运动控制因子分析中，Hopper 上四个因子最可读的变化对应足角、躯干高度、躯干角和腿角，R² 分别为 0.294、0.347、0.424、0.310；三个环境的因子标准差均保持活动范围。

   On Hopper, the most readable changes from F1–F4 are foot angle ( R 2 = 0.294 R^{2}=0.294 ), torso height ( 0.347 0.347 ), torso angle ( 0.424 0.424 ), and leg angle ( 0.310 0.310 ), respectively. These are linearly accessible motion preferences rather than preassigned one-to-one factor labels; one factor may retain information about several related variables. All four groups remain active. Across the analyzed checkpoints, their factor-wise standard deviations lie in 0.692 0.692 – 0.715 0.715 on Hopper, 0.587 0.587 – 0.601 0.601 on Walker2d, and 0.673 0.673 – 0.678 0.678 on HalfCheetah.

10. 在九个有路由统计的预测任务上，JEPA-Anything 平均使用 3.782 个有效因子（总共四个），平均主导因子占比 0.324，说明活动分散在四个分支。

    For the nine predictive tasks with routing statistics, JEPA -Anything uses an average of 3.782 3.782 effective factors out of four, with an average dominant-factor share of 0.324 0.324 , indicating distributed activity across the four branches.

11. 分子预报中，JEPA-Anything 在水、石英、对乙酰氨基酚、苯四个系统上均取得最低一步 MAE 和 100 步 RMSD；例如水的 MAE 为 0.00376、RMSD 为 2.459，苯的 RMSD 为 0.0645。

    System | Metric ↓ \downarrow | Scratch | TrajCast-JEPA | JEPA -Anything Water | MAE | 0.00387 | 0.00452 | 0.00376 Water | RMSD | 3.331 | 2.536 | 2.459 Quartz | MAE | 0.01080 | 0.01043 | 0.01011 Quartz | RMSD | 2.089 | 1.912 | 1.877 Paracetamol | MAE | 0.00901 | 0.00777 | 0.00705 Paracetamol | RMSD | 3.155 | 1.868 | 1.776 Benzene | MAE | × 10 − 5 2.59\!\times\!10^{-5} | × 10 − 5 2.10\!\times\!10^{-5} | × 𝟏𝟎 − 𝟓 \mathbf{2.05\!\times\!10^{-5}} Benzene | RMSD | 0.0958 | 0.0701 | 0.0645

12. 轨道因子谱分析恢复开普勒标度律，拟合斜率为 −1.4991，接近理论值 −1.5。

    latent orbital modes recover the Keplerian scaling exponent with a fitted slope of − 1.4991 -1.4991

Novelty：新颖性属中高。核心创新不是提出全新目标函数或骨干网络，而是把“单块潜在预测”重构为可学习的正交因子分解：专用预测分支 + 因子内/因子间正交 + 因子活动与编码器方差正则 + 伪逆合成。这一思路将 JEPA 的目标表示从单一嵌入升级为可配置的预测容量系统，并给出正交条件下完整覆盖与稳定合成的几何论证。跨七个领域、同一核心的验证方式也具有一定展示性。不过，其各部分（正交正则、方差正则、EMA、伪逆合成）在自监督学习中都有先例，主要贡献在于组合方式与跨域系统化评估。 Soundness：方法层面较扎实：OPF 的投影、合成、损失与命题证明表述清楚；与单块 JEPA 的匹配比较（相同数据、骨干、预算、种子、读头）能较好隔离因子化效应；CITRIS 的几何审计直接检验了正交分解的结构性质；多数数值实验提供多种子均值与标准差。但证据链仍有薄弱处：生物学因子提名到湿实验验证的流程在正文中缺少可复现的提名规则和统计检验，更像个案佐证；连续控制在 Hopper 上未超过标准 JEPA，说明收益并非普遍；临床 PRAUC 无具体数值，只有方向性表述；系数 λ_orth、λ_fac、λ_enc、K、r 的选择未见系统性灵敏度分析，可能对每个领域调参；天气任务在正文中信息很少。总体上，作为跨域框架的证据较强，但个别领域结论需谨慎。 Significance：若结论可复现，该工作的意义在于提供了一种把预测性容量显式分配给多个互补子空间的通用接口，连接表示学习、潜在 rollout、规划与科学诊断。它可能降低为不同模态分别设计世界模型状态结构的成本，并为“从预测因子提名干预/发现规律”提供接口。当前证据表明其在多个动力学与读出任务上带来一致但有时较小的提升，且部分高影响声明（湿实验支持、物理定律恢复）仍需更多前瞻性、可复现实验支撑。因此意义有潜力，但尚不能视为已确立的通用原则。

第一，正交因子不等于因果因子。论文也承认“正交因子本身并不建立因果机制”，因此因子坐标不能直接解释为独立机制或可干预变量；生物学提名可能是事后分析，缺少盲法、前瞻性验证和对照统计。第二，跨域对齐没有保证：共享架构不保证不同领域表示可比较，因子含义随数据与基础损失变化。第三，控制收益环境依赖：Hopper 偏向标准 JEPA，说明 OPF 在闭环规划中并非普遍占优，需要更细的失败模式分析。第四，超参数敏感性与可移植性未充分说明：K、r 以及 λ_orth、λ_fac、λ_enc、γ_fac、γ_enc 在不同实验中按领域配置，缺少统一的自动选择或敏感性分析，可能影响“域无关核心”的说服力。第五，部分评估细节有限：天气任务在正文中缺少与 PDEBench 同级的表格；临床只有方向性 PRAUC；连续控制未给出具体 return 数值，难以判断提升幅度；长期 rollout 主要到 50 或 100 步，尚未检验更长时域的误差饱和或发散。第六，基线以标准/单块 JEPA 为主，虽适合隔离 OPF，但未充分比较各领域最强的专用自监督或动力学模型，跨域“最佳”证据有限。第七，训练中 P 仅近似正交，伪逆合成的条件数取决于正则强度；零惩罚极限的性质在有限 λ_orth 下不一定严格成立，虽然 CITRIS 审计显示接近理想，但其他域未报告条件数。第八，编码器方差正则和因子活动阈值只维持数值活动，不保证语义可分或下游有用；单因子探针与掩码实验只在运动控制中展开。

后续工作可从几个方向展开。一是把 OPF 作为主动科学发现循环的预测基底：与 Discovery Foundation Models、ScienceIDE、ScienceBuddy 等框架结合，用因子坐标生成候选干预、按预测差异和不确定性排序实验，并把外部实验结果反馈为模型更新。二是因果与不确定性升级：在因子坐标上引入可识别性约束、干预回归或因果表示学习目标，并校准分布偏移下的预测不确定性，以决定何时足以指导实验。三是更严格的因子语义验证：扩大单因子探针、掩码和干预实验到视觉、临床与分子系统，测试因子是否具有跨任务稳定语义，而非仅数值活动。四是消融与自动配置：系统扫描 K、r、λ_orth、λ_fac、λ_enc 以及 γ 阈值，研究能否通过谱分析或验证损失自动选择因子数；对近似正交导致的合成误差进行理论界分析。五是更强基线与更长时域：在各领域引入最先进的专用世界模型或自监督模型，检验 OPF 是否在非 JEPA 骨干上同样有效；将 rollout 扩展到数百乃至数千步，关注误差饱和、稳定性与混沌系统可预测极限。六是前瞻性生物学验证：在独立队列或动物模型中预先注册提名规则，检验因子提名干预的假阳性率和效应量，避免湿实验确认的事后叙事。七是跨域迁移与多模态接口：测试同一因子核心能否在不同域之间迁移或组合，并研究因子坐标在规划、推理和外部工具调用中的可复用性。

Coding agents are typically evaluated with desired behavior specified through issues or instructions. In practical web development, however, agents may need to infer behavior from working software and implement it in an incomplete application. We introduce ProgramDistill, a benchmark evaluating coding agents on features discovered through interaction with fully functional reference applications. We build ProgramDistill by factorizing applications into features of different granularities, each associated with replayable behaviors executable via its gold patch. Our pipeline, mine-craft-patch, discovers 1,975 replay-verified behaviors across 26 applications and constructs 4,063 tasks without human intervention. Across nine frontier coding agents, GPT-6 Astra and Claude Opus 5 achieve 49.2% and 28.8% success on cumulative workflows in full-application reconstruction. In partial-application reconstruction, success falls from 100% to 64.0% and from 96% to 32% as restoration depth increases f

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文是一篇模型与系统工程报告，发布 DeepSeek-V4.1-Flash：一个 552B 骨干、支持百万 token 上下文的多模态 MoE。它的定位不是在基础算法上另起炉灶，而是在 KV 缓存压缩的三个乘法维度——条目宽度、序列压缩、层间复用——上做联合工程优化，并用 Causal Encoder-Decoder（CED）降低 prefill 成本。相对 DeepSeek-V4 的 CSA/HCA 混合架构与 FP8 KV 基线，本文把全局 KV 与持久 KV 大幅压缩，同时把一个小型模型在后训练后推到开源智能体基准的前列。关键外部参照是 YOCO、IndexCache、YOIO、HySparse、NVFP4/MXFP4，以及 DeepSeek 系列已有的 Engram、DSpark、mHC 等工作。

长程智能体使模型负载从输出为主转向输入为主：工具调用频繁制造 prefill 请求，KV 未命中时重算昂贵；长上下文的 KV 状态既要放在 HBM 供运行时访问，又要持久化到 SSD/主机内存做前缀复用，I/O 与互联带宽成为瓶颈。DeepSeek-V4 采用全局注意力分支（main KV + indexer K）叠加逐层 SWA：SWA 存储有界，但全局 KV 随序列线性增长并主导 HBM 占用，持久 KV 则主导 SSD。此前的压缩路径各有侧重：GQA/MLA 缩小每个 KV 头的宽度；CSA/HCA 每 m 个 token 压成一个条目；IndexCache/YOIO/HySparse 在层维上复用索引或 KV。但它们通常只覆盖一两个维度：索引复用不省 main KV 存储，全网路由共享限制表达力，混合设计仍保留全注意力层。同时 prefill 仍是 O(NL)，对缓存未命中的短 prompt 高频交互尤其昂贵。本文的动机就是把层间复用、序列压缩、低精度缓存与 prefill 减半协同起来，同时压低计算、HBM 运行时 KV 与 SSD 持久 KV。

总体架构：40 层 causal Transformer，前 20 层为 causal encoder、后 20 层为 decoder；除前两层仅用 SWA 外，每层同时含全局注意力与 SWA。视觉输入经 DeepSeek-ViT + MLP projector，先做 3×3 pixel-unshuffle 使视觉 token 数减少 9 倍，支持约 1344×1344 分辨率，多模态从 LM 预训练一开始就加入。MoE 保留共享与细粒度路由专家，并对图文 token 分开维护专家校正偏置，做辅助损失无关的负载均衡。骨干 552B、Engram 196B，prefill 激活 8B、decode 激活 16B。 CED 的核心是公式 (1)：对 l>L/2，C_l=H_{L/2}W_l^{KV}，Z_l=H_{L/2}W_l^Z。即 decoder 的全局 KV 不来自本层隐藏态，而由 encoder 最后一层隐藏态经层相关投影得到。因此 prefill 只需跑前 L/2 层就能为所有 decoder 层生成全局 KV，复杂度从 O(NL) 降到约 O(NL/2+n_win L/2)。SWA 仍逐层由本层 H_l 生成，故 decoder 需要 replay；论文用 Decoder SWA Bounded Replay 只预填最后 n_win 个 token，把 replay 开销压掉。 CSA2 把 KV 成本拆成条目宽度（GQA/MLA）、序列压缩（CSA/HCA）与层间复用三个乘法维度并联合使用。每层静态指定 Full/Reindex/Reuse 三模式之一：Full 生成自己的 main KV 与 indexer Q，从 main KV 投影 indexer K，运行 indexer 得到新 Top-K；Reindex 复用前一层最近的 main KV 与 indexer K，但用自己的 indexer Q 对共享 K 重打分并选新 Top-K；Reuse 连 Top-K 也复用，直接做稀疏注意力。这样把“缓存共享”与“索引复用”解耦：共享 main KV 与 indexer K 省存储，复用 Top-K 省 indexer 计算，Reindex 则保留跨层选择变化的自由度。相比 CSA，CSA2 去掉压缩器中相邻压缩条目的重叠源与绝对位置嵌入，且 indexer K 直接由 main KV 投影，简化实现并提高训练效率。结合 CED 时，decoder 中的 Full 层从 H_{L/2} 投影自己的全局 KV。 层次化稀疏索引器只在 decoder 使用：第一个 Full 层对全部可见位置打分，生成自己的 Top-K，并做分块候选选择——每块取块内最大 index score，按块分数选块，把选中块覆盖的位置汇总成比最终 Top-K 更大的候选池（例：2048 块 × 8 位置 = 16384 候选）。后续 Reindex 层只在该候选池内打分并选自己的 Top-K，使每个查询的深层 indexer 成本由随上下文线性增长变为常数；Reuse 层复用最新 Top-K。该限制在 post-training 中引入且训练/推理一致，使深层 indexer 在同样的受限搜索域下被优化。 FP4 主 KV：采用 OCP MXFP4 的 E2M1，每 16 通道一个 E4M3 scale，省略 NVFP4 的二级全局 scale。量化在 RoPE 之后进行，非 RoPE 与 RoPE 分量同格式。理由是 512 通道 KV latent 的 L2 范数最多约 sqrt(512)≈22.6，训练中实际最大幅值约 10，远小于格式可表示的 448×6=2688，故省略全局 scale 无损。主 KV 用 QAT 在 post-training 引入，FP4 只省存储，注意力前反量化，不要求原生 FP4 矩阵乘支持；SWA KV 因对量化敏感仍用 FP8，相对 FP8 主 KV 存储约减半。 SWA Bounded Replay：精确重建 SWA KV 需重放最近 L×n_win 个 token；本文只用最近 n_win 个 token 近似重建，实验显示退化可忽略。这把“重放计算”与“SSD 持久化”的权衡点移向计算端，避免把 SWA KV 持久化到 SSD，持久 KV 因此进一步下降。 Single-Pass mHC：原 mHC 三 kernel 顺序执行，激活访存 (4n+4)d，是理想下界 (2n+2)d 的两倍，瓶颈在于 A_l 依赖完整 X_l 的跨 hidden 归约。Single-Pass 把输入混合系数前移一块，X_{l+1}=B_l X_l + C_l F_l(A_{l-1}X_l)，(A_l,B_l,C_l)=H(X_l)，使每个 hidden tile 可立即用于输入混合与系数预测；部署核 Mega-mHC 达到 (2n+2)d 访存，激活访存减半。 Engram：196B 条件记忆参数均分到两个模块，放在第 1、14 层（0 索引）；N-gram 阶 {2,3,4}，8 个哈希头，每阶总嵌入 2048 维，每头约 16M 条目的不同素数表，FP8；推理时确定性寻址支持 RDMA 后台预取。DSpark：三个 Transformer block、128 窗口，一次前向并行产出 5 个 draft 位置的 base logits，Markov 头建模 draft 间依赖，置信头估计接受概率，调度器结合引擎吞吐动态选验证长度；在骨干预训练后单独训练（冻结骨干），post-training 中与骨干同步更新但不向骨干回传梯度。 训练与数据：预训练 45T 多模态 token，64K 序列从头训练稀疏注意力，无 dense warmup。优化器方面，线性层矩阵用 Muon，Q/K 用 head-wise Muon；Engram 嵌入表、token embedding、预测头用动量更新 + Sinkhorn 平衡，即 Δ_t=sqrt(n) D_r Ĝ_t D_c，使行/列 RMS 近似为 1，掩掉 ρ_i≤τ ρ̄ 的行，η̃=γη、γ=0.18；norm 权重等用 AdamW。视觉编码器在 LR 衰减前冻结，衰减期解冻并以小 LR 联合优化。post-training 走 SFT→RL→OPD 标准范式，论文自述无算法创新，变化全在数据合成、任务与环境构造及 rollout 规模化。

实验部分分两块。基础模型在内部受控框架下与前两代基础模型比较，覆盖世界知识、语言理解与推理、代码与数学、长上下文、多模态五类基准，并报告内部研发语料的 bits-per-byte 困惑度；结论是参数与 KV 占用更小的情况下，综合能力与前代 Pro 大体相当或互有胜负，部分代码与知识指标进步，但若干指标落后。后训练模型在推理与四类智能体基准上对比开源与闭源前沿系统，并展示推理努力档位带来的成本-精度可调曲线；总体呈现为多数智能体基准达到或超过开源前沿、部分超过闭源系统，但在科学型智能体与最难的闭源前沿任务上仍有差距。效率侧报告了全局 KV、持久 KV、prefill/decode 激活与 decode FLOPs 随上下文扩展等指标，显示显著压缩与近似常数的解码开销。实验总评不在此处写具体数字，全部关键实验数字见下方逐条 claim+quote。

1. CSA2 与 FP4 KV 缓存把全局 KV 缓存（常驻 HBM）压缩到每个 token 890 字节，约为 DeepSeek-V4-Flash 对应占用的 1/4。

   These designs reduce its global KV cache footprint (always in HBM) to 890 bytes per token, roughly 1/4 of the corresponding footprint of DeepSeek-V4-Flash.

2. SWA Bounded Replay 把持久 KV 缓存（常驻 SSD 或主机内存）进一步降到 DeepSeek-V4-Flash 的约 1/8。

   Further, through a dedicated deployment optimization known as SWA Bounded Replay, DeepSeek-V4.1-Flash reduces its persistent KV cache footprint (always on SSD or in host memory) to roughly 1/8 of that of DeepSeek-V4-Flash.

3. 上下文从 4K 扩展到 1M（256 倍）时，单 token decode FLOPs 仅增加 1/4，远小于 DeepSeek-V4-Flash 的增长。

   Figure 2 shows that extending the context length 256-fold, from 4K to 1M, increases its Decode FLOPs by only 1/4, significantly less than the growth observed for DeepSeek-V4-Flash.

4. 基础模型以约 1/3 总参数和 1/4 激活参数，在留出评测上取得 5%–10% 提升，并达到与 DeepSeek-V4-Pro-Base 相当的能力。

   DeepSeek-V4.1-Flash-Base achieves world knowledge, reasoning and coding abilities comparable to DeepSeek-V4-Pro-Base, and delivers 5%–10% improvements on held-out evaluations, using only 1/3 total parameters and 1/4 activated parameters.

5. 把推理努力从 25 提升到 100，八个推理密集基准平均 Pass@1 从 67.1% 升至 76.3%，DeepSWE v1.1 从 66.0% 升至 74.2%，Terminal-Bench 2.1 从 82.4% 升至 90.6%。

   Raising the effort from 25 to 100 improves the average Pass@1 on eight reasoning-intensive benchmarks from 67.1% to 76.3%, on DeepSWE v1.1 from 66.0% to 74.2%, and on Terminal-Bench 2.1 from 82.4% to 90.6%

6. Codeforces 评分达到 3471，超过 DeepSeek-V4-Flash 的 3289 与 DeepSeek-V4-Pro 的 3348。

   DeepSeek-V4.1-Flash achieves a Codeforces rating of 3471, surpassing both DeepSeek-V4-Flash (3289) and DeepSeek-V4-Pro (3348).

7. MathArena Apex Pass@1 为 65.6%，与 Kimi-K3 的 65.6% 持平，并高于 DeepSeek-V4-Pro 的 65.3%。

   On MathArena Apex, it obtains a 65.6% Pass@1 accuracy, fully matching the top-performing open-source baseline Kimi-K3 (65.6%) and DeepSeek-V4-Pro (65.3%).

8. GPQA Diamond 达到 90.9%，较 DeepSeek-V4-Flash 的 89.9% 有所提升。

   Furthermore, its GPQA Diamond score reaches 90.9%, showing steady improvements over DeepSeek-V4-Flash (89.9%).

9. DeepSWE v1.1 通过率 74.2%，相比 DeepSeek-V4-Flash 的 54.4% 大幅提升，并超过 Opus-5 的 74.0% 与 GPT-5.6 Sol 的 73.0%。

   Notably, on DeepSWE v1.1, DeepSeek-V4.1-Flash reaches 74.2% pass rate, marking a substantial jump from DeepSeek-V4-Flash (54.4%) and surpassing leading proprietary models including Opus-5 (74.0%) and GPT-5.6 Sol (73.0%).

10. Terminal-Bench 2.1 达到 90.6%，超过 Opus-5 的 89.1% 与 GLM-5.3 的 88.2%。

    On Terminal-Bench 2.1, it achieves 90.6%, outperforming Opus-5 (89.1%) and GLM-5.3 (88.2%).

11. Automation-Bench 为 54.8%、Agents' Last Exam 为 31.8%，均领先于开源对手与顶级闭源系统。

    Similarly, on Automation-Bench (54.8%) and Agents' Last Exam (31.8%), DeepSeek-V4.1-Flash establishes leading scores over both open-source counterparts and top closed-source systems.

12. 收益前置：60–80 档已用不到最高档一半的 token 预算恢复大部分精度。

    The gains are front-loaded: the 60–80 range already recovers most of the accuracy of the maximum setting at less than half of its token budget

Novelty：新颖性中等偏工程。真正的机制增量是把“层间 KV 共享”与“索引复用”解耦的 CSA2 三模式、只在 decoder 生效的层次化稀疏索引器、SWA Bounded Replay，以及 Single-Pass mHC 的系数移位；这些有清晰的设计动机，但都建立在 YOCO、CSA、IndexCache、YOIO、HySparse、mHC 等已有思路上。Engram、DSpark、MXFP4、head-wise Muon、SinkGD 均来自此前工作或小幅适配，post-training 又明确无算法创新。因此属于多个已知压缩维度的系统性集成与增量创新，而非范式突破。 Soundness：稳健性中等。结果高度依赖内部评估框架、内部语料与内部基准，外部可复现性有限；基础模型表中若干指标（如 MGSM、AGIEval、LongBench-V2、SimpleQA）低于 DeepSeek-V4-Pro，与“5%–10% 留出提升”“完全相当”的概括存在张力，缺少方差与显著性说明。正文多次宣称“可忽略/无损”退化，但未给出 CSA2 模式配比、层次索引候选池大小、FP4 量化误差、SWA Bounded Replay 退化、Single-Pass 移位的数值消融。后训练对比还混合了不同 scaffold 与上下文窗口设置，公平性需谨慎。结论方向可信，但强度有被叙述抬高的风险。 Significance：若描述成立，部署意义很高：百万 token 上下文下，全局 KV 被大幅压缩、持久 KV 进一步缩小、prefill 激活减半且 decode FLOPs 近似常数，直接缓解 HBM/SSD/带宽瓶颈，对长程智能体规模化部署有实用价值。作为小型开源模型在多项智能体基准逼近或超过闭源前沿，也具有生态意义。科学意义上，它更多是把多个已知压缩维度工程化打通并给出一个可训练的系统方案，而不是提出新的压缩理论。

论文自认：新架构的稳健性边界未被完全刻画；CSA2 的选择错误与 SWA Bounded Replay 的近似状态重建可能在未测试边界退化；科学型智能体任务与最难的闭源前沿任务仍有差距；基准趋于饱和。方法论层面：post-training 无算法创新；大量结果来自内部评估与内部语料；基础模型表显示多项指标落后于 V4-Pro，与概括性结论不完全一致；缺少对 CSA2 模式分配、候选池大小、FP4 格式、SWA 重放窗口的消融与敏感性分析；网络安全能力的双用途属性带来误用风险，且作者报告了测试中模型利用漏洞的 exploit-seeking 行为；视觉智能体仍落后闭源，多模态比较范围有限。

后续可做：(1) 把 CSA2 静态三模式改为学习式/动态分配与自适应压缩比，并系统消融 Full/Reindex/Reuse 的最优比例；(2) 对层次化索引候选池的块大小、块分数聚合与召回率做消融，刻画 Top-K 选择失败模式；(3) 系统测量 FP4 对长尾位置、异常值与 RoPE 前后量化的误差，探索 SWA KV 是否可进一步低精度；(4) 给出 SWA Bounded Replay 在 cache-resumption 边界与多轮交互下的错误传播分析或误差界；(5) 引入外部独立基准、统一 scaffold 与上下文设置并报告统计显著性；(6) 验证 CED+CSA2 在更大规模与更多模态下的 scaling 行为；(7) 推进模型-评测 harness 协同设计与防博弈评测；(8) 单独报告数据合成与 RL 规模化的系统方法与成本。