2026-10-10

This is a book about large language models. As indicated by the title, it primarily focuses on foundational concepts rather than comprehensive coverage of all cutting-edge technologies. The book is structured into six main chapters, each exploring a key area: pre-training, generative models, prompting, alignment, inference, and reasoning. It is intended for college students, professionals, and practitioners in natural language processing and related fields, and can serve as a reference for anyone interested in large language models.

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文处于"多智能体、自我中心、具身世界模型"的交汇处。它既不像单自我中心世界模型那样只预测一个第一人称流，也不像多视角视频生成那样只做视角合成，而是把多个智能体的 ego 流当作同一个共享世界的耦合观测来联合生成。作者认为精细具身动作具有双重身份：既是某智能体的第一人称控制，又是其他智能体视角中可观测的事件，同时交互还会更新共享物体与环境。由此提出三个必须同时满足的一致性——跨视角动作一致性、共享环境一致性、交互引起状态更新的一致性——并把 ME-World 定位为通过"联合去噪 + 共享动作条件 + 共享环境记忆"实现该目标的方法。贡献同时覆盖模型、数据（真实+合成多智能体数据）与评测（度量输入条件之外、由模型自身维持的共享世界一致性）。

视频世界模型根据动作或控制预测未来观测，已用于自动驾驶、机器人、开放世界模拟和游戏。自我中心世界模型进一步预测具身智能体的第一人称 ego 流，但大多数方法假设单个 ego，只刻画其自身动作如何塑造自身未来。真实场景中常有多个智能体共存、互动并共同改变环境、物体与智能体状态，即共享世界状态；多智能体世界模型必须让每次交互在所有人的视角中可见，并在所有观测中同步反映状态变化。近期多智能体自我中心世界模型仍把动作抽象为低维控制（多人游戏离散指令、驾驶/视频中的相机轨迹、操作中的机器人控制），不能刻画精细具身动作既是第一人称控制又是跨视角可观测事件的双重角色。本文把挑战归纳为三点：(i) 跨视角动作需同步，使某智能体的动作既在自身流中合理，又与他人观察一致；(ii) 共享环境需一致，各 ego 流不能画出冲突的布局、外观或物体；(iii) 交互引起的状态变化必须传播到每个 ego 流，不能发散成冲突的物体状态或结果。数据方面，现有自我中心数据集主要捕获单智能体，或缺乏智能体数量、视角多样性、交互与外观变化；评测方面，现有指标衡量视频质量、控制对齐与基于几何/VLM 的跨视角一致性，但难以判断多流是否在"直接提供的输入之外"仍表示同一个演化世界。这构成了提出联合生成框架与新指标的必要性。

ME-World 把多智能体自我中心世界建模形式化为：给定每个智能体未来具身动作序列、文本提示、初始 ego 帧与观测历史，生成所有智能体的未来 ego 流，使每个流服从自身动作，且所有流与同一共享环境和共享世界状态一致。对第 n 个智能体，未来 ego 流与动作序列记为 X^(n)={x_t^(n)} 与 A^(n)={a_t^(n)}，其中 T 为帧长；文本提示与初始帧为 P^(n)、x_0^(n)。所有智能体的观测历史汇入共享池 E。完整条件为 C={E, A^(1:N), P^(1:N), x_0^(1:N)}。论文公式对 N 个智能体通用，但实验以两智能体说明。 机制核心是三个耦合设计。 一、联合多智能体生成（Joint Multi-Agent Generation）。作者指出，当动作改变某智能体、物体或区域状态时，该更新应在所有相关 ego 流中同时体现，而不是逐流分别求解。因此不独立生成每个流，而是在一个预训练视频扩散 Transformer（DiT，Cosmos-Predict2.5 2B）里联合去噪所有流的潜变量序列，学习联合条件分布 p_θ(X^(1),…,X^(N)∣C)。用冻结的视频 VAE 把每个 ego 流 X^(n) 编码为潜变量序列 Z^(n)；在去噪时间步 τ，所有智能体的噪声潜变量沿 token 维拼接：Z_τ^gen=[Z_τ^(1);…;Z_τ^(N)]。DiT 对该联合序列做自注意力，使一个流的证据能告知其他流，所有流成为同一共享世界互相知情的观测而非孤立视频。为让模型仍能识别 token 属于哪个流、跟随哪个条件：所有流应用相同的 RoPE，把空间-时间位置对齐到共同位置框架；并给第 n 个智能体的 token 加可学习智能体嵌入 e^(n) 加以区分。文本条件则每个流走独立的 cross-attention 路径，因为不同智能体可能观察同一场景的不同区域；视觉信息通过联合自注意力共享。该机制的直觉是：用"同一序列内全注意力"显式耦合预测，使交互结果和状态更新跨流一致求解。 二、共享动作条件（Shared Action Conditioning）。联合生成让流之间交换信息，但不规定每个智能体应如何在共享世界中运动。若每个流只接收自身动作，同一具身交互可能在不同视角被渲染得不一致。因此每个 ego 流以所有智能体的运动为条件，而非仅自身动作。对第 n 个智能体，帧 t 的动作分解为身体运动 a_{t,body}^(n) 与头部运动 a_{t,head}^(n)。身体运动编码为"自动作骨架图"（self-action skeleton map），捕捉 ego 可见的手与臂运动；头部运动在自我中心生成中被当作动作，决定相机轨迹与可见区域，用 Plücker 射线图表示，提供相机射线的几何编码。构造第 n 个智能体的姿态条件序列 X_pose^(n)={x_{t,pose}^(n)}：每一帧在目标图像平面上渲染第 n 个智能体的自动作骨架图、其他智能体的 3D 身体姿态及相对相机几何，把其他智能体姿态投影到第 n 个智能体的相机坐标，从而得到同时表示自身运动与他人可见运动的统一姿态条件。头部运动收集为 X_ray^(n)={a_{t,head}^(n)}，所有射线图表达在共享规范坐标系，使跨流相机轨迹与观察方向几何可比。X_pose^(n) 用冻结 VAE 编码，X_ray^(n) 用 MLP 投影；编码后的姿态与射线特征沿通道维与噪声潜变量 Z_τ^(n) 拼接。与"只给目标智能体自身运动"相比，共享动作条件把他人身体姿态渲染进目标 ego 视角，提供显式跨智能体运动线索，对精细交互（手、臂、身体姿态、注视引起的视角变化）的一致性至关重要。 三、共享环境记忆（Shared Environment Memory）。共享动作条件不告诉模型周围世界应该是什么样；即使有联合自注意力，每个流仍只观察部分视图，模型可能缺少关于场景布局、背景外观和物体状态的公共参考。因此从共享历史池 E 聚合所有智能体的观测历史，并设计两条互补路径。 流对齐几何记忆路径：朴素地把历史图像作为参考只提供隐式条件，不指明每个生成帧应描绘什么。该路径把 E 中相关观测转换为每个 ego 流的目标视角条件。对每个目标流，选择重投影对目标视图有效覆盖率最大的历史图像 X_hist，并按目标射线条件 X_ray^(n) 变形；投影时用 SAM3 掩掉动态智能体区域，避免传递过期姿态。输出变形 RGB 条件 X_warp^(n) 与可见性掩码 M_vis^(n)，分别提供对齐的场景证据与可靠区域指示。用冻结 VAE 编码后与 Z_τ^(n) 通道拼接，直接以对齐场景证据条件化去噪。该路径的局限是只约束其覆盖区域，并丢弃原始外观。 跨流锚点记忆路径：流对齐记忆是视角特定的，每个流只被能可靠投影到自身视角的证据条件化，可能留下缺失区域、丢弃原始外观线索，并限制对整体共享环境的理解。该路径保留 E 中历史图像的原始未变形形式作为共享场景参考：贪心选择 K 个历史观测，每个新锚点最大化未被先前锚点覆盖的目标视角区域，使锚点提供互补场景覆盖。所选观测经 VAE 编码为参考特征 Z_ref={z_ref^k}，沿 token 维附加到联合去噪序列，使所有 ego 流关注相同锚点。最终输入联合序列为 Z_τ^joint=[Z_τ^gen; Z_ref]，其中每个 Z_τ^(n) 已通道拼接共享动作与流对齐条件，Z_ref 附加相机射线与共享动作条件。直觉上，流对齐路径提供目标视图的几何证据，跨流锚点路径锚定全局外观与共享环境。 四、训练目标与数据。在预训练模型上以 rectified flow 微调 DiT 和条件模块，冻结视频 VAE 与文本编码器。干净潜变量 Z_0^gen=[Z_0^(1);…;Z_0^(N)]，噪声 ε^gen=[ε^(1);…;ε^(N)]，ε^(n)~N(0,I)；τ~U(0,1)，Z_τ^gen=(1−τ)Z_0^gen+τ ε^gen。损失为流匹配目标 L_FM=E[‖f_θ(Z_τ^joint,τ,C)−(ε^gen−Z_0^gen)‖_2^2]，即模型预测"噪声减去干净潜变量"的方向。数据结合真实多 ego 数据（Gavryushin et al. 2026）与合成多 ego 数据：合成部分用 Inter-X（1,372 段、40 类）与 InterHuman（450 段）共 1,822 段双人交互，重采样到 10 FPS；收集 100 个 VRM 角色与 7 个 Blender 室内外环境，把 SMPL-X 运动重定向到角色骨骼，用解析双骨骼 IK 对齐手腕以减少握手等接触误差，手指关节按相对屈曲单独迁移；场景锚点与射线投射得到 53 个验证过的场景配置；两智能体头部相机以 100° 水平视场、504×504、10 FPS 经 EEVEE 同步渲染 RGB、深度与人物实例掩码，并切成 77 帧窗口。扩展上，三智能体只需追加流与智能体 token，并把第三智能体姿态投影进每个 ego 视角；自回归则把逐块生成链接起来，每块内双向、后续块以前一块两帧为条件，并在训练时随机条件一或两帧、对两帧条件以概率扰动，以增强对不完美生成上下文的鲁棒性。

实验在真实与合成两个基准上展开，对照三类方法（多视角视频生成、单自我世界模型、通用世界模型）以及受控适配的多智能体世界模型。评测覆盖共享世界一致性、相机控制、自我动作控制、他人动作控制与视频质量。总体结论是 ME-World 在所有指标上均优于现有方法：多视角模型即使使用单智能体真值参考流，仍出现共享一致性不足和动作鬼影；单自我模型缺少对另一智能体的条件，他人动作控制较弱；通用模型单流虽合理，但跨流环境与交互结果不一致。消融显示联合生成耦合预测、共享动作条件对齐具身行为、共享环境记忆把两流锚定到共同演化世界。作者还通过受控注入跨视角冲突验证了两个一致性指标的区分能力，并给出三智能体与长时自回归生成的定性扩展结果。

1. 在真实基准上，ME-World 的共享世界一致性、相机控制、自我动作控制、他人动作控制与视频质量指标全面领先：S_env 为 0.468，S_update 为 0.466，Trans. Err. 为 0.042，Rot. Err. 为 2.256，Hand-F1 为 0.888，Hand-mIoU 为 0.531，Full-Body-F1 为 0.822，Full-Body-PCK 为 0.881，PSNR 为 19.849，SSIM 为 0.656，LPIPS 为 0.289，FVD 为 637.9。

   ME-World (Ours) | 0.468 | 0.466 | N/A | 0.042 | 2.256 | 0.888 | 0.531 | 0.822 | 0.881 | 19.849 | 0.656 | 0.289 | 637.9

2. 真实基准上最强的多视角基线 GEN3C 得到 S_env 0.417、S_update 0.412、Trans. Err. 0.12、Rot. Err. 12.376、Hand-F1 0.537、Hand-mIoU 0.087、Full-Body-F1 0.229、Full-Body-PCK 0.456、PSNR 18.083、SSIM 0.582、LPIPS 0.444、FVD 1358，说明仅靠参考流合成无法解决跨智能体交互。

   GEN3C ( Ren et al., 2025 ) | 0.417 | 0.412 | N/A | 0.12 | 12.376 | 0.537 | 0.087 | 0.229 | 0.456 | 18.083 | 0.582 | 0.444 | 1358

3. 在合成基准上，ME-World 得到 S_env 0.441、S_update 0.436、S_id 0.561、Trans. Err. 0.293、Rot. Err. 9.057、Hand-F1 0.593、Hand-mIoU 0.587、Full-Body-F1 0.506、Full-Body-PCK 0.644、PSNR 16.595、SSIM 0.621、LPIPS 0.328、FVD 465.5。

   ME-World (Ours) | 0.441 | 0.436 | 0.561 | 0.293 | 9.057 | 0.593 | 0.587 | 0.506 | 0.644 | 16.595 | 0.621 | 0.328 | 465.5

4. 在同主干、同数据与共享动作条件的受控适配中，最强多智能体基线 MetaWorld 在真实基准达到 S_env 0.421、S_update 0.413、Trans. Err. 0.054、Rot. Err. 4.086、Hand-F1 0.865、Hand-mIoU 0.379、Full-Body-F1 0.816、Full-Body-PCK 0.787、PSNR 18.928、SSIM 0.627、LPIPS 0.329、FVD 704.4，仍低于 ME-World。

   MetaWorld ( Hu et al., 2026b ) | 0.421 | 0.413 | 0.054 | 4.086 | 0.865 | 0.379 | 0.816 | 0.787 | 18.928 | 0.627 | 0.329 | 704.4

5. 消融起点（仅 I2V+文本的 Cosmos-Predict2.5，不微调）在真实基准的 S_env 为 0.289、S_update 为 0.245、Trans. Err. 为 0.178、Rot. Err. 为 19.993、Hand-F1 为 0.783、Hand-mIoU 为 0.080、Full-Body-F1 为 0.248、Full-Body-PCK 为 0.284、PSNR 为 14.701、SSIM 为 0.468、LPIPS 为 0.586、FVD 为 1006。

   (1) | Cosmos-Predict2.5 (I2V + Text) | × \times | 0.289 | 0.245 | 0.178 | 19.993 | 0.783 | 0.080 | 0.248 | 0.284 | 14.701 | 0.468 | 0.586 | 1006

6. 加入全部组件后（消融变体 8，即 ME-World），真实基准达到 S_env 0.468、S_update 0.466、Trans. Err. 0.042、Rot. Err. 2.256、Hand-F1 0.888、Hand-mIoU 0.531、Full-Body-F1 0.822、Full-Body-PCK 0.881、PSNR 19.849、SSIM 0.656、LPIPS 0.289、FVD 637.9，表明三个核心组件共同带来提升。

   (8) | (7) + Joint Gen. (Ours) | ✓ \checkmark | 0.468 | 0.466 | 0.042 | 2.256 | 0.888 | 0.531 | 0.822 | 0.881 | 19.849 | 0.656 | 0.289 | 637.9

7. 在 100 个基准片段上注入受控跨视角不一致时，时间错位、环境冲突与状态冲突都会降低指标；环境冲突使 S_env 下降 0.090 而 S_update 仅变 0.019，状态冲突使 S_update 下降 0.147 而 S_env 变 0.059，说明两个指标分别捕获环境一致性与状态更新一致性。

   Temporal misalignment decreases both metrics. More specifically, the environment conflict decreases S env S_{\mathrm{env}} by 0.090 0.090 while changing S update S_{\mathrm{update}} by only 0.019 0.019 , whereas the state conflict decreases S update S_{\mathrm{update}} by 0.147 0.147 , compared with 0.059 0.059 for S env S_{\mathrm{env}} .

8. 指标定性验证中，ME-World 生成结果在对应区域保持高相似性，得到 S_env=0.582、S_update=0.495；独立单流生成出现跨视角不一致，分数降至 0.498 与 0.402。

   Our generation preserves high similarity in both regions, yielding S env = 0.582 S_{\mathrm{env}}=0.582 and S update = 0.495 S_{\mathrm{update}}=0.495 . In contrast, independent single-stream generation shows visible cross-view disagreement in the same regions, reflected by lower similarities and scores of 0.498 0.498 and 0.402 0.402 , respectively.

9. 训练配置为 rectified-flow 目标与 AdamW，学习率 3×10^{-5}，4 块 A100 上全局批大小 4；推理使用 35 步去噪与 7.0 的无分类器引导尺度。

   We use the rectified-flow objective with AdamW ( Loshchilov and Hutter, 2019 ) , a learning rate of 3 × 10 − 5 3\times 10^{-5} , and a global batch size of 4 on four A100 GPUs. At inference, we use 35 denoising steps and a classifier-free guidance scale of 7.0.

10. 自回归扩展把逐块生成链接为 221 帧的双智能体序列，同时保持交互智能体与共享环境。

    this produces a 221-frame two-agent sequence while maintaining the interacting agents and shared environment over the extended horizon. Each subsequent chunk is conditioned on two frames from the preceding generated chunk, while generation within each chunk remains bidirectional.

11. 为提升自回归对不完美生成上下文的鲁棒性，训练时随机条件一帧或两帧；使用两帧时以标准差 0.1 的高斯噪声、概率 0.5 施加扰动，而去噪目标仍为干净帧。

    We randomly condition on one or two frames, and when two frames are used, independent Gaussian noise with standard deviation 0.1 0.1 is applied with probability 0.5 0.5 .

Novelty：新颖性中等偏高。问题定义上有新意：把精细具身动作的"双重角色"（自身控制 + 跨视角可观测事件）以及三类共享世界一致性明确形式化，这比既有单 ego 世界模型和多视角生成更贴合真实多智能体场景。方法上是组合式创新：联合去噪、共享动作条件（自身骨架图 + 他人 3D 姿态投影 + Plücker 射线）与双路径共享环境记忆（几何变形证据 + 原始锚点）的耦合，此前方法未同时覆盖这些机制。评测上的 S_env、S_update、S_id 针对"输入之外、由模型自身维持的一致性"，比几何/VLM 一致性更有区分度。但各底层构件（DiT 联合自注意力、射线图、warp 记忆、DINOv3 特征）本身并非全新，贡献更多体现为面向具身多智能体问题的系统化适配与消融证明。 Soundness：soundness 中等偏上。优点包括：与多类基线对比（多视角、单自我、通用、多智能体适配），并在相同主干、数据与共享动作条件下受控复现多智能体基线，消融能逐组件定位失效模式；共享世界一致性指标做了受控扰动验证，证明 S_env 与 S_update 各自对环境和状态冲突敏感；合成数据提供可复现的真值位姿、深度与身份参考。主要疑点是：多视角/单自我/通用基线使用发布 checkpoint 且不微调，可能低估其在本任务上的能力；多智能体适配尤其是 MetaWorld 无官方实现、由作者重实现，可能偏离原方法；真实数据来源单一、规模有限；指标依赖 DINOv3 特征与真值深度/位姿对应关系，只是共享状态的代理而非物理校验；主实验限于两智能体、固定窗口，三智能体与自回归仅定性；训练批大小小、未报告多次运行方差。总体证据链条清晰，但公平性与规模化的稳健性仍需补强。 Significance：显著性中等偏高。对多智能体生成式 VR、具身 AI 模拟、多机器人协作等应用有直接意义：它提供了把多个第一人称流作为耦合观测生成的框架，并给出可量化的共享世界一致性指标，可作为后续多智能体世界模型的基线与评测基础。其"动作既是控制也是事件"的视角有助于推动世界模型从单 ego 条件生成走向多智能体共享状态建模。但目前工作是条件生成器而非闭环策略，部署依赖位姿、深度、3D 姿态与角色渲染等强监督，真实数据与基准规模有限，短期影响可能集中在具身世界模型与生成式模拟社区，而非通用视频生成社区。

主要局限：(1) 主实验仅覆盖两智能体、固定 77 帧窗口；三智能体与 221 帧自回归只在附录中定性展示，缺乏量化评测，无法确认扩展后的一致性衰减。(2) 条件构造依赖真值位姿、深度、3D 身体/手部姿态与 SAM3 分割；现实部署中这些信号往往缺失或有噪声，流对齐记忆的 warp 路径对深度/位姿误差敏感。(3) 评测指标 S_env/S_update 基于 DINOv3 特征与真值共视对应关系，主要衡量语义外观一致性，对物理接触、接触力、物体永久性与动态遮挡等可能不敏感；S_id 只能在合成数据上做参考式评估。(4) 训练数据方面，真实多 ego 数据来源单一、覆盖有限，合成数据存在 sim-to-real 差距（角色、环境、渲染外观），模型对未见场景与极端交互的泛化未验证。(5) 基线公平性有限：非多智能体基线用发布 checkpoint 不微调，多智能体基线由作者适配/重实现，结果可能受实现质量影响。(6) 联合序列随智能体数 N 与帧长 T 线性增长，全自注意力计算与记忆成本上升，可扩展性未解决。(7) 模型只做条件生成，不生成动作或策略，无法验证闭环交互行为；生成质量的绝对水平（如 FVD）仍较高，真实感有限。

可跟进方向：(1) 联合建模动作与观测，让智能体在共享世界中规划并预测自身及他人行为的后果，使生成器升级为可闭环的多智能体世界模型。(2) 设计更高效的跨智能体通信（稀疏/分层注意力、hub token、可学习通信拓扑）与记忆压缩，定量扩展智能体数量与序列长度。(3) 结合高效视频生成、蒸馏或缓存，实现实时交互式多智能体世界模拟。(4) 构建更大规模、多样化的真实多 ego 数据集，覆盖接触式交互、长期物体状态变化与外观变化。(5) 引入物理/接触/物体持久性一致性指标，超越 DINOv3 特征，借助可微渲染或物理仿真校验共享状态更新。(6) 建立公平的基线协议：所有方法在同一数据上微调，公开统一适配实现，以排除 checkpoint 与复现差异。(7) 研究自回归长时生成的漂移校正与误差累积。(8) 在多机器人协作与生成式 VR 中开展真实用户/任务评估，验证共享世界一致性对下游任务的实际收益。

Sparse attention is a primary approach to reducing the latency of diffusion transformers in long-sequence generation tasks, such as video and high-resolution 3D asset generation. However, existing methods can degrade generation quality and fidelity at high sparsity levels. Through controlled oracle comparisons, we trace this degradation to three sources: constraints imposed by token grouping, inaccurate interaction selection, and the attention contributions lost when tokens are discarded. Guided by this analysis, we propose Meta-Cached Sparse Attention (MC-Sparse), a training-free framework that selects individual key-value (KV) tokens while organizing similar queries into tile-aligned groups for efficient GPU execution. MC-Sparse caches metadata comprising query groups, KV indices selected using exact attention probabilities, and residuals between dense and sparse attention outputs, and reuses them across subsequent denoising steps. Across video and 3D generation models, MC-Sparse ach

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

Recent 3D world models generate photorealistic, explorable scenes that remain frozen in time. OuroWorld is a mask-free framework that turns any static 3D Gaussian Splatting scene into a 3D cinemagraph: a dynamic scene with vivid, diverse motion looping seamlessly from any viewpoint. A vision-language model infers plausible dynamics and guides a video model to synthesize a reference video, which we lift and complete into multi-view videos. To learn from this imperfect supervision, we propose Inconsistency-Robust Periodic 4DGS: a Fourier-series deformation field guarantees looping by construction, while a Grounded Drift Field anchored at the reference view absorbs cross-view inconsistency. Unlike prior Eulerian methods limited to fluid-like motion, we capture general deformation, object motion, and illumination change. We introduce a ground-truth-free evaluation covering vividness, naturalness, loop seam coherence, and scene quality. On 39 reconstructed and generated scenes, OuroWorld ou

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文在 AI 系统"artifact 优化"方向上提出一个新的搜索与精化流程。作者将问题定位为：现有 propose–evaluate–select 方法因整体丢弃未达接受阈值的候选，反复遭遇"持续失败障碍"，浪费了被丢弃候选中的部分修复、可修 bug 与反证信息。Mara Chain 的核心主张是把"被拒绝候选"从死胡同重新定义为下一次提案的踏脚石：保留其 rollout 证据并以固定深度串行精化，同时用帕累托过滤后的 Top-N 截断约束候选池。与只针对单一 artifact 类型的 GEPA/ACE/SkillOpt-Lite/AHE/Meta-Harness 相比，本文强调该机制与 artifact 类型（技能、harness、检索流水线）及底层模型无关，并同时提升最终性能与样本效率。定位上是方法层面的通用贡献，而非单一基准的刷分。

AI 系统的优化正从模型权重微调转向对可编辑 artifact 的优化，包括提示、技能、harness、脚本、配置与代码。标准范式是 propose–evaluate–select 循环：LLM 提出候选配置，评估器决定是否接受。已有工作覆盖提示优化（Yang 等、Zhou 等、Fernando 等、Guo 等、Pryzant 等）、复合系统（Khattab 等、Cheng 等、Wu 等、Zhang 等）、代码（Novikov 等）以及 agent 技能与 harness（Yang 等、Shen 等、Lee 等、Lin 等）。这类方法无需改变底层模型即可适配已部署系统。作者通过检查 rollout 轨迹指出：现有方法常在"持续失败障碍"处停滞，反复重新诊断同一失败任务，即使 rollout 预算增加也无实质进展。根因是任何未改善 held-out 集得分的候选都被整体丢弃，而这些候选可能包含可被扩展的部分修复、方向正确但实现有可修复 bug 的尝试、或能排除一条路径的反面证据。丢弃它们迫使每次后续提案从零重建诊断。因此作者主张被丢弃候选是未被充分利用的资源，保留并在此基础上构建是打破障碍的关键。Mara Chain 之名取自佛教传统中修行者所面对的障碍化身 Māra，寓意把反复受挫积累为通往目标的垫脚石。

一、问题形式化。可调 artifact 被表示为具体目录，优化器直接增删改文件，而非优化受限参数向量或 DSL；用户指定 artifact schema（目录结构与每个文件的语义角色），schema 定义 proposer 可修改的文件集合。目标为 σ⋆ = argmax_σ E_{τ~D}[score(exec(σ,τ))]，约束 |{rollouts}| ≤ B；每次 exec 是昂贵 rollout，score∈[0,1]。任务 τ 施加一组条件，执行 σ 后产生残差 δ(σ,τ)，即未满足的条件集合。若某条件的残差在迭代中保持不变、无法被更多候选或 rollout 解决，则称为 persistent failure barrier。这类障碍常见于长程任务，即使正确修改可达也会出现，原因包括：部分/方向正确的修改无即时分数增益、正确修改从未在执行时被触发、目标条件被未满足的前置条件门控。 二、外层循环。维护共享候选池 P，仅当直接提案未通过接受阈值时调用 Mara Chain 精化，多 slot 并行直至 rollout 预算耗尽。B⊂D_tr 是训练 minibatch，V 是验证集。父候选选择采用 leadership count：ℓ(P)=Σ_j 𝕀[z_j(P) ≥ max_{Q∈P} z_j(Q) − ε]（公式 2），即候选在不同分数维度上领先的次数。多 slot 无放回地按 ℓ(P) 比例采样父候选，偏好在不同维度互补领先的候选，同时保留随机探索。slot 先在 B 上评估父 P 建立 minibatch 基线，再提出候选 P_n。接受阈值 δ 定义：P_n 的 minibatch 分数须相对父 P 足够改进。通过则进入 V 全量验证；否则触发精化链。链返回的候选也须相对同一父 P 通过同一阈值才进入验证，否则丢弃。验证后池按帕累托过滤 Top-N 更新。 三、Mara Chain 精化（核心机制）。这是顺序、历史条件化的精化过程，仅当直接候选 P_n 未通过阈值时触发。它保留该候选、执行记录、结构化分析与 artifact 变更历史，而非丢弃。链步 i 读取累积上下文 Γ_i 并产生 P_n^i；P_n^i 的 rollout 又扩展下一步上下文，使所有链节点形成单一 lineage，每个提案都以前驱的观察后果为条件。所有链节点在同一固定 minibatch 上打分，链返回最高分节点，但仅当其通过与直接候选相同的接受阈值，一旦有节点通过即停止；深度 d 为失败直接提案的额外 rollout 成本设上界。上下文 Γ_i 包括：跨链节点的逐实例分数历史、先前节点写的结构化分析、沿链的带归因 artifact 变更历史、原始运行记录。store 不是被动日志：保留原始 rollout 数据与 LLM 生成的分析，使后续候选能扩展部分修复、修复方向正确但实现有 bug 的尝试、或在排除一条路线后改走新路线。 四、帕累托过滤 Top-N 选择。验证产生每候选的逐任务分数向量 z_V(P)。第一阶段：若 Q 弱帕累托支配 P（Q ⪰ P ⟺ z_{V,j}(Q)+ε ≥ z_{V,j}(P) ∀j，公式 3）则移除 P；验证向量相同时保留较新候选。逐实例标准保留在验证子集上互补的候选，避免过早归约为单一标量分。第二阶段：若非支配集超过 N，保留平均验证分最高的 N 个。为何需要 Top-N：高维逐任务分数使大量候选互不支配；附录给出支配概率 P(A⪰B)=[1−p(1−p)]^D 随维度 D 指数衰减、在 D≥20 时低于 1%，此时帕累托前沿退化为全种群，需 Top-N 截断绑定内存与评估成本。 五、实现细节。模块化框架暴露七可插拔组件：target 侧（system runner、evaluator、data instance）、optimizer 侧（optimizer/进化循环、proposer、evolution algorithm）、candidate store。proposer 为 Pi coding agent，带不可绕过的 extension guard。两道护栏：(i) 反作弊——隔离 val_system_run/ 目录，拦截 read/write/edit/bash/grep/find/ls 等工具调用，防止 proposer 读取验证轨迹造成泄漏；(ii) 可靠性——强制通过 append-changelog CLI 写 changelog.jsonl，防止 LLM 自行写坏 JSONL。每次修改是结构化 ArtifactAction，必须引用至少一个被追踪的失败（AHE 式可证伪契约），否则被拒绝；每个 action 追加为 ChangeLogEntry，子代继承父代 changelog，使归因编辑历史沿 lineage 累积。可靠性排序为 prose < script < extension：自然语言可能被忽略，脚本被调用后确定但可能不被调用，运行时扩展一旦到达即确定。当 rollout 证据显示修改被绕过时，prompt 指示 proposer 把修复上移到更高可靠性表示（该"确定性梯度"由 schema 注入，非硬编码）。诊断阶段强制五种方法：delta-guided evidence tracing、success extraction、oscillation detection、inconsistency-pattern discovery、run-evidence corroboration；诊断被分类为 never-triggered、content-wrong、vague、conflict、root-cause-irrelevant、direction-exhausted、inconsistent、lost-win、mechanism-too-weak 等类别，偏好 REMOVE/REPLACE 而非 ADD。并发调度器保持三条不变量：no-select back-off、atomic state-machine flips、checkpoint safety（append-only JSONL，崩溃后从 (epoch,dataset_index) 游标恢复）。 六、训练与数据细节（无权重训练，指优化 minibatch 与评估切分）。AppWorld：把官方 train+dev 合并为 147 任务训练池，从中抽 minibatch；验证集 200 任务（test_normal/test_challenge 各 100，seed 42，分层使约 10% 可被空技能基线解决，即 23 pass/177 fail）；最终静态评估在完整 585 任务 test（168 normal + 417 challenge）；max_steps=50。TerminalBench 2.1：89 任务，无独立验证集，全部 89 任务既是优化训练集也是评估集（沿用 AHE/Meta-Harness 协议），故报告为 in-sample 优化任务率。MuSiQue：4-hop 子集 300 train/100 val/300 test（test 与 val 零重叠）；pipeline 内部节点模型为 BAAI/bge-m3（dense recall）、BAAI/bge-reranker-v2-m3（cross-encoder rerank）、GLM-5.2（query_rewrite）。默认 N=3、d=5；TerminalBench 配置为 num_proposals=1、batch_size=4、max_reflection_iterations=5、100h 预算；MuSiQue 配置为 num_proposals=2、batch_size=6、max_reflection_iterations=3、20h 预算。三个 frozen 目标 LLM：GLM-5、DeepSeek-V4-Pro-0813、Qwen3.5-397B-A17B。

实验覆盖三类可调 artifact（AppWorld 技能、TerminalBench 2.1 的 harness、MuSiQue 检索流水线）与三种 frozen LLM。主结果对比了技能优化器 GEPA/ACE/SkillOpt-Lite、harness 优化器 AHE/Meta-Harness 及 Codex/OpenCode/Kira 参考、以及 MuSiQue 的手写默认管线。消融分别禁用 Mara Chain 流与 Top-N 选择，报告最终分与样本效率曲线；另有跨模型泛化表。总体而言，全文声称 Mara Chain 在最终性能与 rollout 效率上均优于专用优化器，且两个机制互补、在难任务上增益更大；跨模型方向一致。但需注意：TerminalBench 无 held-out、AppWorld 优化运行细节缺失、部分数字在不同表格间口径不一致，因此 headline 结论应结合 claim+quote 谨慎解读。所有具体数字见下列 claim+quote。

1. AppWorld 主结果：Mara Chain 在 Normal 与 Challenge 的 TGC/SGC 四个指标上均取得最佳。

   Mara Chain attains the best result in every metric: 89.9 89.9 / 83.9 83.9 Normal TGC/SGC and 76.7 76.7 / 59.0 59.0 Challenge TGC/SGC.

2. AppWorld 样本效率：Mara Chain 达到 0.8 验证分所需 rollout 数远少于 GEPA。

   It reaches a validation score of 0.8 0.8 after 3,280 3{,}280 rollouts, compared with 9,514 9{,}514 for GEPA

3. AppWorld 墙钟效率：Mara Chain 达到 0.8 的耗时约为 GEPA 的三分之一。

   Mara Chain reaches 0.8 0.8 in 11.9 11.9 h, about 3 × 3\times faster than GEPA ( 35.8 35.8 h)

4. AppWorld 最终分：Mara Chain 的最终验证分高于 GEPA 的平台期。

   Mara Chain ultimately reaches 0.87 0.87 , while GEPA plateaus at 0.805 0.805 .

5. TerminalBench 2.1 主结果：Mara Chain 优化的 harness 通过率显著高于 AHE/Codex/Kira 与 Meta-Harness/OpenCode。

   The Mara-Chain-optimized harness attains a 71.9 % 71.9\% pass rate, exceeding the next-best results of 51.7 % 51.7\% from AHE, Codex, and the Kira base by 20.2 20.2 percentage points, and surpassing Meta-Harness and OpenCode ( 49.4 % 49.4\% ) by 22.5 22.5 points.

6. MuSiQue 主结果：优化后检索流水线在测试集 nDCG@10 与 Recall@10 上均超过手写默认管线。

   the optimized pipeline improves test nDCG@10 by + 0.104 +0.104 and Recall@10 by + 0.131 +0.131 over the default

7. 消融：TerminalBench 上禁用 Mara Chain 后通过率显著下降，说明保留式精化在难任务上贡献最大。

   the pass rate rises from 57.3 % 57.3\% (w/o Mara Chain) to 71.9 % 71.9\% ( + 14.6 +14.6 pp)

8. 消融：AppWorld Challenge 切分上禁用 Mara Chain 后 TGC 与 SGC 均下降，且 SGC 降幅更大。

   Challenge TGC 76.7 76.7 vs 71.9 71.9 ( + 4.8 +4.8 pp) and Challenge SGC 59.0 59.0 vs 51.8 51.8 ( + 7.2 +7.2 pp)

9. 消融样本效率：完整设置最先达到 0.79 验证分，且最终分高于两个单机制设置。

   The full setting reaches a validation score of 0.79 0.79 after only 2,356 2{,}356 rollouts and continues to a final score of 0.87 0.87 . The w/o Mara Chain ablation (Top- N N only) reaches 0.79 0.79 after 3,480 3{,}480 rollouts and finishes at 0.81 0.81 , while the w/o Top- N N ablation (Mara Chain only) needs 5,388 5{,}388 rollouts to reach 0.79 0.79 .

10. 跨模型泛化：Mara Chain 优化的技能相对空技能基线在三个模型上均有提升，幅度随模型不同而变化。

    On average over the four metrics, Mara Chain improves the optimized skill over its empty-skill baseline by + 40.3 +40.3 pp on GLM-5, + 32.7 +32.7 pp on DeepSeek-V4-Pro, and + 23.4 +23.4 pp on Qwen3.5-397B-A17B.

11. 消融：MuSiQue 上禁用 Mara Chain 会降低测试集检索指标。

    on MuSiQue, disabling Mara Chain at the same 2-slot budget lowers test nDCG@10 by 0.034 0.034 and Recall@10 by 0.039 0.039

12. 摘要 headline：Mara Chain 相对 GEPA/ACE/SkillOpt-Lite 的相对性能提升与相对 GEPA 的 rollout 节省。

    It outperforms GEPA, ACE, and SkillOpt-Lite by up to 20.5 % 20.5\,\% in relative performance on AppWorld, reaching the target score with 65.5 % 65.5\,\% fewer rollouts than GEPA.

Novelty：核心思想——不丢弃被拒候选，而是把失败证据串成有界精化链——在 artifact 优化语境下是合理且有一定新意的组合创新。但构成件并非全新：反思式/证据条件化精化、文件系统记忆、帕累托选择分别可见于 AHE、Meta-Harness 与 GEPA。真正的新意在于三个具体组合点：其一，精化链只在直接提案未过接受阈值时触发，失败链若无收益则被整体丢弃，从而把额外成本限制在固定深度内；其二，链内所有节点在同一 minibatch 上与父候选公平比较，避免跨 batch 的不可比性；其三，帕累托过滤后再加 Top-N 截断，针对高维逐实例分数下帕累托前沿退化为全种群的问题给出绑定方案。此外，把失败证据形式化为九类诊断与五种诊断方法属于工程层面的细化。总体判断为增量但实用的方法贡献，非范式级创新。 Soundness：方法设计自洽：链深度与 Top-N 截断给出成本上界；消融表明两个机制均有贡献且互补；跨模型方向一致。但可靠性存在明显问题。第一，TerminalBench 2.1 无 held-out，89 任务同时用于优化与评估，报告的是 in-sample 优化任务率而非泛化分数，且该切分沿用前作协议，不能支撑"泛化"结论。第二，协议透明性不足：AppWorld 的优化运行设置、proposer 分配、minibatch、预算均被标注 unavailable，"1-slot/2-slot"标签无文档化含义；接受谓词 clears 的原始比较语义未被文档确定。第三，定理 1/2 只是条件性陈述，其假设（如 history-conditional 正支持概率）未被实验验证，且正文附注明确说明二者"不是对已记录配置的比较"。第四，数字口径不一致：Table 1 的 Normal TGC 与消融表/跨模型表的数值不同（可能是最终测试 vs 验证口径差异，但未明确说明），削弱了 headline 数字的可核对性。综合判断：核心机制可信，但可复现性与部分结论强度存疑。 Significance：所针对的问题重要：部署后 AI 系统的 artifact 自动优化是当前热点，而 rollout 样本效率是主要瓶颈。若能证明"保留并精化被拒候选"是跨 artifact 类型的通用机制，对技能、harness、检索流水线乃至更广的可编辑系统都有实用价值；MuSiQue 的非 agentic 迁移是重要亮点。但意义被两点削弱：其一，TerminalBench 的 in-sample 评估无法区分真优化与对 89 个任务的过拟合；其二，协议细节缺失与数字口径不一致会阻碍第三方复现与采纳。若作者补齐 held-out 评估、公开完整优化配置并澄清接受谓词语义，本文可作为 artifact 优化中一个有价值的基础组件被社区采用。总体为中等偏上的工程/方法意义。

论文自陈的局限：逐 batch 诊断可能过拟合该 batch 的失败模式，仅靠跨 batch 的逐实例帕累托选择部分缓解；上下文构造与诊断逻辑是手写固定初版，搜索全程不变。我补充的局限：(1) TerminalBench 2.1 无 held-out，89 任务同时用于优化与评估，泛化性未被验证；(2) acceptance predicate 的原始比较语义未文档化，读者无法独立复现"通过/拒绝"判定；(3) AppWorld 的优化运行设置、预算与 proposer 配置不可得，1-slot/2-slot 标签无历史含义，消融与主表数字口径不一致（如 Normal TGC 的差异）未作说明；(4) lineage 是单串行链，无分支，可能陷入局部方向，且链深度固定不能按难度自适应；(5) 墙钟预算以小时计（AppWorld 与 TerminalBench 均为小时级），实际成本高；(6) 依赖 Pi 的不可绕过硬护栏（验证隔离、changelog CLI），迁移到其他 proposer 的可行性未证明；(7) 九类诊断与五种诊断方法为手写，可能过拟合作者观察到的失败模式，缺少跨领域鲁棒性证据；(8) 附录承认 leader-count 采样在稀疏 pass/fail 与高维下存在 tie 噪声与"饥饿"问题，Top-N 只缓解种群膨胀、不解决采样噪声。

论文提出的方向：链深度按问题难度自适应（难障碍更深、易任务早停）、更便宜的 proposer 模型与预算化深度；多样性感知选择并超越单一测试分、把串行 lineage 分支为平行 Mara-tree；逐节点置信度估计并回退基线；把有效策略蒸馏进跨 artifact 配置与领域元学习的共享经验库。我补充的跟进：(1) 用 Thompson sampling 或自适应维度加权替代 leader-count 采样，缓解高维稀疏奖励下的噪声与饥饿；(2) 为 TerminalBench 建立 held-out 或交叉验证协议，区分 in-sample 优化与真实泛化；(3) 澄清并标准化 acceptance predicate、slot 标签与 AppWorld 优化配置，提供可复现清单；(4) 在无强护栏的通用 proposer 上验证验证隔离与 changelog 纪律的替代实现；(5) 研究 licensed compression（结构化 RunAnalysis 覆盖原始轨迹）随链长与证据规模扩展时的信息损失边界；(6) 把失败证据库与外部知识（文档、历史 issue、检索到的先例）结合，形成混合检索式精化；(7) 对链内每步的边际增益做归因，识别哪些失败证据真正驱动了后续成功，以指导更经济的证据选择。

本文提出 U-Space 与 U-Lens，一种无需训练、无需正确性标签、无需重复采样的不确定性量化与可解释性方法。它把残差流中由语义锚点诱导的对比方向组织成低维子空间，用于逐 token 读出不确定性类别，并聚合为标量分数。论文定位在不确定性量化与机制可解释性的交叉处，重点解决两个问题：现有标量估计不揭示不确定性在推理中何时、为何出现；生成长度会混淆不确定性评估。作者声称其分数在标准与长度受控评估中优于基线，跨基准迁移比监督估计器更稳定，并能通过激活引导证明方向具有因果作用。

大模型被用于高风险决策，聚合准确率无法区分单次预测的可靠性。自回归生成中，序列概率不等于答案可靠性；常用 MSP、熵、负对数似然等标量聚合。语义熵、SelfCheckGPT、P(True)等方法分别通过重复采样、自评或意义聚类处理“多序列同一答案”问题，但需要额外计算或受监督组件。推理模型带来长轨迹：不正确答案往往更长，很多估计器隐式依赖长度；因此需要长度受控评估，把预测效用与超出长度的信息分开。机制可解释性方面，logit lens、tuned lens、J-Lens 试图把中间残差状态映射到人类可理解词汇；J-Lens 用平均雅可比把中间状态线性化到最终层表示空间，再经 unembedding 读出。对比激活差异可分离语义方向。本文以这些为基础，但用语义锚点而非任务标签构造不确定性轴。文章还区分一阶分布不确定性与二阶可言语不确定性，认为二者互补。

总体设计分为构造与读出两阶段。构造阶段把少量语义锚点通过 J-Lens 拉回残差空间，形成每个不确定性类别的对比方向并正交化；读出阶段把隐藏状态投影到该基上，得到 token 级类别图和标量分数，再乘以长度归一化的预测熵。 不确定性分类与锚点。方法采用四类不确定性：ambiguity（含糊/不精确）、incompleteness（信息或知识缺失）、conflicting evidence（不一致证据）和 general uncertainty（不指向具体原因的一般性不确定）。四类可视为三维单纯形的顶点。正锚点表达不确定，负锚点表达相应确定，词表分别取自 Chen et al. (2018) 与 Rocklage et al. (2023)。去掉多 token 项后，用轻量语义模型 Li and Li (2024) 把剩余词分配到四类。为验证分类法反映模型内部表征而非作者强加，作者先用最小提示对诱导各语义极、经 J-Lens 解码，观察到方向恢复类别对齐词汇，如 ambiguity 提升 ambiguous/ambiguity、conflicting evidence 提升 controversial/contentious、incompleteness 提升 cannot/unable、general uncertainty 提升 dubious/suspicious/questionable。 残差空间中的锚点表示。对锚点 a 的词汇方向 e_a，先经平均雅可比 J̄_ℓ = E_{x,t,t'≥t}[∂ h_{L,t'}/∂ h_{ℓ,t}] 线性化到最终层，再经 unembedding W_U 和最终 RMSNorm 增益 γ 拉回残差流：g_{ℓ,a} = (W_U diag(γ) J̄_ℓ)^T e_a。已有模型可用公开预计算 lens；Magistral 1.1 没有公开 lens，则从无标签、通用提示估计 J̄_ℓ，无优化或参数更新。读出层取网络约三分之二深度处，非模型/数据集特定选择。 对比与正交化。对每个类别 c，分别对正、负锚点方向做 ℓ2 归一化后取质心：μ_{ℓ,c}^± = norm((1/|A_c^±|) Σ_{a∈A_c^±} norm(g_{ℓ,a}))，再相减得到双极方向 b_{ℓ,c} = norm(μ_{ℓ,c}^+ − μ_{ℓ,c}^−)。相减抑制不确定与确定锚点共享的成分，并使方向指向不确定。收集 B_ℓ = [b_{ℓ,1}, …, b_{ℓ,C}] 后做对称正交化 U_ℓ = B_ℓ (B_ℓ^T B_ℓ)^(−1/2)，其列张成 U-Space。整个构造不需要任务样本、正确性标签或拟合参数；换掉锚点集即可为其他属性构造语义基。 Token 级读出。对推理轨迹 r = r_{1:T}，将每个 token 的归一化隐藏状态投影到基：α_t = U^T norm(h_t) ∈ R^C。坐标 α_{t,c} 是该 token 与类别 c 的有符号对齐，序列 {α_t} 形成逐 token、逐类别不确定性图。读出先对 α_t 做归一化，去除投影总强度而只保留在 U-Space 内的方向；再经 s_t = softplus(√C norm(α_t)) 整流，得到正锥内的向量。锥对齐强度 A_cone(h_t) = ‖s_t‖₂ = sqrt(Σ_c log²(1 + e^{√C norm(α_t)_c}))。增益 √C 由维度固定：均匀分布在 C 维上的单位向量各分量为 1/√C，无需调参。softplus 而非 ReLU 是为了在正锥边界附近保留渐变而非突然丢弃负对齐。正锥处理使不同类别被视为可替代、可共现的不确定性来源，一个维度的负对齐不能抵消另一维度的正对齐。 轨迹级分数。锥对齐不在整条推理 token 上池化，而是在 end-of-thinking 标记 t_eot 处读一次；该状态以完整推理为条件，提供固定位置的摘要而不显式对可变长度池化。一阶分布不确定性用预测熵：H_t = −Σ_v p_t(v) log p_t(v)，H̄(r) = (1/T) Σ_t H_t。逐 token 熵按熵链式法则自然进入自回归序列的不确定性分解，平均则避免随长度机械增长。最终分数 S(r) = A_cone(h_{t_eot}) H̄(r)，乘法组合使可言语信号调制预测熵，无需拟合相对尺度，并在任一因子全局正缩放时保持排序。这样 U-Lens 同时包含可言语的二阶不确定性（锥对齐）与不必可言语的一阶分布不确定性（预测熵）。 干预。为检验因果作用，作者沿单一类别方向做激活引导：h̃_{ℓ,t} = h_{ℓ,t} + λ‖h_{ℓ,t}‖₂ u_{ℓ,c}，对层集 L 和 token 位置集 W 施加。剂量 λ 是状态自身范数的比例，使同一 λ 跨位置、深度、模型可比。引导可在 prompt 的 prefill 阶段或推理中选定位置进行；因自回归生成，效应会传播到后续 token。作者报告引导可使模型在简单问题上犹豫、失去信心。

实验在多个开源推理模型和若干覆盖多领域推理、数学、专业知识与事实知识的基准上进行。对比方法包括生成长度、单遍概率与熵类指标、多遍采样与语义聚类方法，以及受监督的 Feature-Gaps 和若干探针。评估指标为 AUROC、AUPRC、AURC，并额外在按 token 数分箱的等长度条件下重算，以分离长度混杂。结果上，生成长度本身是强预测因子，但长度受控后明显回落；U-Lens 在标准与长度受控条件下整体保持领先，且其语义锥对齐与预测熵的组合优于单独组件。解码词汇的替代方法接近机会水平，说明不确定性信号存在但不占主导。监督探针域内强、跨基准迁移弱，而无标签的 U-Lens 迁移更稳定。Token 级读出显示推理轨迹在若干不确定性类别之间移动，激活引导能使模型在简单问题上犹豫或失去信心。情感分类与奖励欺骗检测的初步证据表明构造可扩展到其他语义域。

1. 在未控制长度的跨模型汇总中，生成长度本身 AUROC 达 68.6，几乎追平监督 Feature-Gaps（68.8），仅落后五遍 TokUR 1.0 个点。

   Length alone reaches 68.6 % 68.6\% AUROC, nearly matching supervised Feature-Gaps ( 68.8 % 68.8\% ) and trailing five-pass TokUR by only 1.0 1.0 point.

2. 长度受控后，生成长度跌至 52.4 AUROC，多个既有估计器随之下滑。

   In the controlled setting, generation length falls to 52.4 % 52.4\% AUROC, and several established estimators decline with it.

3. 长度受控表中，U-Lens 是唯一在九个模型-指标比较中全部领先的方法；相对最强基线，AUROC 在三个模型上分别提升 2.2、1.9、4.7 个点，AUPRC 提升 0.8 到 4.2 个点，AURC 降低 0.4 到 2.5 个点。

   The U-Lens is the only method to lead all nine model-metric comparisons in Table 2 . Relative to the strongest baseline, it improves AUROC by 2.2 2.2 , 1.9 1.9 , and 4.7 4.7 points on Gemma 4, Qwen3.5, and Magistral 1.1, respectively. Its advantage extends to the error-focused metrics. Across models, it improves AUPRC by 0.8 0.8 to 4.2 4.2 points and reduces AURC by 0.4 0.4 to 2.5 2.5 points.

4. 在 J-Lens 解码词汇的替代方法中，不确定性词几乎不进入高排名：n=15 时至多 0.1% 的轨迹命中，n=100 时命中率在 Gemma 4 为 10.0%、Qwen3.5 为 1.2%、Magistral 1.1 为 1.4%。

   The uncertainty terms almost never reach the top of the decoded distribution ( Table 11 ). Up to n = 15 n=15 , at most 0.1 % 0.1\% of traces contain one on any model, so the score is effectively constant, and its AUROC is at chance. Even at n = 100 n=100 , a term appears in only 10.0 % 10.0\% of Gemma 4 traces and in 1.2 % 1.2\% and 1.4 % 1.4\% of Qwen3.5 and Magistral 1.1 traces.

5. 该替代法在 Gemma 4 上的最佳长度匹配 AUROC 为 54.8，比 U-Lens 低 13.6 个点。

   The best length-matched AUROC, 54.8 % 54.8\% on Gemma 4, remains 13.6 13.6 points below the U-Lens .

6. 在情感域迁移中，情感基在全部四个轴上都超过 70% AUROC，而词法基线仅 51.3–66.7%，说明其不是简单关键词匹配。

   The emotion basis reads all four axes above 70 % 70\% AUROC (cf. Table 5 ). The lexical baseline reaches only 51.3 % 51.3\% – 66.7 % 66.7\% , while performance remains essentially unchanged on the no-anchor subset, indicating that the basis does not simply perform keyword matching.

7. 未控制长度时，生成长度本身就是强预测器，在三个模型上的 AUROC 分别达 70.1、67.7、67.8。

   Generation length is itself a strong predictor on all three models, reaching 70.1 % 70.1\% , 67.7 % 67.7\% , and 67.8 % 67.8\% AUROC on Gemma 4, Qwen3.5, and Magistral 1.1, respectively.

8. 监督探针跨基准迁移退化明显：线性/MLP 探针域内平均 AUROC 为 75.4–81.8，迁移后仅 59.7–69.1，下降 9.8–22.1 个点。

   The linear and MLP probes reach between 75.4 % 75.4\% and 81.8 % 81.8\% mean unadjusted AUROC in-domain, but only 59.7 % 59.7\% – 69.1 % 69.1\% after transfer, corresponding to drops of 9.8 9.8 – 22.1 22.1 points.

9. Feature-Gaps 迁移损失为 3.4–8.0 个未受控 AUROC 点，但在 Qwen3.5 上以 SuperGPQA 拟合时，长度受控后在 MMLU-Pro 与 Omni-MATH 上低于机会水平。

   Feature-Gaps transfers more reliably, losing 3.4 3.4 – 8.0 8.0 unadjusted AUROC points across models, but remains sensitive to the source benchmark: on Qwen3.5, the variant fitted on SuperGPQA falls below chance on both MMLU-Pro and Omni-MATH after length control.

10. 长度受控下，完整 U-Lens 在三个模型上为 68.4、71.0、68.3 AUROC，优于 mass-mean 迁移基线的 67.3、63.1、62.4，并领先最佳迁移线性/MLP 探针 9.3、8.7、2.3 个点。

    Under length control, the complete U-Lens is stronger on all three models, scoring 68.4 % 68.4\% , 71.0 % 71.0\% , and 68.3 % 68.3\% AUROC against mass mean’s 67.3 % 67.3\% , 63.1 % 63.1\% , and 62.4 % 62.4\% . The gap to the best transferred linear or MLP probe is larger still: 9.3 9.3 , 8.7 8.7 , and 2.3 2.3 points on Gemma 4, Qwen3.5, and Magistral 1.1.

11. Ambiguity 方向把 ambiguous 和 ambiguity 推到 248,320 个解码项中的第 2、5 名，显示方向恢复类别对齐词汇。

    Ambiguity promotes ambiguous and ambiguity at ranks 2 and 5 of 248,320 248{,}320 items, alongside multiplicity terms in several languages.

12. ambiguity、conflicting evidence、incompleteness 三个方向之间的成对余弦为 0.51、0.60、0.65，方向间有重叠但仍可区分。

    The pairwise cosines between the ambiguity , conflicting evidence , and incompleteness directions are 0.51 0.51 , 0.60 0.60 , and 0.65 0.65 .

Novelty：中等偏上。J-Lens 拉回词汇方向、对比方向分离语义、激活引导、预测熵等都不是新部件；但把它们组合成无需标签/训练的残差流不确定性基，并同时给出 token 级可解释图与标量分数，是相对新的。明确把一阶与二阶不确定性联合操作化，也是论文强调的新点。与 Feature-Gaps 相比，本文避免任务标签和拟合，因此新颖性体现在训练自由和可解释读出，而非底层数学工具。 Soundness：中等。评估设计较好：长度受控分箱、标准与受控并列、跨基准迁移、解码词汇替代法、随机正交基和情感域迁移作为控制，能支撑主要声明。但仍有关切：锚点类别与分配依赖人工选择和轻量语义模型，可能引入主观性；分数组合是启发式乘法，没有拟合或校准；部分模型使用公开 lens，另一模型自拟合，比较公平性受 lens 质量影响；激活引导的因果证据多为定性；缺少统计显著性检验和更严格的校准/风险分析；仅开源模型和单次采样。 Significance：中高。若结论稳健，U-Lens 提供一种低成本、可解释的不确定性读出，适合部署中的单次生成审计和选择性弃权；长度受控结果回应了社区对长度混杂的关切；跨域扩展意味着可能成为通用语义读出工具。但绝对增益有限，尚不能作为校准安全检测器，实际影响取决于在更多模型、任务与校准场景中的复现。

分类法非穷尽，只覆盖四类不确定性；锚点为英文词表，解码结果却出现跨语言词汇，说明语言先验可能限制基的质量；层深选择是启发式；雅可比估计或依赖预计算资源；乘法组合无拟合虽简单但未必最优；长度受控分箱只能部分去除长度混杂，且可能保留与质量真实相关的长度信息；干预表明方向影响行为，但也意味着可能被滥用来削弱模型承诺；没有给出校准曲线、选择性预测的风险-覆盖率权衡或黑盒适用性；情感和奖励欺骗域仅为初步证据。

后续可尝试自生成、多语言锚点以减少语言先验；把构造扩展到更多语义域并做系统验证；对乘法组合做校准或自适应加权；在更多模型家族、更大样本和更长轨迹上复现；比较不同 lens（J-Lens vs R-Lens）和层深选择；把 token 级 U-Lens 输出接入弃权/人工审核策略；通过电路归因定位这些方向的来源；建立受控干预协议以区分相关与因果；并评估被恶意用于削弱模型自信的风险。

本文定位在“多模态深度研究智能体”与“统一视觉推理”的交叉点。核心论点是：单图、多图、视频三类深度研究虽然所需的视觉操作不同，但共享“视觉接地 → 外部检索 → 事实组合”的工作流，因此可以用一个策略统一学习。为此，作者提出 Visually Grounded Evidence Graph（VGEG），把它作为贯穿数据构造、轨迹监督与操作级评测的共享任务级参考结构；再基于 VGEG 引入双维过程奖励 EVGR，并构建按研究操作组织的 OneSearch-MI-Bench 与 OneSearch-Video-Bench。相对既有工作，它强调从局部视觉锚点到实体关系、源支持事实再到答案生成操作之间的端到端溯源依赖，并把单一结构复用到数据、训练和评测三个环节。

多模态深度研究让视觉语言模型从直接作答转向主动定位视觉线索、检索外部知识，并通过多轮工具调用整合证据。近期工作把这一能力从单图扩展到视频，联合时序定位、视觉检查和开放网页检索；同时，统一多模态模型也在推进跨图、跨视频的时空理解与推理。这些进展引出一个自然问题：一个策略能否同时学会图像与视频的深度研究。 既有证据表示方法——感知-知识链、事实 rubrics、证据图——被用于任务构造、监督和评测，但作者认为它们没有同时保留“局部视觉锚点 → 实体关系 → 源支持事实 → 答案组合”这一完整依赖链；视频侧流程也主要把抽取的实体或关键帧作为检索/出题种子，缺少端到端溯源。另一方面，现有视频深度研究基准主要报告整体答案准确率，按视频内容或来源分类，难以定位失败究竟发生在实体查找、关系追踪、条件过滤还是事实组合。本文据此引入 VGEG 与操作导向基准，并以“统一三输入类型 + 证据过程奖励”作为解决方案。

本文机制可拆为问题形式化、工具环境、VGEG 数据引擎、SFT 与 RL 训练、操作导向评测五部分。 一、问题与动作协议。输入 X 属于三类：单图 I、图集 ℐ={I_j}_{j=1}^K、视频 V（式 1）。策略 π_θ 在第 t 步基于历史 h_t=(X,q,a_1,o_1,…,a_{t-1},o_{t-1}) 生成动作 a_t=(z_t,c_t)，其中 z_t 是推理轨迹，c_t 是工具调用或最终回答；工具调用产生观测 o_t（裁剪区域、视频帧、识别文本、检索结果等）。完整轨迹 τ 的似然为式 (2)：π_θ(τ|X,q)=∏_{t=1}^T π_θ(a_t|h_t)。三类输入共享同一动作-观测协议，但保留输入特有行为：单图检查局部区域，多图跨索引聚合，视频做时间段与关键帧定位。 二、工具环境。式 (3) 规定：图像和图集暴露 T_vis∪T_ret，视频额外暴露 T_temp。T_vis 含 Crop、OCR、PerspectiveCorrect、SuperResolution、Sharpen；T_ret 含 ImageSearch、TextSearch；T_temp 含 SelectTimespan、SelectFrame。所有工具共用 dispatcher 与观测格式。附录给出资源注册表：单图与图集成员各有独立 handle，视频 handle 指向采样帧网格；裁剪、增强、抽帧、选段的结果注册为新 handle 并可复用，因此支持“选帧 → 裁剪 → OCR/反向搜索”的组合调用。 三、VGEG 数据引擎（五阶段）。第一阶段源视频策展：从 2.5M YouTube 记录经上传日期过滤（2023-01-01 起）、元数据规则粗筛、类别配额平衡与排除、GPT-4.1 文本片段筛选、时长均衡，收敛到约 70k 候选。第二阶段稠密视觉锚点发现：按 2 FPS 采样、10 帧局部 clip，Seed 2.0 Pro 生成 clip/关键帧描述，Qwen3-VL-Embedding-8B 做跨 clip 关键帧去重（图像相似 ≥0.9 或文本相似 ≥0.8 即移除），再聚合事件，Qwen3-VL-30B-A3B-Instruct 定位可检索对象并给归一化 bbox（[0,1000]^4），形成“video → event → key frame → localized object”的稠密描述树（式 8）。第三阶段 Web 证据图：GPT-4.1 把对象路由到反向图搜、OCR+文本检索或丢弃；多视角重试构建候选实体池，Seed 2.0 Pro 提议身份，Qwen3-32B 读取页面并验证一致性；Expand Entity Pipeline 抽取源支持事实 f=(u,r,z,p,ξ)（式 9，p 为源 URL，ξ 为保留的支持文本，解析器要求引文匹配至少 6 个规范化字符），仅置信度 ≥0.5 的后继实体继续扩展；最后确定性装配出输入级图 G_X，含事件、帧、对象、实体、属性、源页面及结构边、grounding 边、factual 边。第四阶段 VGEG 任务构建：对每个候选任务 i 做任务条件投影，式 (4) 为 Γ_i=Φ_i(G_X)=(A_i,F_i,O_i,R_i)。A_i 是带位置的视觉锚点及其关联实体，F_i 是源支持外部事实，O_i 指定事实如何产生答案，R_i 继承 grounding/support 关系并加入任务特有依赖。生成器联合输出 (q_i,y_i,Γ_i)；验证器先用确定性规则检查证据路径与任务结构（关系链连续性、多锚点对象互异、比较共用属性、算术数值兼容、计数条件有事实支撑），再由 Seed 2.0 Pro 在掩码答案后用所选证据重答并对齐；随后“视觉实体模糊改写”把显式实体名改为视觉描述、隐藏多跳中间实体；再按目标输入类型实例化（多图=去重关键帧组成无序图集并把帧引用重映射为图索引；视频=保留原视频与事件/时间戳/帧/区域绑定）；质量过滤移除答案泄漏、引用歧义、视觉无关、纯文本可答的样本。单图任务复用 OpenSearch-VL 数据并将其 Wikipedia 实体采样路径转成 VGEG。第五阶段专家轨迹合成：Seed 2.0 Pro 在真实工具环境中求解（参考答案不泄露），GPT-4o 做答案正确性判定，过程级判定要求至少一次有效工具调用、逻辑与观测一致、无无效重复；双重通过者构成 OneSearch-VL-SFT-110K，RL 使用跨三类的 OneSearch-VL-RL-10K。 四、SFT。式 (5) 只对策略生成 token 求负对数似然：M_{t,k}^{pol} 对推理、工具命令、最终回答 token 取 1，对序列化工具观测取 0；工具观测是外生环境输出，只作为条件上下文。 五、RL 与 EVGR。从 π_θ_SFT 起在 RL-10K 上做在线 rollout（式 6，每题采样 G 条轨迹）。EVGR 把每条执行轨迹与题目专属结构化 rubric 对齐：rubric 记录答案核心、必需 claim facts、支持源与片段、适用的帧/区域标注。两次独立 judge 打分：Evidence Traceability（r_trace）检验工具观测是否建立了答案核心实体与必需事实跳，推理是否只依据观测、没有无据替换；Visual Grounding（r_ground）检验正确的可见实体、区域或视频帧是否被识别并用于驱动后续检索（图像输入时源图已可见、无需额外视觉工具调用；视频输入要求所选帧覆盖相关时刻并提供后续搜索所需的视觉身份）。二者合成过程奖励 R_EVGR。最终奖励为式 (7)：R(τ)=R_fmt(τ)(λ_acc·R_acc(τ)+λ_query·R_query(τ)+λ_EVGR·R_EVGR(τ))，其中 R_acc 是答案正确性、R_query 是查询相关性与进展、R_fmt 是格式有效性门控。优化用 GRPO 对同一问题的轨迹组归一化，裁剪目标只作用于策略生成 token；工具失败终止的轨迹按 fatal-aware 机制仅保留失败前合法前缀。 六、操作导向基准。OneSearch-MI-Bench 把同一视频源的去重证据帧组成无序图集，每题至少依赖两图，图索引保留锚点绑定，删除播放/帧号/时序表述；OneSearch-Video-Bench 保留时序结构。两分支共享六种主研究操作：单锚点查找、多跳检索、知识条件计数、多锚点连接、多锚点算术、多锚点比较；标签按最终产生答案的操作确定，中间依赖仍存于 VGEG。难度分为式 (10)：d_i=10w(s_i)+h_i+0.1|F_i|，其中 w 对单锚点取 0、多跳/计数取 1、三类多锚点取 2，并按边界划分为 easy/medium/hard。

实验分三块：主结果、消融、基准统计。主结果显示，OneSearch-VL-8B 在多图、视频与 VideoDR 上均明显超过带工具访问的 Qwen3-VL-8B；在七个单图知识密集基准上也超过同规模基线，并相对 OpenSearch-VL-8B 全面小幅领先。操作级分解显示增益主要集中在需要过滤、连接、比较或计算多个视觉锚点关联事实的组合类操作上，而非简单事实查找。SFT 数据混合消融表明任一单类轨迹都有正向监督、视频单类最强，三类联合进一步最优；RL 奖励消融表明答案正确性与查询质量逐步提升，单独加入 Trace 或 Ground 各自有效，两者叠加的完整 EVGR 取得最优。基准构造上，题目以组合类研究操作为主，多图题跨越多个图像；数据策展阶段对海量源视频做了多轮筛选。

1. 在多图与视频主结果上，OneSearch-VL-8B 相对 Qwen3-VL-8B 工具访问基线在 OneSearch-MI-Bench、OneSearch-Video-Bench、VideoDR 上分别提升 20.2、17.6、27.0 个百分点。

   OneSearch-VL-8B outperforms Qwen3-VL-8B by 20.2, 17.6, and 27.0 points on OneSearch-MI-Bench, OneSearch-Video-Bench, and VideoDR, respectively.

2. 在七个单图基准上，OneSearch-VL-8B 平均分为 58.3，比同规模 Qwen3-VL-8B Agent 高 16.3 分、比 OpenSearch-VL-8B 高 1.7 分。

   OneSearch-VL-8B obtains an average score of 58.3, outperforming the same-scale Qwen3-VL-8B Agent by 16.3 points and OpenSearch-VL-8B by 1.7 points.

3. 相对 OpenSearch-VL 在全部七个单图基准上均有提升，其中 VDR、InfoSeek、MMSearch 分别高 2.8、2.1、2.0 分。

   It improves over OpenSearch-VL on all seven benchmarks, with gains of 2.8, 2.1, and 2.0 points on VDR, InfoSeek, and MMSearch, respectively.

4. 多图操作级提升集中在知识条件计数、多锚点算术、多锚点比较，分别提升 29.8、26.3、22.5 分。

   On multi-image tasks, knowledge-conditioned counting, multi-anchor arithmetic, and multi-anchor comparison improve by 29.8, 26.3, and 22.5 points, respectively.

5. 视频操作级提升集中在多跳检索、多锚点算术、多锚点连接，分别提升 25.5、20.0、19.2 分。

   On video tasks, multi-hop retrieval, multi-anchor arithmetic, and multi-anchor joining improve by 25.5, 20.0, and 19.2 points.

6. SFT 数据混合消融显示，任一单类轨迹都能把六基准平均从 40.7 提升到 51.7–55.1。

   Training on any one trajectory type raises the six-benchmark average from 40.7 to 51.7–55.1.

7. 三类联合 SFT 达到 55.8，并在 SimpleVQA、OneSearch-MI-Bench、OneSearch-Video-Bench 上取得该消融最优。

   Joint training on all three types reaches 55.8 and gives the best result in this ablation on SimpleVQA, OneSearch-MI-Bench, and OneSearch-Video-Bench.

8. RL 奖励消融中，仅答案正确性把平均从 55.8 提到 56.3，加查询质量到 57.3，单独加 Trace 或 Ground 分别到 59.0 与 59.3。

   accuracy-only RL improves the six-benchmark average from 55.8 to 56.3, and adding query quality raises it to 57.3. Adding Trace or Ground separately further improves the average to 59.0 and 59.3

9. 完整 EVGR（Trace+Ground）取得 61.1 的最优平均，比 answer+query 高 3.8 分，比两个单维变体分别高 2.1 与 1.8 分。

   Using both Trace and Ground yields the best average of 61.1, improving by 3.8 points over answer-plus-query rewards and by 2.1 and 1.8 points over the two single-dimension variants.

10. 两个新基准共 608 题，非单锚点的五个组合类占 555 题（91.3%），多图题含 2–8 张图、均值 3.05 张。

    The two benchmarks contain 608 questions. The five compositional categories beyond single-anchor lookup account for 555 questions, or 91.3% of the combined set. Multi-image questions contain 2–8 images , with a mean of 3.05 images per question.

11. 源视频策展把初始 2.5M 网络视频缩减到 70k 候选。

    reducing the initial pool of 2.5M web videos to 70k candidates

12. 难度分组在多图与视频两分支分别为 100/100/101 与 102/102/103 题。

    The three groups contain 100, 100, and 101 multi-image questions and 102, 102, and 103 video questions, respectively.

Novelty：新颖性主要体现在系统级统一而非单个新算法。其一，VGEG 作为共享任务级参考结构，把局部视觉锚点、真实实体、多跳关系、源支持事实与答案生成操作之间的依赖一次性编码，并复用到数据构造、轨迹筛选、RL 奖励和操作级评测四个环节；相比已有的感知-知识链、事实 rubrics 和证据图，它更强调端到端视觉溯源与答案组合依赖的保留。其二，EVGR 把过程奖励拆为证据可追溯性与视觉接地两个互补维度，并对图像（源图已可见）与视频（需选帧覆盖并驱动后续检索）给出区分性判据。其三，单一 8B 策略同时覆盖单图、多图、视频三类输入，以及按研究操作而非内容类别组织评测，这在多模态深度研究任务设定上有一定新意。整体判断：各组件均有前身，贡献属于“中等偏高”的系统设计创新，核心增量在于同一结构贯穿数据-训练-评测的一致性。 Soundness：方法论上自洽性较好：三类输入共用动作-观测协议与工具 dispatcher，SFT 只对策略生成 token 求损失并把工具观测当作条件上下文，RL 用 GRPO、格式门控与 fatal-aware 前缀处理，这些设计合理且可复现性强。消融实验能支撑两个核心主张：联合 SFT 优于任一单类训练，EVGR 双维叠加优于 answer+query 或任一单维。主要审稿疑虑在于证据独立性：两个新基准与训练数据出自同一数据引擎和源视频池，尽管有多轮信息掩码与去泄漏过滤，仍存在训练-评测分布重叠与答案泄漏风险；正确性判定依赖 GPT-4o 二值判断，构造与验证大量依赖 Seed 2.0 Pro，可能引入模型 judge 偏差；对 Qwen3-VL-8B Agent 基线的工具接入与提示细节在正文未完全展开。综合判断为“基本扎实”，但需要更强的人类校准与跨分布、跨来源的外部验证来强化结论。 Significance：若数据与基准真正开源，对多模态深度研究社区有实际价值：提供一个跨单图/多图/视频的统一策略，以及按研究操作拆分的评测视角，能帮助定位失败是在实体查找、关系追踪、条件过滤还是事实组合，比单纯报告整体准确率更有诊断力。其“单类轨迹也能迁移到其他输入类型”的发现（视频单类训练同时提升单图基准）对数据效率也有启发。不过增益部分来自大规模合成数据、外部搜索工具与 8B 基座，VGEG/EVGR 的边际贡献仍需在不同基础模型与外部基准上检验。学术推动意义总体中等，偏系统与工程贡献，但方向（统一深研智能体 + 过程级证据监督）具有延续性。

第一，依赖外部搜索工具与实时网页，TextSearch/ImageSearch 的结果会随时间变化，直接影响证据可得性与复现性；文中也承认应保存检索快照并评估工具失败鲁棒性。第二，VGEG 构建、QA 验证、实体身份提议、专家轨迹与过程奖励均大量依赖 Seed 2.0 Pro、GPT-4o、Qwen3-32B 等模型判断，可能引入标注错误、judge 偏差和循环验证（模型验证模型产出）。第三，OneSearch 两个新基准与训练数据共享同一数据引擎与源视频池，存在分布重叠与潜在泄漏；虽有掩码与纯文本探针，但未见严格的跨来源泛化测试。第四，评测用 GPT-4o 对单一参考答案做二值判定，对可接受别名与多解问题的敏感性有限。第五，视频仅基于 2 FPS 采样帧网格，时序定位粒度受限于该采样，长视频与流式场景未覆盖。第六，单图任务复用既有数据转换，未新造单图数据，统一性在单图侧的增益说明有限。第七，多轮交互带来额外推理与工具成本，论文未给出成本-收益的定量权衡；奖励系数、操作权重、难度边界等启发式选择也缺乏敏感性分析。

可跟进的方向：一是核实 GitHub/Hugging Face 是否发布模型、OneSearch-VL-SFT-110K、OneSearch-VL-RL-10K 及两个基准，复现并检验数据-评测重叠问题。二是在检索快照固定、工具故障注入的条件下测试鲁棒性，并研究自适应交互预算与成本感知训练。三是对 VGEG 标注做人类校准，或用开放多模态过程 judge 替代闭源模型判断，降低循环偏差；同时做 judge 与人类一致性分析。四是在外部、跨来源、不同基座模型上检验统一训练的泛化性，尤其验证“视频单类训练能提升单图基准”的迁移机理。五是把 VGEG 与事实 rubrics、感知-知识链等结构做头对头消融，隔离结构本身的贡献。六是扩展操作分类到失败诊断与多次运行方差，补充 per-operation 误差条和样本级分析。七是扩展到音频、文档、GUI 等更多模态，以及更长视频与流式输入。八是研究 EVGR 的奖励黑客风险（rubric 博弈）与 r_trace/r_ground 的权重、校准曲线敏感性。

本文提出 SparseEngine，一个“稀疏优先（sparse-first）”推理引擎。与围绕页面路由（Vortex）、GPU–CPU 分区流水线（SPIN）或非均匀 head 级保留（Tangram）等具体 KV 布局/工作流组织接口的既有系统不同，SparseEngine 把抽象边界放在“共享生命周期契约”上：方法通过细粒度钩子自定义 KV 表示、计算与状态迁移，同时复用统一的调度、容量与缓存基础设施。文章声称以这一契约集成四类 15 种稀疏方法，并向上提供 Chain Cache（让 KV 驱逐类方法跨轮复用被压缩的历史）与 Prefix-Cache Pruning（在保留逻辑前缀匹配的前提下删除指定历史区间的物理 KV）。其定位是通用性与效率兼顾：不牺牲方法质量，同时在长上下文解码与 agent 基准上获得吞吐与端到端加速。

长上下文 LLM agent 的推理负载是有状态的：编码、研究、推理等迭代式 agent 工作流通过反复调用工具与推理链迅速膨胀上下文历史，形成 KV 缓存容量与注意力计算两个 GPU 瓶颈。稀疏推理方法以选择性注意力或压缩 KV 缓解这两类成本，但它们在“KV 如何表示”与“何时更新”上差异极大。本文把方法分为四类：动态稀疏（Quest、InfLLM、OmniKV、NSA、IndexCache 等，查询相关地选择上下文但通常保留未选历史）、KV 驱逐（H2O、SnapKV、PyramidKV 等，物理删除条目以释放容量）、KV 压缩（Palu、LoRC、DeltaKV，用紧凑表示替换全维张量）、KV 量化（KIVI、TurboQuant，降低数值精度）。这四类方法需要不同的状态与执行语义：动态选择维护查询相关索引与摘要；驱逐改变驻留集并释放容量；压缩/量化改变载荷并可能需要元数据或重建。 既有稀疏服务系统围绕特定访问、放置或保留模式组织接口：Vortex 提供可编程的页面中心路由；SPIN 以 Index→Offload→Select→Retrieve→Attention 的 GPU–CPU 流水线管理分区；Tangram 通过预算预留与 Ragged Paging 管理非均匀 head 级保留；HiSparse 把完整 KV 历史放在 host 内存、按需抓取到 GPU 缓存；vToken 通过逻辑到物理间接寻址与重打包回收 token 级存储；SparseFrontier 主要评估精度-效率权衡。这些接口适合部分方法却约束其他方法（如 Quest 需要查询相关页面选择，H2O 还需要持久注意力分数与生成期物理驱逐）。同时，服务基础设施还有连续批处理、分块预填充、分页缓存与前缀缓存等机制。本文的核心问题是：共享服务基础设施与方法对 KV 状态和计算的私有控制之间，抽象边界应放在哪里。

设计核心是把抽象边界放在“方法生命周期”而非固定工作流。SPIN 的 Index→Offload→Select→Retrieve→Attention 与 Vortex 的 Cache Update & Summary→Page Selection→Attention 都是预定义流水线；SparseEngine 则锚定“模型原生模块执行顺序”这一不变量，沿该顺序暴露钩子，使每个方法注册回调、自行组合计算流程，而无需修改模型实现。契约由三部分组成：SparseController 钩子、方法定制的 CacheManager、连接方法状态与注意力执行的 AttentionView。 （1）SparseController 细粒度钩子。钩子覆盖 prefill 与 decode，在 attention 前后、每个 layer 结束、每个 execution step 结束处提供扩展点；初始化时选定 SparseMethodRuntime 实现方法回调。prefill 的 finish_step 支持 H2O 基于累计注意力分数的分块驱逐与 SnapKV 在最后一个 prompt chunk 后的选择/驱逐，从而在分块预填充下无需 LlamaSnapKV、Qwen3H2O 这类方法专用模型实现；decode 的 build_decode_selection 执行 Quest 的查询相关页面选择，finish_step 更新 H2O 累计分数并在线驱逐；on_layer_end 与 build_decode_selection 组合使 OmniKV、DeltaKV 能把观察层索引复用到后续层。 （2）方法定制的 CacheManager。它拥有方法私有的状态与存储，定义 KV 表示、物理布局、位置映射以及分配、写入、更新、释放操作，并维护与 KV 状态对齐的持久元数据。关键区分是物理驱逐与逻辑选择：物理驱逐更新 retained-slot 映射与上下文长度，再把槽位归还分配器；逻辑选择只改变注意力读哪些驻留条目。例如 SnapKV 压缩与 H2O 驱逐联合更新保留位置、方法统计与容量；OmniKV 对驻留 KV 应用跨层选择；KIVI 管理量化 KV 页、量化元数据与未量化残差区。这样存储与访问语义不同的方法共享同一生命周期。 （3）AttentionView。它用 View_{ℓ,t}=BuildView(C_{ℓ,t}, I_{ℓ,t})、o_{ℓ,t}=Attention(q_{ℓ,t}, View_{ℓ,t}) 连接方法状态与注意力。给定持久缓存状态 C 与选择 I，CacheManager 构造描述可访问数据与物理布局的 view，供兼容注意力后端消费；底层状态可以是显式 KV 张量，也可以是 MLA 潜变量与位置状态加元数据。Quest view 含被选 KV 页，OmniKV view 按跨层选择引用驻留 KV，DeltaKV view 暴露按需重建的 KV。附录 B 说明 view 载荷、临时缓冲生命周期与 CUDA Graph 执行：CUDA Graph 路径要求缓存管理器、方法运行时与注意力实现提供跨回放地址稳定的缓冲，步骤准备更新槽位映射、长度等可变输入，模型 runner 负责捕获与回放。 执行流程：调度器按 chunk 处理 prompt，再把采样 token 回灌进行下一步 decode；通过 MemoryOracle 查询方法级容量与预留需求，并在 GPU rank 间协调执行；层结束钩子协调跨层状态，步结束钩子在下一 forward 前应用缓存更新。 MemoryOracle（附录 B.1）处理“注意力预算不等于内存需求”的问题：Quest 可能只读少量页面却保留大得多的缓存，驱逐方法在压缩前会临时持有 prompt KV，压缩方法除持久存储外还需重建空间。因此调度器查询 rank 0 运行时状态；方法上报一组命名资源预算 B_j 与请求成本 c_j(r)，仅当对所有上报资源 j 都满足 c_j(r)≤B_j 才接纳并扣减。PyramidKV 可为每层报独立 retained-slot 预算；DeltaKV 报全注意力层、参考条目、保留原始 KV 与重建空间预算。步级预留区分分块预填充、全 prompt 预填充与 raw-KV offload 路径，并用兼容键对请求分组。 Chain Cache 解决驱逐类方法的跨请求复用问题。动态稀疏方法（Quest/OmniKV/NSA/DSA）保留全 KV 历史，天然支持常规前缀缓存；驱逐类方法（SnapKV/KVzip/H2O）丢弃条目、破坏“驻留 KV”假设。ChainCacheIndex 将会话与保留的逐层 KV、方法元数据、逻辑 token 前缀关联：逻辑前缀仍可用于匹配，即使 SnapKV 已移除部分物理 KV；续接请求只需匹配已处理的逻辑前缀，不要求每个匹配 token 都有驻留 KV，这对不同层保留不同位置（H2O、SnapKV）或需要累计注意力分数（H2O）的情况尤其重要。请求完成后 chain 变为 idle，CacheManager 保留逐层 KV 与元数据；匹配续接重挂状态并只 prefill 未处理后缀，保持此前缓存决策；容量不足时按 LRU 回收 idle chain。附录 B.2 的 chain 记录含标识符、active/idle 状态、方法/配置指纹、边界 token 数与摘要；续接须匹配指纹与到边界的精确逻辑前缀；处理边界排除尚未通过模型的最终采样 token；取消/失败/抢占使 chain 失效并释放载荷与元数据；张量并行下 driver 分发接纳与 victim 计划。 Prefix-Cache Pruning 面向 agent 轨迹中不同区间的 KV 效用差异（用户输入、工具结果、推理链、输出），让应用指定剪枝区间与保留比例。应用提交完整 token_ids 与区间 [L,R)，评分策略（如 KVzip/SnapKV）在 T={i|L≤i<R} 内选择保留位置并返回 mask；CacheManager 只对无活跃引用、无传输的 idle block 应用 mask。设 P 为逻辑 token 前缀、R 为有驻留 KV 的位置，保留选择 I⊆R∩T 后得到 P′=P、R′=(R\T)∪I：逻辑前缀不变，区间外保留 + 区间内被选 I 成为新物理驻留集，释放 R′ 之外的物理槽。后续请求仍可匹配同一前缀并只复用保留 KV。附录 B.2 说明：区间剪枝接受保留 token 预算与评分策略，作用于 block 对齐区间；零预算删除该区间全部 KV；剪枝后记录各逻辑块内保留 offset，并用 pruning record 标记受影响续接为“使用压缩历史”；原始逻辑 token 历史仍是前缀匹配键，注意力使用缩减后的物理载荷。 代表性方法的算法直觉（附录 A.3）说明为什么需要这些钩子与状态。H2O 把持续获得高注意力的 token 视为 heavy hitter：u_i(j)=u_{i-1}(j)+α_{i,j}(A_i)，保留集 R_i=W_i∪TopK_{B-|W_i|}(u_i; A_i\W_i)；受保护最近窗口之外的 token 必须靠累计分数竞争驻留，因此续接需要保留 KV 与对齐的分数状态。SnapKV 用 prompt 末尾 w 个观察位置估计生成期重要性：u(j)=Σ_{i∈O}α_{i,j}([i])，s=Pool_κ(u)，R_prompt=O∪TopK_{B-w}(s;[n]\O)；一维池化宽度 κ 抬高重要位置邻域，各 head 保留位置可不同，分块预填充时须先有观察窗口再做压缩。Quest 按页存通道最小/最大 key，ẑ_{i,b}=(1/√d_k)Σ_c max{q_c m_c, q_c M_c} 上界页内任意 token 的 query–key logit，据此选页后用真实 KV 计算注意力；未选页仍驻留供后续查询，页摘要与 KV 历史共存。OmniKV 在观察层产生 token 索引 J_{f,i}=TopK_b(s_{f,i};[i])，稀疏层直接复用 I_{ℓ,i}=J_{f(ℓ),i} 但用各自 KV 计算注意力，因此引擎要在层间传递选择索引并保持各层缓存。MLA 把内容 K/V 压缩为潜变量 c_j=h_j W^{DKV}，k^C=c U^K、v=c U^V，另有位置 key k^R；logit 改写为 ((q^C(U^K)^T)c^T+q^R(k^R)^T)/√(d_C+d_R)，输出为 (Σ α c_j)U^V，说明逻辑注意力不规定物理缓存格式——正好对应 CacheManager 拥有格式、AttentionView 暴露给后端的设计。 训练与数据细节：本文不训练任何模型，也不学习稀疏方法的参数；它是在预训练模型上集成既有稀疏方法与服务组件，因此没有权重更新意义上的训练过程。评估数据包括 LongBenchV1 与 LongBenchV2 的多个任务类别、AIME 2024 推理题、SWE-bench Lite 的 agent 任务与 Claw-Eval 文本 agent 任务；方法级超参、预算、采样设置与硬件配置分散在附录 C 各节。所谓“数据/训练细节”在这里对应的是方法超参与评测协议，而非模型训练。

实验分三块：质量、服务吞吐、跨请求缓存状态管理。质量上，在 LongBenchV1/V2 与 AIME 上对照原始稀疏实现与全注意力，考察 SparseEngine 是否保持方法质量；服务吞吐上，与 vLLM 及 Vortex/HiSparse/Tangram 等专用系统比较，覆盖大批量物理驱逐、匹配并发/匹配批次下的动态稀疏，以及不同上下文长度；缓存状态管理上，用 SWE-bench Lite 与 Claw-Eval 检验 Chain Cache 在多轮 agent 任务中的成功率，用前缀剪枝检验按区间保留部分 KV 后的任务质量，并用轨迹回放测端到端速度。总体结论是：SparseEngine 在保持方法质量的同时获得吞吐与端到端加速，且其通用实现相对专用系统仍具效率优势。

1. 大批量下，SnapKV 的物理 KV 驱逐使 SparseEngine 的聚合解码吞吐约为 vanilla vLLM 的 10 倍。

   SparseEngine with SnapKV delivers approximately 10 × 10\times the aggregate decode throughput of vanilla vLLM on both models.

2. 匹配批次下，Quest 与 OmniKV 在两种模型上达到 vanilla vLLM 约 1.5–2.6 倍解码吞吐。

   With Quest and OmniKV, SparseEngine reaches roughly 1.5 × 1.5\times – 2.6 × 2.6\times the decode throughput of vanilla vLLM at several matched batch sizes across the two evaluated models (upper).

3. Qwen3 128K 输入、批大小为 2 时，Quest 达到 Vortex 1.24 倍、HiSparse 1.55 倍解码吞吐，SnapKV 达到 Tangram 1.55 倍。

   At a matched batch size of two on Qwen3 with 128K-token inputs (Figure 5 , upper), SparseEngine with Quest delivers 1.24 × 1.24\times Vortex’s and 1.55 × 1.55\times HiSparse’s decode throughput. With SnapKV, SparseEngine delivers 1.55 × 1.55\times Tangram’s throughput at the same batch size.

4. LongBench V1/V2 共 20 个总分比较中，SparseEngine 相对参考实现平均差异 +0.17 分、方差 0.32 分²。

   Across the 20 overall-score comparisons on LongBench V1 and V2, SparseEngine achieves a mean difference of + 0.17 +0.17 points from the reference implementations, with a population variance of 0.32 0.32 squared points.

5. AIME 2024 上 StreamingLLM 以 18.3 准确率获得 3.36 倍端到端加速，是速度最快但质量下降最大的配置。

   StreamingLLM | 18.3 | 3.36 × 3.36\times

6. AIME 2024 上 SnapKV(High) 准确率 85.0、端到端加速 1.05 倍。

   SnapKV ( High ) | 85.0 | 1.05 × 1.05\times

7. AIME 2024 上 Quest(Vortex) 的端到端加速为 0.91 倍，慢于原模型。

   Quest ( Vortex ) | 75.0 | 0.91 × 0.91\times

8. SWE-bench Lite 上 GLM-4.7-Flash 的 SnapKV 结合 Chain Cache 任务成功率 24.7%，接近 Vanilla 25.0%。

   GLM-4.7-Flash | 25.0 | 24.7 | 13.0 | 25.3 | 26.0

9. SWE-bench Lite 上 Qwen3-30B-A3B 的 SnapKV 结合 Chain Cache 成功率 8.3%，高于 Vanilla 5.3%。

   Qwen3-30B-A3B | 5.3 | 8.3 | – | 7.3 | 5.3

10. 前缀剪枝中 KVzip 保留 20% 工具结果 KV 会略有下降，lag=4 延迟剪枝恢复至 25.0% 任务成功率。

    Using KVzip-based global scoring to retain 20% of the aligned KV tokens in targeted tool results incurs a slight drop in performance. However, when we delay pruning with lag=4 (i.e., when a new tool result arrives, it prunes only the fifth most recent tool-result round, leaving the latest four rounds intact), the original performance is immediately restored. This policy achieves a 25.0% task success rate

11. Gasai 轨迹上 SnapKV 8K 缓存预算 + Chain Cache 相对 Vanilla 达到 2.24 倍端到端加速。

    SnapKV with an 8K cache budget and Chain Cache reach a 2.24 × \times end-to-end speedup over Vanilla on Gasai.

12. SWE-lite 回放中 H2O 最大批 80，端到端加速 2.02 倍、输出 610.8 tok/s。

    H 2 O | 80 | 48.5 | 2.02 × 2.02\times | 610.8

Novelty：新颖性中等偏上。单个机制（钩子、CacheManager、View、前缀缓存）在系统文献中并不全新，但本文的新意在于抽象边界的位置与组合：以“生命周期契约”统一四类 15 种方法，并把方法私有的表示/更新与调度、容量、前缀复用解耦；Chain Cache 让驱逐类方法跨请求复用压缩状态，Prefix-Cache Pruning 让逻辑前缀与物理驻留解耦，这两点是相对现有稀疏服务系统（Vortex/SPIN/Tangram/HiSparse）较明确的增量。与算法论文不同，其贡献主要是系统工程与接口设计，而非新的稀疏注意力算法。 Soundness：论证总体可接受但存在薄弱处。优点：对 Quest 与 SnapKV 分别匹配了 Vortex/HiSparse 与 Tangram 的抽象，采用匹配批次/并发对比；质量评估对照原始实现与全注意力，并给出聚合差异；覆盖 GQA、MLA、MoE、混合线性注意力多种架构。不足：部分 headline 数字与实验段落表述不完全一致（如“超过 2.5×”与动态稀疏 1.5–2.6× 的区间），且多为单次运行、缺少方差/重复与显著性检验；前缀剪枝的 lag=4 配置在不同硬件/精度上运行，并非严格匹配消融；端到端加速基于轨迹回放而非实时闭环，且部分对比的批次范围有限。 Significance：若实现与接口设计成立，对长上下文 agent 服务有较高实用价值：能在一个引擎内复用多种稀疏方法并共享前缀缓存/连续批处理，降低接入成本；Chain Cache 与可控剪枝直接针对 agent 轨迹 KV 膨胀这一真实瓶颈；对原生稀疏模型（如 DeepSeek-V3.2）也有承接作用。但其影响受限于：通用契约是否带来可接受的运行时开销、方法覆盖的深度，以及论文主要演示吞吐而非端到端 SLO/时延保障。

本文不训练模型，方法质量依赖既有稀疏实现，未讨论集成过程中可能引入的实现误差如何系统验证。实验多为单次运行，LongBenchV2 子任务实例较少且 top-p 采样带随机性，正文只给出聚合差异而未报告置信区间或重复实验。前缀剪枝的 lag=4 配置在 FP8、RTX 4090 上运行，与未剪枝参考在 BF16、H20 上运行，属于不同硬件/精度的非严格消融，作者自己也说明它只是任务质量参考而非匹配消融。端到端 agent 性能使用轨迹回放而非实时闭环，且 Gasai 仅用于系统效率评估；回放能覆盖 prefill、decode 与调度，但未必反映真实工具等待与动态并发的全部效应。15 种方法中只有一部分在正文质量/吞吐实验中出现，很多方法（如 Ada-SnapKV、RetroInfer、LoRC、SkipKV）主要停留在附录的方法需求说明，广度声称与深度验证之间存在缺口。系统层面缺少对生命周期钩子、MemoryOracle、Chain Cache 挂接/恢复、碎片与回收延迟的开销测量，也未报告 TTFT、请求级时延 SLO、抢占与公平性指标。前缀剪枝只测了 KVzip 一种评分策略和有限的区间/lag 设置，缺少对不同保留比例、区间选择与评分策略的系统对比。与 SPIN、SparseFrontier、vToken 等系统仅讨论未直接对比，难以判断通用契约相对这些系统的实际代价。最后，本文不处理底层模型的安全与偏差，部署仍需额外防护。

可跟进的方向包括：一是原生稀疏模型与推理期稀疏化的组合，把 DeepSeek-V3.2 式原生稀疏、IndexCache 的跨层索引复用、OmniKV 的观察层机制统一到生命周期钩子中。二是在同一契约上叠加选择+驱逐+量化/压缩的组合优化，例如对保留全历史的动态稀疏方法再用驱逐控制增长、用量化降低存储。三是论文讨论的 agent 辅助方法集成 harness：以参考模块与自动检查（方法保真度、缓存生命周期正确性）为约束，让编码 agent 在明确边界内实现新方法并用测试反馈迭代。四是对前缀剪枝做更系统的研究：按区域效用、lag、保留比例与评分策略的联合搜索，以及面向工具结果/推理链的自适应阈值。五是把 AttentionView 抽象延伸到多级存储（如 HiSparse 的 host/GPU 分层），让选择、驱逐与 offload 共用同一契约。六是形式化生命周期契约并建立方法保真度自动测试、模糊测试与回归基准，降低集成错误。七是补上实时闭环 agent 基准与 TTFT、SLO、抢占公平性等延迟敏感指标。八是进一步优化分块预填充与 prefill 重计算路径，并支持非均匀 head 预算（Ada-SnapKV）与可变簇、GPU–CPU 检索（RetroInfer）等更复杂方法需求。