2026-09-11

本文的定位不是提出新模型或更大规模的 VLA，而是主张“接口设计”才是把基础 VLM 智能释放到物理操作的关键瓶颈。它把 Show-Harness 置于两条主流路线之间：VLA 路线让模型直接回归连续动作，牺牲语义并把通用知识压缩成不透明的像素-动作映射；层次化/智能体路线让模型只产出高层意图，由下游控制器或技能原语“决定怎么做”，切断意图与物理执行的直接联系。Show-Harness 选择第三条路：暴露一套离散、增量、视觉接地的语义动作单元，由具身解释器确定性落成小步机器人运动，使 VLM 既在语义上可推理、又直接对精细物理决策负责。论文的贡献叙事由此展开：同一接口既能零样本解锁闭源前沿 VLM，也能用少量 GPU 小时微调小规模开源模型，还能通过 GUMI 让人和代理以 GUI 方式跨具身收集演示，省去专用遥操作硬件。

视觉-语言基础模型已编码大量操作所需知识——物体识别、空间关系、长程目标分解——但这些知识并不自动转化为机器人行为。VLA 通过微调让 VLM 回归具身连续动作（回归、扩散、流匹配、离散运动 token、关键点/空间网格或潜动作码），把广泛语义知识压成不透明的像素到执行映射，换任务、环境或具身往往需要重新采集轨迹。层次化与程序化系统走相反路线：VLM 产出子任务调用或对人工控制 API 的程序，物理实现交给下游控制器，保留语义却放弃物理闭环，且每种表示绑定到特定工程化接地管线。智能体系统把完整 VLM 放进 harness，通过程序合成、技能库、语言子目标或符号规划器来执行，但主流做法把整段技能/控制器/VLA 暴露为可调用原语：代理决定“做什么”，不透明执行器决定“怎么做”。数字与模拟代理界已存在紧凑可解释接口（鼠标键盘、手柄、离散原语、导航方向），但真实操作缺少这样一个既简单又可广泛操作的接口。Show-Harness 正是填补这一缺口：用确定性接地的小步语义动作同时连接 VLM 智能与物理世界，并让同一动作空间同时向 VLM 代理和人类开放。

Show-Harness 把机器人控制重写为离散语义动作单元的闭环。整体上，给定语言指令 ℓ，第 t 步捕获观测 o_t=(ℐ_t, p_t)（多视角视觉与本体感觉），先经可配置推理插件集 𝒫 得到精化上下文 c_t=Φ_𝒫(ℓ,o_t,h_t)（公式 1），再由中心 VLM 在共享动作空间 𝒜 上选语义动作 a_t=π(c_t)∈𝒜（公式 2），最后由具身解释器确定性落地为机器人控制 u_t=g_E(a_t;s_t)（公式 3），执行结果作为新观测反馈到下一步。公式 3 中 E 是具身，s_t 是解释器内部设定点状态。 动作接口 𝒜 由语义动作单元组成：MV_FWD/MV_BACK、MV_LEFT/MV_RIGHT、MV_UP/MV_DOWN 相对参考视图单步移动末端；ROTATE_CW/ROTATE_CCW 与轴 x/y/z 配对做增量旋转；GRASP/RELEASE 开合夹爪；DONE 表示完成。设计遵循三条性质：增量性（每单元诱导小的局部物理变化，保持 VLM 在环内通过可观测效果连续校正）；可解释且具身无关（动作是语义符号而非数值目标，低层控制下沉到解释器，模型面向空间紧凑可复用）；视觉接地（方向定义在可观测视图上，空间推理可直接映射为动作）。 解释器是确定性且模型无关的。对动作单元，解释器更新 6-DoF 笛卡尔设定点 s_t=(𝐱_t,Q_t)：s_{t+1}=Π_E(𝐱_t+σ_t R_E d_a, exp(θ_t[R_E r_a]_×)Q_t)（公式 4）。其中 𝐱_t∈ℝ³ 为位置，Q_t∈SO(3) 为姿态；d_a 与 r_a 分别编码平移与旋转——旋转动作 d_a=0，平移动作 r_a=0，否则 r_a∈{±𝐞_x,±𝐞_y,±𝐞_z}；[·]_× 是反对称矩阵算子，指数映射把轴角扰动转成姿态增量；σ_t、θ_t 是标定的平移/旋转步长；R_E 把语义方向与轴映射到具身 E 的运动坐标系；Π_E 执行工作空间和单步平移/旋转限制。直觉上，VLM 只决定“往哪个语义方向走一步或转一下”，步长、坐标变换、运动学与安全都由解释器承担。夹爪单元绕过位姿更新直接映射开合。不同具身用不同低层控制器实现同一单元：Franka 用阻抗控制跟踪笛卡尔设定点，AgileX 用逆运动学加关节目标流，仿真执行对应操作空间命令。因此换具身只需换解释器，模型面向接口不变；工作空间、桌面高度等安全边界可在解释器中配置，违例动作执行前被拦截。 Harness 架构分感知、推理、动作三阶段。感知插件把原始传感器流转成可推理上下文：Multi-View Guidance 说明不同相机的角色与优先级（全局视图给场景级上下文，腕部视图给精细对齐的近距离证据）；Proprioception 把机器人内部状态转成简洁文本，包括夹爪高度、单步位移、分阶段执行提示（如还高时先下降）、接触状态与夹爪状态。推理插件把任务结构化为可执行的中间决策：Subtask Planning 先让 VLM 做规划器，把指令分解为带完成判据的有序子任务，执行中每一步模型对照当前图像检查判据、未满足则继续动作、满足则宣布完成并推进；Situated Planning 把不确定分支延迟到证据可观测时再局部解决并更新计划，避免每步重规划又不必过早承诺；Action Chunking 在无需细反馈时（目标尚远）让模型一次性发出短动作序列开环执行，降低查询频率；Adaptive Step 按目标远近动态切换步长（远用大步、近用细步）；Visual Prompt 用一次专门模型调用把模糊语言目标转为高亮相关 affordance 的视觉参考，让后续推理接地在视觉标记上，仅在语言难以指定交互区域时启用。动作插件提供轻量记忆与恢复：Action History 把近期动作带入下一步并提示避免相反动作间振荡；Failure Recovery 自动检测空抓，重置夹爪状态并回滚到抓取子任务。 同一接口支持两种模式。ZS 模式让前沿 VLM 免微调直接控制，通过 harness 把前沿模型能力用于物理控制。FT 模式让小开源 VLM 预测语义动作单元：给定共享动作空间的演示 𝒟，最小化目标单元的 token 级交叉熵 ℒ(θ)=-Σ_{(ℓ,o,h,a)∈𝒟} log π_θ(a|Φ_{𝒫_min}(ℓ,o,h))（公式 5）。这里 𝒫_min 故意只保留任务指令、多视角观测与短动作历史，以利受控比较。关键是语义动作通过 VLM 原生词表预测，没有专用动作头或特殊 token，因此可用 LoRA 从有限演示做低秩适配；默认 Qwen3.5-2B，rank-64 LoRA 加在全部语言模型线性层，冻结视觉编码器和多模态投影器，仅更新约 3% 参数。 GUMI 是同一语义动作空间的 GUI 化。由于动作单元离散且可直接操作，每个单元映射到带标签控件和按键：人可用键盘“玩”机器人，computer-use 代理可操作同一 GUI，通用 VLM 代理可直接预测单元。每步 GUMI 记录执行前观测与所选语义动作，产出策略就绪的 (o_t,a_t) 对；因解释器确定性落地，rollout 还可保留低层命令与轨迹，使一份演示同时训练语义动作与连续控制策略。GUMI 支持步进控制、排队动作块、单/双臂、人-代理混合收集（人可介入纠正代理 rollout），无需专用遥操作硬件，且同一演示可被实现相同单元的多个具身复用，仿真与真实用同一工作流，还支持远程采集。 训练与数据：演示通过 GUMI 的人类键盘控制与前沿 VLM rollout（浏览器界面）收集，共享 2cm 平移步长。真实数据共 164 episode、7.8K 决策步，其中 Franka 101（5.0K 步）、单臂 AgileX 63（2.8K 步），FT 策略与对比 VLA 基线联合在两种具身数据上训练；另有 19 个 Franka 抓取恢复 episode（594 步）只保留纠正段。仿真数据 230 episode、13.5K 步（ManiSkill 100 + RoboLab 130），用于 sim-to-real。FT 超参：40 epoch、学习率 1e-4、cosine 调度、warmup 0.1、bf16、256×256 视图、batch 32，24GB 级 GPU 可训，Qwen3.5-2B 在单张 H200 上不到 2 小时。

作者在 Franka 单臂与 AgileX 双臂两个真实平台上，用多类物体与多种容器组合成真实操作任务，报告成功率与平均步数（试验次数、随机放置与步数上限见正文）。评估覆盖跨任务（含留出物体组合）、跨环境（背景、光照、视角、干扰物及仿真到真实迁移）与跨具身（Franka 与 AgileX 互迁）的泛化。能力分析分为物理适应性（缩小解释器步长获得精细控制、对角动作组合、旋转外推、工作空间扩张、双臂协调）与语义适应性（需高层推理的隐藏物体与拼字任务、从视频演示中上下文学习操作顺序）。消融包括前沿 VLM 选择与推理预算、微调骨干规模、各 harness 插件留一消融、动作空间表征的语义名称与显式约定交叉消融，并附定性对比。结论声称零样本与微调两条路线在多数维度优于代表性 VLA、VLA 智能体与代码即策略基线。

1. 在跨任务、跨环境、跨具身三类泛化上，零样本前沿模型（ZS）与微调小模型（FT）都一致优于代表性 VLA、VLA 智能体和代码即策略基线。

   Table 2 shows that both ZS (zero-shot frontier models) and FT (fine-tuned small open-source models) consistently outperform representative baselines across task, environment, and embodiment shifts.

2. 仿真到真实迁移中，仅用仿真演示训练的 FT 成功，而可训练的 VLA 基线失败。

   The advantage persists on held-out object combinations and extends to sim-to-real transfer, where FT succeeds using only simulated demonstrations while trainable VLA baselines fail.

3. 精细控制方面，仅把解释器步长从 2cm 减到 1cm 而不重训，ZS 和 FT 的成功率都大幅提升，而 π0.5 在相同演示下只有 18%，需额外精细训练才到 62%。

   This improves ZS from 60% to 82% and FT from 40% to 65%. In contrast, π 0.5 \pi_{0.5} achieves only 18% with the same demonstrations as FT, reaching 62% only after additional fine-grained training.

4. 旋转外推上，增量旋转单元让 FT 在未见过的 90° 姿态达到 70%，而 π0.5 只有 20%。

   ZS remains robust across all angles, while FT reaches 70% at the unseen 90 ∘ orientation despite training only on 0 ∘ and 45 ∘ demonstrations; π 0.5 \pi_{0.5} reaches 20%.

5. 工作空间向外扩张时，Show-Harness 仅轻度退化，而 π0.5 急剧下降。

   Show-Harness degrades only mildly as the workspace expands, whereas π 0.5 \pi_{0.5} drops sharply.

6. 推理密集任务上，启用 Situated Planning 的 ZS 达到 85%，而 FT 与 π0.5 单独只有 10% 和 0%；加入 Gemini 生成的子任务指令后 FT 升到 70%，π0.5 仍为 5%。

   ZS with Situated Planning achieves 85%, while FT and π 0.5 \pi_{0.5} alone reach only 10% and 0%. With the same Gemini-generated subtask instructions, FT rises to 70%, whereas π 0.5 \pi_{0.5} remains at 5%.

7. 视频上下文学习上，无演示时 ZS 只有 20%；给视频演示后 ZS 在两种来源都 20/20 成功，FT 在规划器提取的提纲条件下达 95%。

   Without a demonstration, ZS receives only the instruction tidy up and succeeds in just 20%, since the required order is unspecified. With a video demonstration, ZS follows the demonstrated order and succeeds in 20/20 trials from either source, while FT reaches 95% when conditioned on the task outline extracted by the same planner.

8. 去掉子任务规划插件后成功率降到 60%，模型常把物体拖向盘子而不抬升。

   Without planning, success drops to 60%, with the model often dragging objects toward the plate without lifting.

9. 动作分块插件：禁用它保留 96% 成功率但增加模型调用，全程强制分块则成功率降到 74%。

   Disabling chunking preserves 96% success but increases model calls, whereas forcing it throughout reduces calls but drops success to 74%.

10. 自适应步长按目标可见性切换，达到 96% 成功率且平均每集 30 步。

    Adaptive switching based on target visibility balances both, achieving 96% success with 30 steps per episode on average.

11. 视觉提示插件在常规任务上几乎无影响，但把需要手柄感知的抓取从 40% 提升到 85%。

    The plugin has little effect on regular tasks, supporting its default-off design, but substantially improves handle-aware grasping (40% to 85%).

12. 动作空间表征消融中，无语义先验的任意符号（无约定）设置仅 1/20 成功，推断映射正确率只有 23.3%。

    Setting (D) succeeds in only 1/20 episodes with only 23.3% of inferred mappings correct (Fig. 10 (b)).

Novelty：新颖性方面，本文没有提出新模型或新训练目标，而是主张并系统验证“语义动作接口”这一设计。离散方向/夹爪原语本身在导航、模拟具身代理和任务空间关键点动作中已有先例，确定性解释器下沉低层控制也不全新；VLA 文献中的关键点/空间网格动作也接近任务空间离散化。其相对新颖之处在于：把这些元素组合成“模型面向的小步语义单元 + 具身解释器确定性落地 + 与人类共享的 GUI 采集”的统一接口，并论证同一接口同时支撑零样本前沿模型与 2B 微调模型、跨具身与 sim-to-real。GUMI 让人、代理、人-代理协作在同一语义空间收集演示，是对数据采集问题的实用贡献。整体属于集成创新与系统贡献，而非原语层面的根本突破。 Soundness：严谨性方面，证据链条较完整：主表覆盖跨任务/环境/具身，留出物体组合与 sim-to-real；物理/语义适应性给出针对性场景；插件做留一消融；动作空间做 2×2 表征消融。但若干问题削弱结论强度：一是基线公平性，π0.5、GR00T 等 VLA 用同一演示转换出的连续轨迹微调，而 Show-Harness 的解释器本身携带具身先验，对比未必隔离“接口”变量；二是零样本结果高度依赖 Gemini 这一闭源模型，难以复现与隔离模型能力贡献；三是样本量（每任务多次试验、部分消融仅数十次）偏小，缺少统计误差；四是“outperforming”的表述较强，但未报告对基线调参的充分性。整体上方法与消融较扎实，但外部效度与统计严谨性有限。 Significance：意义方面，若结论成立，其价值在于指出“不需要更多模型容量或昂贵的具身预训练，正确的接口就能解锁基础 VLM 的具身能力”，这对资源受限的机器人学习与快速跨具身部署有实际意义；GUMI 降低演示采集门槛也值得关注。但当前证据集中在桌面级、平行夹爪的抓放与少量推理任务，离接触丰富、动态、灵巧操作尚有距离；其可迁移性取决于解释器工程成本，“免训练”优势在换具身时并不完全免费。综合看，对操作社区的接口设计讨论有显著启发，但作为通用机器人控制方案的长期影响尚待更广泛具身验证。

论文自陈的局限是仅在单臂/双臂、平行夹爪上评估，未覆盖人形或灵巧手，未来可加触觉/力反馈。除此以外还可指出：第一，语义步进式接口把连续精细控制量化为离散小步，天然牺牲时间最优性与平滑性，对需要高速、力控或接触丰富（擦、拧、切、过盈装配）的任务可能不合适；当前“精细控制”只是把步长从 2cm 降到 1cm，仍是位置级离散步。第二，跨具身“只需换解释器”的代价不可忽视：R_E 坐标映射、工作空间投影、阻抗/IK 控制器、安全边界都需要逐具身工程，GUMI 的复用也要求各具身实现同一单元语义。第三，对闭源 Gemini 的依赖使零样本结论难以复现，API 版本漂移会影响可重复性；没有系统报告推理时延、token 成本与每集模型调用量对实时闭环的影响。第四，实验任务偏向结构化桌面抓放，场景与物体多样性有限，缺少与人类遥操作或经典运动规划的对比；对比的 VLA/智能体基线可能未充分调优，“outperform”的幅度与公平性需要独立验证。第五，FT 模式只更新约 3% 参数的 LoRA，未探索全参微调或更大骨干的上界，也未检验在完全未见过具身/大幅域差下的失败模式。第六，安全部分仅提到解释器可配置工作空间与桌面高度边界，缺少对碰撞、奇异位形、力超限与模型错误决策的系统性安全分析。

跟进方向可分五条。其一，扩展具身与模态：把手/灵巧手/移动基座纳入同一语义空间，引入触觉、力/力矩、声音等感知插件，检验接口在接触丰富任务上的下限。其二，把“接口设计”本身形式化：将动作词汇、步长、参考视图、投影与安全边界作为可搜索/可学习的对象，研究从数据中自动发现语义原语、动态切换粒度（如接近阶段用离散步、接触阶段切换连续残差策略），形成混合接口。其三，与 VLA 结合：保留语义接口做长程决策与失败恢复，同时用低层 VLA 残差弥补接触/动态阶段的精细控制，比较“纯接口 vs 混合”在复杂任务上的权衡。其四，复制性与开放化：用可复现的开源前沿级模型替代闭源 API，公开完整提示词、结构化解码合约与插件上下文，建立“接口 vs 模型容量”的标准化基准，分离模型能力与接口贡献。其五，系统与安全：量化每集模型调用、时延与成本，研究动作分块/流式推理/并行化来压缩闭环延迟，构建带形式化安全约束（碰撞、奇异、力限）的可验证解释器，并在更多物体、场景与人类干扰下做长程自主与遥操作混合评估。GUMI 方向可进一步做人机协作效率、远程采集延迟与跨具身数据质量研究。

本文定位在交互式视频世界模型、显式状态世界建模与生成式渲染三者的交叉地带，核心论点是：可交互的世界模型不应只靠视觉生成来“记忆”世界事实，而应把“可执行的世界状态演化”与“视觉观测生成”解耦。具体而言，一个轻量引擎负责维护并推进权威的全局世界状态，预训练视频模型仅作为生成式渲染器，把状态编译成的空间控制信号转成画面。文章的第二个理论姿态是“表示选择”决定显式结构控制与生成式动态补全之间的边界：文本与2D框过弱，完整3D场景、关节模型与G-buffer过强，因此选择状态增强的3D有向包围盒（OBB）作为中间表示。与StatePlay、MASS等“显式状态”工作相比，本文强调状态转移由用户编写的可执行规则驱动，而不是由模型预测，从而使状态可编程、可编辑、可验证。贡献包括框架本身、自动训练数据管线以及CombatStateBench基准。

近年视频世界模型在真实感与交互性上进步迅速，但其训练目标主要是像素级生成，即监督观测是否“看起来合理”，并不要求模型维护持久、结构化、权威的世界状态。由此产生三个缺口：（1）现有控制接口主要面向相机、动作或高层提示，难以直接寻址和操纵个体实体；（2）缺少可独立于当前视图访问和更新的显式持久全局状态，无法可靠表达离屏实体以及库存、任务进度、交互历史等非视觉信息；（3）用户无法为世界演化编写可执行规则，提示某个期望结果并不等于建立一条持续生效的规则。相关工作方面，StatePlay联合预测视觉观测与游戏状态变量，但状态本身由模型预测，错误会直接进入世界更新并随长程交互累积；MASS引入权威类型化状态并分离状态动力学与视图渲染，但其共享状态仍由学习到的Logic Engine推进，仍受转移预测误差影响。生成式渲染方向，DiffusionRenderer用G-buffer做扩散式前向/逆向渲染，AlayaRenderer系列扩展到动态视频与实时渲染，Coarse-to-Real用粗3D代理约束场景布局而把细节留给生成先验。本文的关键概念工具是训练—推理不对称：训练时“已实现的动力学→结构表示”，推理时却是“高层状态转移→结构表示→生成动力学”，因此表示越细，系统越要在推理时显式决定大量低层几何与动态自由度，逐渐滑向传统动画/物理仿真问题。据此作者主张显式表示只应承载实体持久性、世界系一致性与状态依赖变化所需的最小结构。

一、问题形式化。交互回路为 s_t—(F,a_t)→s_{t+1}—(P,C_{t+1})→M^{ctrl}_{t+1}—G→I_{t+1}。其中F是引擎执行的状态转移，C_{t+1}是下一步目标相机，P是确定性状态编译器，G是生成式渲染器。关键设计是：s_{t+1}是权威世界状态，M^{ctrl}只是从状态派生、面向渲染器的控制信号，编译过程不改变底层状态。 二、代理编排的盒世界。世界状态定义为 s_t=(E_t, A_t, Q_t; R_t)：E_t含持久实体及其3D位姿，A_t含语义与功能属性，Q_t为实体间关系，R_t为可执行世界规则。每个实体由3D有向包围盒接地，指定其世界系中的位置、尺寸、朝向，并关联持久身份、语义类别、动态状态与外观信息；例如角色可拥有身份、3D位姿、生命值与阵营标签。初始化时，现成3D检测器先从I0恢复可见实体及几何布局，得到E0；随后VLM编码代理把恢复出的3D布局与用户自然语言描述q结合，生成引擎可读的世界程序。程序规定被检测实体的初始状态与属性、关系、支持的动作以及动作/事件如何更新世界的规则，还可含全局约束、事件触发器与任务目标；程序通过持久标识与检测实体接地，由引擎实例化s0。引擎转移F(s_t,a_t)评估动作在当前属性、关系与规则下的合法性，施加效果并解析触发事件，把实体、属性、关系乃至规则集的变化写入s_{t+1}。生命、库存、阵营等非视觉变量也被显式维护，可影响后续转移与渲染结果。这样用户不必搭建完整3D资产与底层仿真，而是编程一个以OBB为几何脚手架、以结构化状态/关系/规则定义交互语义的“盒世界”。 三、控制编译。编译器P(s_{t+1},C_{t+1})抽取渲染相关状态并在目标相机下投影OBB，把投影区域增强为三类互补控制图。投影OBB给出实体应出现的位置；属性指出哪个持久实例占据该区域、属于哪个语义类别、自身向哪个方向运动。为避免相机—物体运动歧义，方向状态由实体世界系速度（而非图像位移）旋转到目标相机系后量化得到。具体三图： （1）身份图M^id：维护K个可学习身份嵌入 q^id_j（j=1..K）。每个持久实体在整条生成序列中固定占用一个身份槽；训练时样本内统一随机分配不同槽位、跨帧固定，防止嵌入与特定类别、外观或视角产生虚假关联；推理时同一持久实体跨交互步保持其槽位。嵌入被栅格化到该实体OBB的可见投影上，作为与外观参考关联的空间键。 （2）语义图M^sem：由类别标签y_i经预训练文本编码器得到 q^sem_i=E_text(y_i)，栅格化到可见投影；背景置零，多框重叠时用深度感知栅格化保留可见实体。同类别实体共享语义表示、靠身份槽区分；这对初始帧缺失或无可靠外观参考的实体尤其有用。 （3）方向图M^dir：维护7个可学习方向嵌入（forward/backward/left/right/static/up/down）。方向状态从世界系速度计算，静止实体即使因相机运动导致投影位置变化仍标记static；背景与无效区置零。 三图沿通道拼接：M^{ctrl}=Concat(M^id, M^sem, M^dir)。配合投影OBB几何与目标相机轨迹，显式分离“哪个实例、什么类别、向哪运动”，为渲染器提供空间、身份、语义与物体运动引导。 四、生成式渲染器。骨干采用LingBot-World-v1，保留其预训练相机条件通路并输入目标相机轨迹C。新增可训练的Structured Spatial ControlNet：对每帧构造M^{ctrl}_t，整窗得到M_{1:T}^{ctrl}；控制序列在视频隐空间分辨率编码，与带噪视频隐变量一起经ControlNet产生逐层控制特征r^{(l)}，投影到骨干特征维度后注入对应主块 h_main←h_main+r。训练时冻结预训练主分支（含相机通路），只优化空间控制分支：相机通路负责全局视点轨迹，空间控制分支约束实体出现位置、持久实例、语义类别与自身运动。固定窗口渲染写作 I_{1:T}=G_{θ,φ}(I0, C, M_{1:T}^{ctrl})，初始帧I0提供外观上下文，预训练先验补全形状、纹理、材质、关节、光照与次级运动。 五、分块自回归长程渲染。块内双向去噪、块间因果传播；第一块由I0经图像到视频通路初始化，时间历史零填充。后续块额外接收时间历史H_temp与几何对齐空间记忆H_spa：I^{(n)}=G_{θ,φ,ψ}(C^{(n)}, M^{ctrl,(n)}, H_temp^{(n)}, H_spa^{(n)})。时间历史对已完成块维护有界隐变量历史，组织为近期/中程/长程上下文，近期用较细时空分辨率、更远距离逐步粗化，并保留I0隐变量作持久锚点；训练时对历史隐变量做噪声扰动、特征破坏与部分历史丢弃等随机退化，使模型容忍不完美的自回归上下文。空间记忆沿用AlayaWorld机制：将已完成RGB帧用估计深度与相机参数提升到世界系记忆，生成新块前检索相关历史观测并重投影到目标相机视角，编码为空间隐token；记忆只由已完成块更新，保证块间因果性。 六、自动训练数据管线。输入未标注视频：ViPE估计相机内参、位姿与逐帧度量深度；Qwen3-VL分析视频生成全局描述并发现离散可数类别集作为语义词汇；SAM3按类别集做视频实例分割与跟踪，得到持久轨迹身份、2D框与语义标签，过滤过小/重遮挡掩码；WildDet3D利用2D框、RGB、深度与内参估计逐帧3D OBB b_i^t=(p_i^t, d_i^t, R_i^t, ℓ_i, k_i)。用相机位姿把逐帧盒变换到共享世界系，同轨迹身份形成时间一致轨迹；物体运动由相邻世界系盒中心位移计算（消除相机运动影响），旋转到相机系后量化为7状态，小位移阈值判为static；最后投影OBB并用z-buffer栅格化出身份/语义/方向图，与相机轨迹一起构成训练条件。

实验使用来自多款商业游戏的HUD-free游戏视频（含第一人称与第三人称、多相机视角），经数据引擎构造视频—控制配对训练数据。CombatStateBench是一个受控基准，由自动代理在重建的初始布局与抽取规则上演化战斗场景，覆盖多种相机/实体运动组合及初始离屏实体，并经过自动验证器筛选后保留。基线为LingBot-World-V2与YUME，因其不暴露实例级状态接口，采用提示切换传达状态转移。VLM法官仅观察RGB帧、不接触任何特权标注，评估两个宽容的全局指标Count Accuracy与State Accuracy，并报告VBench的成像质量、主体一致性、背景一致性与时间稳定性四项感知指标。定性部分对比提示切换基线，并展示跨风格、相机运动、对象类别与交互动态的泛化结果。

1. 摘要总述：在CombatStateBench上，本方法达到94%的Count Accuracy与98%的State Accuracy，显著优于现有交互式视频世界模型。

   On CombatStateBench , our method achieves 94% Count Accuracy and 98% State Accuracy, substantially outperforming existing interactive video world models while supporting coherent long-horizon generation.

2. Count Accuracy上Ours为94.00，比LingBot-World-V2高53.25个百分点、比YUME高62.00个百分点。

   For Count Accuracy, Ours achieves 94.00, exceeding LingBot-World-V2 by 53.25 percentage points and YUME by 62.00 percentage points.

3. State Accuracy上Ours为98.00，比LingBot-World-V2高90.00个百分点、比YUME高40.00个百分点。

   For State Accuracy, Ours reaches 98.00, outperforming LingBot-World-V2 by 90.00 percentage points and YUME by 40.00 percentage points.

4. Imaging Quality：Ours 67.62，LingBot-World-V2 67.46，YUME 64.10。

   For Imaging Quality, Ours achieves 67.62, compared with 67.46 for LingBot-World-V2 and 64.10 for YUME.

5. Subject Consistency：Ours 94.74，比LingBot-World-V2高12.87个百分点、比YUME高2.39个百分点，表明实体身份/外观/结构保持更强。

   For Subject Consistency, Ours obtains 94.74, exceeding LingBot-World-V2 by 12.87 percentage points and YUME by 2.39 percentage points, indicating stronger preservation of entity identity, appearance, and structure.

6. Background Consistency：Ours 96.98，比LingBot-World-V2高5.09个百分点、比YUME高3.35个百分点。

   For Background Consistency, Ours achieves 96.98, surpassing LingBot-World-V2 by 5.09 percentage points and YUME by 3.35 percentage points.

7. Temporal Stability：Ours 99.00，LingBot-World-V2 96.85，YUME 98.76。

   Finally, for Temporal Stability, Ours reaches 99.00, compared with 96.85 for LingBot-World-V2 and 98.76 for YUME.

8. CombatStateBench共包含50个片段。

   We construct CombatStateBench , a controlled benchmark comprising 50 clips for evaluating whether generated videos faithfully reflect engine-maintained world states.

9. VLM法官为Qwen3.6-27B，且只观察RGB帧。

   We use Qwen3.6-27B as the VLM judge.

10. Count Accuracy对每个生成视频随机采样8帧。

    For each generated video, we randomly sample eight frames.

11. State Accuracy对每个引擎记录的死亡事件在状态转移后均匀采样3帧并询问VLM。

    For each engine-recorded death event, we uniformly sample three frames after the state transition and ask the VLM whether at least one frame depicts a dead character.

Novelty：新颖性：中等偏高。把“权威世界状态与视觉生成解耦”并非全新——StatePlay已显式预测状态、MASS已分离状态动力学与视图渲染；本文的增量在于把状态转移从“学习到的模型”改为“用户可编写的可执行规则”，使状态直接可编程、可编辑、可验证。更具体的原创点有三：一是状态增强的3D OBB作为中间表示，并以身份图/语义图/方向图三张像素对齐控制图把它桥接到预训练视频模型；二是对训练—推理不对称的清晰论证（训练时从已实现动力学提取表示，推理时从高层状态转移构造表示），据此论证OBB是合适的抽象层级；三是面向该表示的全自动数据管线与CombatStateBench。整体上，核心架构思想是组合现有组件（OBB、ControlNet、分块自回归、空间记忆），单点技术创新有限，但系统整合与“可编程性”视角有明确的差异化价值。 Soundness：稳健性：中等。方法链条完整：显式状态→确定性编译→结构化控制→冻结骨干的ControlNet注入，逻辑自洽；分块自回归与空间记忆的因果性处理也正确。主要问题在实验论证强度：（1）两个核心指标是刻意“宽容”的全局指标，不奖励实例级对应，论文自己承认“不直接奖励实例级对应”，因此数值大幅领先并不能证明实体级控制能力；（2）没有消融实验，无法判断身份图、语义图、方向图、世界系速度、空间记忆、历史退化策略等组件各自的贡献，也无法支撑“表示选择”这一中心论点；（3）基线被迫用提示切换，缺少原生状态接口的公平对齐，可能系统性低估现有方法；（4）VLM法官的可靠性未做人类校准，而计数类任务本身对VLM有难度。因此主要结论“外部引擎+结构化控制比隐式状态更可靠”得到方向性支持，但“结构化控制的具体设计最优”未被严格验证。 Significance：重要性：中高。它回应的“世界模型如何持久记住事实、如何被用户编程”是当前交互式生成世界的关键痛点，提出“状态可执行、可验证，外观保持生成式”的方向具有实际工程价值，尤其对可玩游戏、离屏实体、非视觉状态（库存/任务/多人）等场景。CombatStateBench虽弱，但为“生成视频与引擎状态一致性”提供了可复用的评估雏形。自动数据管线也有望降低结构化条件数据的获取成本。局限在于实验目前集中在战斗类游戏与风格化示例，尚不足以证明其在开放域、物理丰富或多人场景的普适性；且缺少实例级证据使该工作更像一条有前景的系统路线，而非已被严格验证的通用方案。若后续补上消融与更强基准，其对世界模型架构社区的影响力会显著上升。

1）表示能力边界：OBB只编码位置、尺寸、朝向与离散状态，内部关节、形变、精细接触、持物姿势等仍交给生成模型，无法对这些做确定性约束；可编辑状态限于盒级/类别级，缺乏细粒度控制。2）评估薄弱：Count Accuracy与State Accuracy是宽容的全局指标，不测量实例级对应（哪个角色死亡、位置是否正确），论文自己也承认这一点；没有消融实验，无法证明身份/语义/方向三图、世界系速度量化、身份槽数量K、空间记忆、历史退化等组件的独立贡献；VLM法官未经人类校准，计数任务本身噪声较大；基线被迫使用提示切换，公平性存疑。3）数据管线依赖：ViPE相机估计、SAM3分割跟踪、WildDet3D的3D框估计都会引入误差，尤其在遮挡、小目标、快速运动时，管线错误会直接进入训练与基准。4）推理依赖初始化组件：初始3D检测器与编码代理对未见类别、极端遮挡、风格化图像可能失效；世界程序无形式验证，代理可能生成冲突或不一致规则。5）通用性证据不足：仅覆盖少量商业游戏的战斗/驾驶场景及风格化示例，未见大规模开放域、真实物理或多人共享状态的系统验证；文中提到多人世界引擎但无多人实验。6）效率与实时性：未报告推理延迟、吞吐或交互帧率；分块自回归与空间记忆检索可能带来额外开销。7）基准指标可能对“保持数量但换了角色”仍给高分，不能排除视觉与引擎状态在个体层面的错配。

1）消融研究：逐项移除身份图、语义图、方向图，比较“世界系速度→相机系量化”与直接图像位移，扫描身份槽数量K、方向量化粒度，测试空间记忆与历史退化策略的收益，以验证“OBB+三图”这一表示选择。2）更强的实例级基准：加入身份追踪、投影OBB的IoU、死亡个体定位、离屏实体重入一致性、遮挡恢复等指标，并与人工标注校准；扩展到更多领域与更长的任务序列。3）与StatePlay、MASS直接对比：固定同一渲染骨干，比较“学习到的状态转移”与“程序化状态转移”在长程误差累积上的差异，量化可编程引擎的价值。4）混合表示：在OBB之上增加关键点、骨架或轻量可变形代理，提升可编辑的细粒度而不重建完整动画/仿真栈，并研究“表示复杂度—可控性—训练/推理对齐”的定量权衡。5）程序正确性与安全：对编码代理产出的规则做形式验证、冲突检测与安全约束，防止恶意或矛盾规则。6）数据管线闭环：加入人工校正、主动学习与检测器失败回退，提升开放域视频的标注鲁棒性。7）实时化：接入更快的生成渲染器（如AlayaRenderer-Flash），优化编译与记忆检索，报告交互帧率与端到端延迟。8）多人世界：实现共享世界状态下的并发动作一致性、多视角渲染一致性与多玩家评估，兑现文中对多人引擎的设想。

本文将 MAS 提示优化定位为文本梯度（textual gradient）范式的两个阶段性问题：梯度提取与梯度聚合。作者指出，现有方法（TextGrad、GEPA、MIPROv2 等）在提取阶段要么不验证"修改某个提示是否真的能修复失败"，要么只做轮询式选择，并且缺乏对单个智能体中间输出的 agent 级监督；在聚合阶段则把样本级梯度随机分组拼接，混入无关失败模式，导致更新方向不纯、泛化差。AgentGrad 的定位因此不是另起炉灶，而是用"顺序干预 + 语义文本梯度抽象"这两个机制去修正文本梯度流程中的归因与聚合环节：先用干预做失败归因、得到目标智能体的伪标签式监督，再按语义聚类抽象出可泛化的广义梯度。相较既有工作，本文的核心差异在于把"干预式调试/失败归因"从诊断工具改造成提示优化的监督来源，并用语义小批次替代随机小批次。

背景可分三条线索。其一，自动提示优化（APO）从单提示扩展到复合智能体系统：ProTeGi 提出把失败样本的自然语言批评当作"文本梯度"；TextGrad 把文本梯度在多个 LLM 组件间传播，类比反向传播；GEPA 结合轨迹级反思与进化式搜索；MIPROv2 用贝叶斯优化联合搜索指令与示例。这些方法主要给出任务级或轨迹级信号，但作者认为中间智能体行为能提供更细粒度的更新信号，这一方向尚未被充分开发。 其二，多智能体失败归因。系统级错误可能源于多个智能体的交互，产生信用分配问题：最终输出失败并不能直接指出哪个智能体、哪一步出错。近期工作用干预（编辑、重放、扰动执行）来测试替代行为如何影响结果，从而做失败定位与调试。AgentGrad 把这些干预从"分析失败"扩展到"优化提示"，把干预揭示的纠正行为当成 agent 级监督。 其三，自生成监督。STaR 用模型自己生成 rationale 来提升推理，Reflexion、Self-Refine 用模型反馈改进后续尝试；这些监督多用于推理轨迹或迭代输出，较少用于定位到单个智能体提示。AgentGrad 将自生成监督重定向到提示级优化。 问题形式上，MAS 记为 Π，含 N 个智能体，提示集 P=(p^1,…,p^N)；给定输入 x，输出 ŷ=Π(x;P)。在奖励函数 r 和 rollout 预算 B 约束下，提示优化目标是 argmax_P E_{(x,y)~D_val} r(Π(x;P),y)，s.t. #rollouts≤B；优化后的提示在 D_test 上评估。文本梯度定义为 ∂L/∂p=LLM_∇(p,ŷ,L)，其中 L 可以是不可微函数或失败的自然语言描述，LLM_∇ 生成关于"如何修改 p 以改进 L"的自然语言批评。AgentGrad 沿用这一"提取—聚合"抽象，但替换了监督来源与聚合方式。

机制部分是 AgentGrad 的主体，可拆成四个环节：失败集构建、顺序干预定位目标智能体、基于 agent 级伪标签的梯度提取、语义文本梯度抽象，最后是提示更新与验证。 1. 失败集构建。给定当前提示集 P，训练集 D_train 上的失败定义为 F={(x_i,y_i) | r(Π(x_i;P),y_i) < r_max}，即系统级奖励未达满分的样本。F 在每个优化轮开始时从 D_train 重新构建，因此本轮被判定为"硬样本"而排除的失败不会被永久丢弃，下一轮更新提示后仍可被重新考虑。 2. 顺序干预（sequential intervention）。目标提示被定义为"仅纠正它就足以解决失败"的那个提示。为找到它，AgentGrad 对每个失败样本一次只干预一个智能体，验证其纠正是否能把系统奖励拉满。实现方式是向该智能体的当前提示追加一个提示 hint H，使其生成被纠正的中间输出；干预后的系统记为 Π^{(n,H)}(x_i;P)。顺序是从后往前（reverse execution order），理由是作者观察到失败更集中在靠后的智能体，逆序可减少期望干预次数。 形式化地，设 F^{N+1}=F。在第 n 步，对 π^n 注入 H，得到被解决集合 T^n={(x_i,y_i)∈F^{n+1} | r(Π^{(n,H)}(x_i;P),y_i)=r_max}；若某样本进入 T^n，则 π^n 被认定为目标智能体。随后从未解决集合移除这些样本：F^n=F^{n+1}\T^n，继续处理更靠前的智能体。所有步骤（到 n=1）后仍未解决的失败，被视为即使给 hint 也无法修复的硬样本，从本轮训练中剔除。 3. Hint 构造。H 由真实标签 y_i 或最终输出必须满足的约束构造，并辅以数据集描述、MAS 描述、各智能体角色等上下文（与先前提示优化方法常用的组件一致）。关键点是 H 只在训练期注入；部署时优化后的提示不包含任何 hint，因此不会在推理期泄露真实标签或约束。 4. 文本梯度提取（agent 级监督）。对每个被归因到 π^n 的失败 (x_i,y_i)∈T^n，同一输入上下文 x_i^n 下有两个输出：失败执行时的原始输出 ŷ_i^n=π^n(x_i^n;p^n)，以及顺序干预时注入 H 得到的纠正输出 ỹ_i^n=π^n(x_i^n;p^n,H)。由于输入上下文相同，二者之差被解释为干预引发的行为变化，于是 ỹ_i^n 被当作"该智能体在 x_i^n 下应该如何行为"的 agent 级伪标签。 样本级文本梯度为 δ_i^n=LLM_∇(p^n, x_i^n, ŷ_i^n, ỹ_i^n)，描述 p^n 应如何修改，使智能体输出 ỹ_i^n 而非 ŷ_i^n。与标准文本梯度需要显式比较系统输出与 ground-truth 得到损失 L 不同，这里没有显式损失：ŷ_i^n 与 ỹ_i^n 的对比隐含地提供了 agent 级监督。因为监督落在目标智能体的中间输出上，而非系统最终输出，梯度信号比任务级反馈更细粒度。 5. 语义文本梯度抽象（STGA）。对每个智能体 π^n，把所有归因到它的样本级梯度集合记为 Ω^n={δ_i^n}_{(x_i,y_i)∈T^n}。与随机小批次不同，AgentGrad 用聚合器 LLM 在单次调用中完成两个耦合步骤：把 Ω^n 聚类成语义一致的小组，并把每个小组抽象为一个广义梯度 δ̄_j^n；输出为 {δ̄_j^n}_{j=1}^{M_n}=LLM_Aggregator(Ω^n)，聚类数 M_n 由聚合器自行决定。 聚类得到语义小批次 D_j^n，即该组样本级梯度对应的训练失败集合。聚类大小决定抽象粒度：大簇给出跨多个失败共享的一般模式，小簇给出更细的纠正。为控制抽象粒度，聚合器被给一个聚类大小的软下界，其按循环调度变化（如 5→3→1→5→…），使优化过程在粗粒度广泛模式与细粒度特定纠正之间交替。该下界是建议而非强约束，梯度差异过大时可形成更小簇。 抽象步骤为每个簇生成一个捕获共享纠正模式的广义梯度 δ̄_j^n，给提示优化器一个单一、连贯的更新方向，而不是混合多种样本级信号。 6. 提示更新与验证。给定 {δ̄_j^n} 与对应 {D_j^n}，按语义小批次规模从大到小更新提示，先应用影响更广的更新。提示优化器 LLM 生成候选 p_new^n=LLM_PromptOptimizer(p^n, δ̄_j^n)。每个候选先在语义小批次 D_j^n 上评估；若性能提升，再在留出验证集 D_val 上评估；两阶段都通过才接受替换，否则丢弃并处理下一个梯度。这个"先小批次、后验证集"的门控机制解释了后文墙钟加速：只有能提升对应小批次的候选才会触发昂贵的验证 rollout。 训练/数据细节：HotpotQA、HoVer、PUPA、IFBench 的多智能体系统、数据切分与奖励函数沿用 [10]，MATH 沿用 [6]；两个主干 GPT-5-mini 与 Qwen3-8B 同时充当任务 LLM 与所有优化器组件（梯度提取器、聚合器、提示优化器），即优化器与任务模型同源。评测在 D_test 上进行，优化预算以 rollout 计数和墙钟时间双重度量。

实验覆盖多类任务（多跳问答、事实验证、指令遵循、隐私委托、数学推理）和两种主干模型，对比无优化基线与三个提示优化方法。总体结果显示 AgentGrad 在全部基准与主干上取得最高性能；消融表明目标识别、agent 级监督、语义梯度抽象三个组件均带来正向贡献；优化轨迹显示 AgentGrad 在更少 rollout 内达到并保持更高验证性能；墙钟时间比较显示其优化最快；效率分析把加速归因于更高的小批次改进率与验证改进率，并把两个比率分别归因于不同组件；跨域迁移实验中，优化后的提示在同域未见基准上仍保持最优。

1. 在 GPT-5-mini 主干上，AgentGrad 在五个基准全部超过所有基线，相对无优化基线平均提升 11.76 分，其中 HotpotQA 为 73.89 对 GEPA 的 68.33，PUPA 为 95.17 对 GEPA 的 91.87。

   AgentGrad achieves state-of-the-art performance across five MAS benchmarks on both backbone settings. With GPT-5-mini in Table 1 , AgentGrad outperforms all baselines on every benchmark, achieving an average improvement of + 11.76 +11.76 points over the no-optimization baseline, with the largest margins on HotpotQA ( 73.89 73.89 vs. 68.33 68.33 for GEPA) and PUPA ( 95.17 95.17 vs. 91.87 91.87 ).

2. 在 Qwen3-8B 主干上，AgentGrad 同样取得最大平均提升，为 9.67 分，并超过所有基线。

   In Table 2 , AgentGrad with Qwen3-8B achieves the largest average improvement of + 9.67 +9.67 points over the no-optimization baseline, surpassing all baselines.

3. 消融显示三个组件各自有效：目标识别在 HotpotQA 和 PUPA 上分别带来 1.44 与 3.84 分提升，再加 agent 级监督再提升 1.56 与 2.65 分，语义梯度抽象贡献 2.56 与 3.55 分，完整模型最好。

   Target identification (TI) using sequential-intervention alone yields + 1.44 +1.44 and + 3.84 +3.84 points on HotpotQA and PUPA, showing that identifying the responsible agent already produces more effective gradients. Adding agent-level supervision (AS) on top of TI yields a further + 1.56 +1.56 and + 2.65 +2.65 points, while semantic textual gradient abstraction (STGA) on top of TI contributes + 2.56 +2.56 and + 3.55 +3.55 points. The full model (AgentGrad) achieves the best performance on both benchmarks, confirming that TI, AS, and STGA address complementary aspects of the prompt optimization process.

4. 轨迹分析显示 AgentGrad 约在 1000 次 rollout 达到约 70% 验证性能，而 GEPA 需要超过 6000 次 rollout 才接近该水平，MIPROv2 与 TextGrad 则在此阈值以下停滞。

   AgentGrad achieves approximately 70 % 70\% by 1,000 1{,}000 rollouts, while GEPA requires over 6,000 6{,}000 rollouts to approach a comparable level, and MIPROv2 and TextGrad plateau below this threshold.

5. 墙钟时间上 AgentGrad 在五个基准全部最快，平均 136 分钟，比次快的 GEPA 快 2.5 倍，比 TextGrad 快 4.7 倍。

   AgentGrad is the fastest method across all five benchmarks without exception, completing optimization in 136 136 minutes on average — 2.5 × 2.5\times faster than GEPA, the next-fastest baseline, and 4.7 × 4.7\times faster than TextGrad.

6. 加速最明显的是 HotpotQA（比 GEPA 快 3.2 倍）和 IFBench（3.0 倍）；即便在 TextGrad 用时 126 分钟较快的 MATH 上，AgentGrad 也只需 88 分钟。

   The speedup is most pronounced on HotpotQA ( 3.2 × 3.2\times over GEPA) and IFBench ( 3.0 × 3.0\times ), where AgentGrad finishes in under two hours while GEPA requires nearly six. Even on MATH, where TextGrad is unusually fast at 126 126 minutes, AgentGrad completes in just 88 88 minutes.

7. 效率分析中，AgentGrad 的小批次改进率为 0.72，高于 TextGrad 的 0.44 和 GEPA 的 0.28；验证改进率为 0.27，高于 0.21 与 0.14，说明其更新既更频繁通过小批次门控、又更可靠地泛化。

   AgentGrad achieves a minibatch improvement ratio of 0.72 0.72 versus 0.44 0.44 for TextGrad and 0.28 0.28 for GEPA. Since validation is triggered only when a candidate improves the minibatch, this higher ratio directly translates into more rollout usages per unit time, explaining AgentGrad’s wall-clock speedup. This efficiency does not come at the cost of quality: AgentGrad also achieves the highest validation improvement ratio ( 0.27 0.27 vs. 0.21 0.21 and 0.14 0.14 ), indicating that its accepted updates generalize more reliably.

8. 组件分工上，目标识别与 agent 级监督主要把小批次改进率从 0.51 提到 0.87，改善逐样本梯度信号质量；语义梯度抽象则以小幅小批次比率为代价换取验证比率提升，改善泛化。

   TI and AS primarily raise the minibatch ratio (from 0.51 0.51 to 0.87 0.87 ), improving per-sample gradient signal quality, while STGA trades a modest minibatch ratio reduction for a gain in validation ratio, improving generalizability

9. 迁移实验中，AgentGrad 优化的提示在五个同域未见基准上全部最优，其中 2WikiMultiHopQA 上为 51.22 对 GEPA 的 44.89，PUPA-TNB 上为 94.38 对 91.51。

   AgentGrad achieves the best transfer performance on all five target benchmarks compared to strong prompt optimization algorithms. The margin over the next-best method is largest on 2WikiMultiHopQA (51.22 vs. 44.89 for GEPA) and PUPA-TNB (94.38 vs. 91.51).

Novelty：新意判断：中等偏上。单独看，顺序干预用于失败归因、自生成伪标签监督、以及用 LLM 聚类/抽象反馈，都不是全新概念；相关文献已覆盖干预调试、自监督与文本梯度。本文的新意在于把这些已有组件重新组合，并精确对应到文本梯度流程的两个具体缺陷上：一是"目标提示是否经过可修复性验证"，二是"样本级梯度聚合是否语义同质"。特别是把干预诱导的纠正输出作为 agent 级伪标签来替换显式损失 L，是一个简洁而有效的改造；语义小批次的软下界循环调度也有一定设计感。但整体仍是机制整合与工程改进型贡献，没有提出新的学习理论或新的基础优化框架。 Soundness：可靠性判断：中等到较好，存在若干需要补强之处。方法逻辑自洽：逆序干预能降低期望干预次数，伪标签对比（ŷ 与 ỹ 同输入）确实隔离了干预引起的行为变化，两阶段门控也能解释墙钟加速。实验覆盖多任务、双主干、多基线，并给出标准差，消融与轨迹、效率、迁移分析相互印证。主要顾虑包括：hint 由 ground-truth/最终约束构造，虽然声称仅训练期使用，但其构造质量和信息量未被消融，可能高估归因与伪标签的可得性；图 3 的文字说 HotpotQA，后文却写"on both benchmarks"，存在表述不一致；消融只在两个基准上做；未见显著性检验与更多随机种子；聚合器用单个 LLM 调用同时做聚类与抽象，M_n 由 LLM 自行决定，稳定性缺乏量化证据。总体结论与其证据大体匹配，但部分强结论（"consistently dominates…at every rollout count"）需要更严格的统计支持。 Significance：意义判断：对 MAS 提示优化这一正在扩大的方向有实际价值。它同时改进性能与墙钟效率，缓解了文本梯度方法 rollout 昂贵的核心痛点，且不要求推理期注入 hint，部署上干净。对多智能体系统的失败归因与提示更新之间的衔接提供了可复用的范式：干预→伪标签→语义抽象。局限在于实验主干规模较小、任务多为可自动判分的封闭型任务，且所有优化器组件与任务模型同源；这限制了它对开放生成、弱监督奖励、异构模型组合等场景的适用性。总体看是扎实的增量贡献，适合作为后续研究（尤其是更可靠归因与更稳健聚合）的基线。

其一，hint 构造依赖真实标签 y_i 或"最终输出必须满足的约束"，这实际上把任务限定在答案可验证、约束可写的场景；对开放式生成或仅有弱奖励（如 LLM-as-judge 但无 ground-truth）的任务，如何构造 hint 未说明。其二，顺序干预在最坏情况下仍要对每个失败样本干预多个智能体，逆序只是经验性缓解；论文没有报告干预带来的额外 rollout 开销如何计入总预算，若把干预成本计入，墙钟结论可能被部分稀释。其三，语义聚类与抽象由单个聚合器 LLM 在单次调用内完成，聚类数 M_n 与软下界只是"建议"，其稳定性、对提示措辞的敏感性、跨主干的一致性均未评估。其四，被判定为硬样本而排除的失败虽会在后续轮重新出现，但论文未分析这些样本的比例及其对最终性能上限的影响。其五，实验仅用 GPT-5-mini 与 Qwen3-8B 两个主干，且任务 LLM 与所有优化器组件同源；未验证更大模型、不同优化器/任务模型组合下的表现。其六，无显著性检验，且部分表述（如图 3 与正文"both benchmarks"）存在不一致；迁移实验的目标基准与原基准高度同域，不能证明跨域泛化。其七，伪标签来自 hint 条件下的输出，若 hint 过度引导，学习到的提示可能只是拟合 hint 的表面风格而非真正的因果修复模式。

后续工作可从以下方向展开。(1) 归因质量与 hint 敏感性：系统消融 hint 的信息量、噪声、是否含 ground-truth，以及错误 hint 对伪标签和最终提示的污染程度；研究无 ground-truth 场景下用弱奖励或 LLM 评判构造 hint。(2) 成本核算：把顺序干预的 rollout 成本显式纳入预算 B 并与基线做公平比较，研究更省钱的归因策略（如一次干预多个智能体的组合、自适应停止、基于轨迹置信度的剪枝）。(3) 聚合稳定性：用检索/嵌入聚类替代或辅助 LLM 聚类，定量评估 M_n、软下界调度与聚合器提示对最终性能的影响；研究可证明的聚类目标或约束。(4) 扩展设置：更大与异构主干、多轮交互式智能体轨迹、带工具调用/代码执行的 MAS，以及提示与示例联合优化。(5) 因果验证：检验伪标签更新是否真正捕获了可泛化的行为修正，而非拟合 hint 表面特征；可在反事实干预与留出分布上测试。(6) 统计严谨性：增加随机种子、显著性检验、多基准消融，并修正轨迹分析与正文的表述一致性。(7) 理论化：把"干预可修复性"与文本梯度质量关联起来，尝试为失败归因→伪标签→语义抽象给出更形式化的保证。

本文定位在“递归自我改进（RSI）”与“机制可解释性（SAE）”的交叉地带，试图补上自主 AI 研发中缺失的“白盒监测与审计”支柱。作者指出，现有 RSI 工作几乎只自动化训练管线（数据、算法、后训练），把模型当作黑箱、只看外部任务指标；而持续的后验表征审计需要可解释工具。本文不研究 SAE 训练本身，也不评估特征解释文本质量，而是把“AI 智能体作为科学家使用 SAE 工具做自主机制发现”变成一个可量化、可排名的基准：给定目标概念，智能体设计对比探针、在 Gemma Scope 的 13 万+ 特征字典中导航并提交一个特征，再由冻结的专家参考与三维指标（激活排名、激活选择性、因果操控）判定。因此其学术位置更接近“执行锚定的可解释性智能体基准”（如 SAEBench、SAGE、AXBench 的延续），而非新的 SAE 方法或新的解释算法。

背景一：递归自我改进长期以“自主发现、训练、精调前沿模型”为目标，已有大量智能体基准覆盖 ML 工程、论文复现、洞察再发现、数据驱动发现与后训练。但这些环境都只优化外部任务指标，把演化中的模型当黑箱，带来奖励黑客、规范博弈与欺骗性对齐风险。作者据此主张：可信 RSI 必须加入对内部表征的连续监测与审计，否则自主优化循环会强化伪相关与不可检测的安全失败。背景二：机制可解释性工具是弥合这一缺口的候选，其中稀疏自编码器（SAE）是基础范式。SAE 把多义激活分解为可解释的特征方向，具有双重用途——审计模型是否真正习得某概念，以及在生成时作为因果杠杆进行操控；Gemma Scope 等预训练字典使大字典可访问。背景三：近期已有智能体能发现特征或分析电路（MAIA、SAGE、Scribe、自动特征发现、电路解释器），但社区缺少跨前沿模型统一评测“科学能力”的标准。现有评测分别度量 SAE 质量与特征恢复（SAEBench、SAGE）、无解释的可解释性、概念解耦（RAVEL）、电路识别（MIB）、概念检测与操控（AXBench），以及 SAE 指标可靠性；本文与它们的区别在于：评测智能体通过“假设驱动的对比探测”在大预训练字典中导航，并对所发现特征在“字典显著性、经验选择性、因果生成干预”三个维度同时打分。

机制是本文重点，分为四层：SAE 表征与干预的数学基础、任务与专家参照的构造、交互协议、以及三维评分框架。 一、SAE 表征与因果干预。语言模型把输入文本映射为 token 级隐状态。在选定层，SAE 编码器把隐状态 h∈R^d 编码为稀疏非负特征激活 z∈R^m，并用线性解码器重构：z = Encoder(h)，ĥ = b_dec + Σ_{f=0}^{m−1} z_f d_f，其中 m 为字典大小、b_dec 为重构偏置、d_f = W_dec[f,:] 为特征 f 的解码方向。SAE 训练在重构保真与稀疏性之间权衡；Gemma Scope 采用 JumpReLU，通过学习激活阈值保证每 token 只有少量特征激活。每个坐标 f 对应一个潜在特征，其标量激活 z_f 量化该特征在输入文本上的表达强度。特征还可用于因果干预，即“激活加法”操控：h ← h + α d_f，α 控制干预强度，模型从修改后状态继续生成；通过比较干预前后输出评估特征对下游行为的因果效应。 二、任务构造与专家参照。每个任务把一个目标概念与 Gemma-2-9B-IT 的某一层配对，并配预训练 Gemma Scope 残差流 SAE；智能体需在该层 131,072 个特征的字典中发现一个最能代表概念的单一特征。基准含 20 个任务、17 个概念，覆盖层 9 与层 20，概念域包括多语言理解（葡萄牙语、西班牙语、拉丁语、土耳其语等）、专门文档格式（财报、税务申报、招聘启事）、领域知识（临床症状报告、药品剂量）。每任务提供三类文本：表达目标概念的正文本、表达可混淆替代的硬负例、以及无关中性控制；另有评估提示测试因果操控。每任务配一个锚定在 Neuronpedia 的“专家参考特征”，其来源要么是公开操控预设（如 Cat），要么是标准专家策展流程：从 6 正 6 负构建探针检索候选，再在 8 正、8 硬负、4 中性文本上验证概念保真。任务描述、专家特征与评估套件在智能体发现期间严格冻结，仅用于提交后评测，以避免发现阶段泄漏。 三、交互协议。智能体只收到概念描述、基础模型与 SAE 标识、hook 点、字典宽度；专家与评测集保留。probe_sae 接口每次请求最多接受 64 条智能体撰写的文本，返回 top-k 激活特征，或测量给定候选集；响应包含激活值与全字典排名。模型与执行框架联合完成调查，迭代修订文本与候选，最终提交一个特征 ID 给评测器。发现阶段只能访问探针接口与工作区；同一固定基础模型与 SAE 同时支撑发现测量与后续评测。该协议的关键设计意图是强制“假设—实验—反馈—修订”的科学闭环，而非一次性检索命中。 四、评分框架（逐任务计算、跨任务平均）。 （1）Activation Rank（激活排名）。有效特征应在目标概念出现时显著激活，而不是被无关字典方向淹没。文本级激活取序列中三个最大非特殊 token 激活的均值，以获得比单 token 最大值更稳定的估计；随后在全字典中排名，激活越高数值排名越低，完全不激活的特征取字典大小作为最差排名。令 r_f、r_exp 为提交特征与专家在正文本上的平均字典排名，则 Rank = 100 × 2 r_exp / (r_f + r_exp)。该分定义域 [0,200]，100 表示与专家持平，高于 100 表示排在专家之前，低于 100 表示显著性更差。算法直觉：以专家排名为锚点的调和式相对比例，惩罚“虽然干净但激活太弱、在全字典中不突出”的特征。 （2）Activation Selectivity（激活选择性）。除目标文本上的强度外，单义特征应只对目标概念本身响应，而非对可混淆或伪相关模式响应。评测计算 AUROC，把正文本与对比控制（合并硬负例与中性文本）分开，平局计半分，并线性缩放：Activation = 100 × max(0, 2 × AUROC − 1)，范围 [0,100]，100 表示完全分离，0 表示随机或反向区分。算法直觉：把 0.5 的随机 AUROC 映射到 0，把 1.0 映射到 100，惩罚反向相关性。 （3）Causal Steering（因果操控）。特征发现的最终验证是能否把生成导向目标概念。每个评估提示上，基础模型在三种条件下生成：无干预基线、特征干预 h ← h + α d_f、范数匹配的随机方向控制。自动 GPT-4o 评委以 0–4 打分“目标相关性”与“指令保持”，并单独标记退化。令 T_f、T_base、T_random 为跨提示与评委轮次的平均目标相关性，则 Steering = 100 × max(0, (T_f − max(T_base, T_random))/4)，范围 [0,100]，越高表示目标表达净增益越强；该分也记作目标效应 Δ_f = Steering/100。关键点是它只隔离目标表达净增量，指令保持与退化作为补充维度并行报告。对替代特征，干预强度 α 在 5 个留出提示上校准，以满足最低非退化阈值；专家保留其冻结参照尺度。这一“减去更强控制条件”的设计意图排除随机方向干扰与基线自发表达，只奖励超出最强控制的净因果增量。 （4）Overall = (Rank + Activation + Steering)/3，作为默认综合指标；但三个维度独立汇报。 五、训练与数据细节。SAE 检查点来自 Gemma Scope，本文不训练 SAE；所谓数据/协议细节体现在专家构建与运行统计。运行统计：600 个评分 episode、4,873 次 probe 调用、49,407 条文本、124 个任务—方向对、10,940 次生成（校准+最终评测）、14,880 个条件评分。评测的 10 个智能体配置为 Kimi K3、Claude Opus 5、Claude Sonnet 5、Claude Opus 4.8、Grok 4.6、Gemini 3.8 Flash、GLM-5.2、GPT-5.6 Sol、GPT-5.5、GPT-5.6 Luna；Sol 与 Luna 运行于 Codex，其余运行于 Cursor，网络访问禁用，无人工步数上限，每任务 60 分钟执行超时，每配置每任务做 3 次独立端到端调查（60 个评分 episode）。生成器为 google/gemma-2-9b-it，greedy 解码，干预在每个 token 位置加 α W_dec[f,:]；专家尺度为任务冻结的 α_E。GPT-4o 评委在 temperature 0 下、每提示两轮独立评分，输出严格 JSON，三个候选以伪随机顺序盲评。

实验部分在多个概念域与多个前沿智能体配置上进行了多轮独立端到端调查，并报告总体与分维度得分、相对专家基线的差距、各维度领先者、跨智能体策略差异，以及若干葡萄牙语案例的深入剖析。总体结论是：前沿智能体表现出真实的发现能力，在激活选择性上接近专家水平，但在因果生成操控上明显落后；不同模型家族在不同评估维度上各有领先。作者进一步通过探针文本、候选比较与生成输出分析，展示了智能体如何设计反例排除伪候选、如何误读测量结果，以及“高选择性”与“强因果”之间的脱节。附录还给出任务清单、协议细节、指标定义、匹配的跨智能体评估与外部能力指数的相关性诊断。

1. 主榜总体得分：Kimi K3 以 65.82 居首，Claude Opus 5 为 65.41，Claude Sonnet 5 为 65.04。

   Kimi K3 achieving the highest composite Overall score of 65.82, closely followed by Claude Opus 5 (65.41) and Claude Sonnet 5 (65.04).

2. 专家基线在默认设定下总体得分为 85.56，作为所有智能体的参照上限。

   The Expert baseline achieves an overall score of 85.56 under this default setting.

3. 分维度领先：Claude Opus 5 的 Activation Rank 为 75.35，Kimi K3 的 Activation Selectivity 为 92.91，Grok 4.6 的 Steering 为 31.47。

   Claude Opus 5 achieves the strongest dictionary-wide Activation Rank (75.35), Kimi K3 dominates Activation Selectivity (92.91), and Grok 4.6 leads in Causal Steering efficacy (31.47).

4. 激活选择性上，顶级智能体达到 92.91，逼近专家基线 98.92。

   On Activation Selectivity, top agents reach 92.91 compared to the Expert baseline of 98.92, indicating that agents can reliably identify features that selectively fire on target concepts.

5. 因果操控上，顶级智能体仅 31.47，远低于专家 57.75。

   the top agent steering score reaches only 31.47 against Expert’s 57.75.

6. GPT-5.6 Sol 在 Steering 上排第三（30.16），但 Activation Rank 仅 51.65，拖累其总体排名。

   although GPT-5.6 Sol ranks third on Steering with a score of 30.16 and closely trails the category leader by only 1.31 points, its lower Activation Rank of 51.65 primarily accounts for its gap behind the top performers.

7. 葡萄牙语案例中，Sol 的特征选择性满分、因果操控 88.75，但目标激活仅 7.04，导致 Rank 仅 3.97。

   Sol’s feature achieves clean separation with an Activation score of 100.00 and strong causal steering of 88.75, but its target activation is modest at 7.04, placing it lower in the dictionary-wide ranking with a Rank score of 3.97.

8. Kimi K3 在同一任务中找到目标激活 26.33 的更强方向，获得满分分离与 Rank 100.00。

   Kimi K3 identifies a prominent direction with much stronger target activation of 26.33, attaining both perfect separation and a leading Rank score of 100.00.

9. Claude Opus 5 出现证据误读：所选特征在英语控制上激活 4.50，高于葡萄牙语目标 3.81，总体分跌至 13.91。

   its selected feature activates more strongly on the English control at 4.50 than on the Portuguese target at 3.81, leading to an overall score collapse down to 13.91.

10. 搜索策略差异：Sol 平均撰写 115.1 条探针、测 20.2 个候选；Claude Opus 5 平均比较 80.2 个候选、77.6 条探针。

    Sol prioritizes textual diversity over dictionary span, authoring extensive probe variations averaging 115.1 texts across sentence lengths, topical contexts, and cross-lingual translations, while testing a relatively small pool of 20.2 candidate features. Conversely, Claude Opus 5 behaves as a broad screener, comparing over four times as many candidate features at 80.2 across fewer probe texts averaging 77.6.

11. 前三 token 聚合把 Sol 的 AUROC 提升到 1.000，把 Opus 4.8 从 0.927 提升到 0.958。

    aggregating the top-three token activations amortizes transient spikes, raising Sol’s AUROC to 1.000 and Opus 4.8’s from 0.927 to 0.958 (detailed in Appendix Table 18 ).

12. 生成质量权衡：Sol 的 Steering 88.75 配指令保持 3.525，Opus 4.8 的 Steering 84.38 配指令保持 3.050。

    Sol achieves a leading Steering score of 88.75 with high preservation of 3.525, whereas Opus 4.8 attains 84.38 with lower preservation of 3.050 due to repetition and length drift.

Novelty：新颖性：中高，属于基准层面的组合创新而非方法论突破。真正新颖的是把“智能体作为科学家”的封闭科学过程量化：不是评估 SAE 训练质量或特征解释文本，而是评估智能体能否通过假设驱动的对比探测在 13 万+ 特征字典中导航，并同时用字典显著性、经验选择性、因果干预三个互补维度打分。把“可解释性能力”提升为“RSI 白盒审计能力”这一框架定位也有新意，尤其揭示了“选择性相关 ≠ 因果可用”的瓶颈。但与 SAEBench、SAGE、AXBench 相比，其组成元素——AUROC 选择性、激活排名、activation addition 操控、LLM-as-judge——都是既有技术；单特征、单模型、两层、已知 SAE 的设定限制了方法学层面的新贡献。因此适合作为有明确生态位的基准论文，而非提出新算法的论文。 Soundness：稳健性：总体可信、工程执行完整，但外部效度与评分效度有明显保留。可信之处在于：三次独立端到端运行并报标准差；评测集与专家在发现期冻结；候选、探针与生成轨迹可追溯；随机方向控制与盲评消除部分混淆；α 校准与退化标记使操控评估更谨慎。主要问题：第一，单一基础模型（Gemma-2-9B-IT）与两层残差流 SAE，结论未必迁移到其他模型/层/字典宽度；第二，专家特征既是唯一 ground truth 又部分来自公开预设，且评测文本与专家构建共用，存在“向专家特征拟合”与潜在泄漏的偏倚；第三，GPT-4o 单评委、temperature 0、两轮自动评分没有人工校验，操控评分的信效度未被独立验证；第四，Rank 是相对专家的锚定比例，无法判断绝对显著性，且 Steering 的 α 校准只约束非退化、不保证跨特征因果剂量可比；第五，三次运行的统计推断很弱，未做显著性检验；第六，greedy 解码限制生成多样性，可能低估或高估操控效果。整体看，作为描述性基准结果是可信的，但作为“科学能力”的强结论需要更多消融与人工验证支撑。 Significance：显著性：中高，方向意义大于当前结果意义。对社区而言，它提供了一个可复制、可排名、可审计的“白盒可解释性智能体”测试床，把机制可解释性纳入自主 AI 研发的安全叙事，契合奖励黑客与欺骗性对齐的关切；其“选择性高、因果操控差”的核心发现为后续工作指出了一个明确瓶颈，即找到相关特征不等于找到可操控机制。但当前范围的显著性受限：单特征发现与单模型两层使结论偏窄，难直接支撑“闭环 RSI”的完整主张；基准能否成为社区标准，取决于后续是否扩展到多特征电路、开放假设生成与下游编辑/遗忘/对齐回路。若仅停留在现状，其长期影响力会被更广的智能体评测与真实对齐工作流吸收。

本文自述的局限包括：只覆盖 Gemma-2-9B-IT 的两层残差流 SAE 上的概念驱动单特征发现，固定探针接口；依赖固定文本套件、冻结专家基线与 LLM-as-judge；未把发现的特性接入下游模型编辑、遗忘或持续对齐闭环。从审稿视角还需补充以下局限。其一，外部效度不足：单一模型与两层、17 个概念、20 个任务的规模，不足以说明“前沿智能体”的普遍能力；不同 SAE 训练方式（TopK、ReLU 等）、不同层位、不同字典宽度会改变搜索难度与操控有效性。其二，ground truth 偏倚：每任务只有一个专家特征，且专家构建与评测文本可能重叠，评测可能奖励“复现专家特征”而非“独立科学发现”；公开预设（如 Cat）与策展流程混合，专家质量本身未做一致性检验。其三，评分效度：Rank 无绝对显著性阈值、依赖专家锚点；Steering 的 α 校准目标是非退化而非可比因果剂量；GPT-4o 评委未与人类评分做一致性标定，目标相关性 0–4 的粗粒度可能掩盖细微差异。其四，评测协议风险：禁用网络只能防外部检索，不能防模型记忆中的 Neuronpedia/Gemma Scope 特征泄漏；三次运行不足以支撑排名统计推断；Codex 与 Cursor 两种 harness 的混合可能引入系统性差异。其五，因果结论局限：操控只在 greedy 解码与有限提示上评估，未检验采样解码、长文本或开放生成下的稳健性；instruction preservation 与 degeneration 是补充而非主指标，可能导致“高操控分但低质量”的特征被高估。其六，科学过程的可信度未被独立度量：轨迹显示智能体会误读测量、混淆格式与概念，但论文没有给出“实验推理正确性”的直接评分，因此无法区分“恰好命中”与“真正理解了证据”。

后续方向可分四类。一是扩大基准范围：加入更多模型家族与更多 SAE 层/宽度，扩展到多特征电路发现、开放假设生成（不预设概念）、跨任务泛化与迁移操控，以及更细粒度的“实验推理正确性”评分，直接度量智能体是否读懂激活、排名与操控结果，而非只看最终命中。二是强化评测效度：引入人类专家与多评委集成对操控与选择性做双重标定，建立绝对显著性阈值与统一因果剂量协议（按范数、目标效应曲线、退化曲线校准），并做记忆泄漏检测与特征 ID 去匿名化的显式审计。三是把发现接入闭环：将智能体发现的特征用于模型编辑、遗忘、持续对齐或奖励整形，检验“审计—干预—再审计”能否真正抑制奖励黑客与欺骗性对齐；同时允许发现阶段使用因果探针（而非仅激活探针），让智能体在搜索中直接验证可操控性。四是方法论交叉：与 SAGE、MAIA、AXBench、SAEBench 等基准做统一化与互相校准，分析 harness（Cursor/Codex）、思考预算与查询预算对科学策略的影响，并建立可解释性能力与通用智能指数之间因果关系的消融研究，以判断白盒审计是独立能力还是通用能力的投影。

本文提出 WearableQA，一个以 200 名真实用户的纵向可穿戴记录为核心、共 4,084 道十选一选择题的健康推理基准。论文的定位不在提出新的模型或训练方法，而在填补评测空白：现有健康问答基准（MedQA、MedMCQA、PubMedQA 等）主要考静态文本医学知识，时间序列推理基准又多用合成/仿真信号，均无法检验 LLM 是否能对真实用户的长程、含噪、个体差异明显的可穿戴数据做计算与健康解释。WearableQA 把真实可穿戴时序、血检生物标志物与人口学属性联合送入模型，并以「数据推理 vs 健康推理」与「单信号 vs 交叉信号」两条轴组织 16 种题型，声称能对模型失败位置做细粒度诊断。该工作属于资源型/评测型贡献，重点在于真实数据基准的构建、双重依据（文献+人群）的可复现标注，以及 14 个专有与开源模型的系统评估。

背景可分为两层。其一，健康与医学 LLM 评测：MedQA、MedMCQA、PubMedQA 等以考试式问题或生物医学文本评估医学知识，HealthBench 扩展到更贴近现实的健康交互，但它们基本是文本与静态病例，无法刻画对个人纵向生理史的理解；ECG-QA 引入了生理信号问答，但推理对象是心电波形，与需要跨多天聚合、跨多信号整合的纵向可穿戴推理不同。其二，时间序列推理基准：TimeSeriesExam 等通过程序化生成的合成信号评估模式识别、噪声理解、相似性、异常与因果，PHIA 等开始在可穿戴数据上做问答，但客观评测基于仿真用户轨迹，且主要关注检索与聚合，通常不联合血检生物标志物与人口学信息。作者由此指出缺口：缺乏对真实用户纵向可穿戴记录、且同时要求「从原始测量中计算」和「结合生理/临床知识解释」的系统基准。领域动机上，可穿戴设备已能持续监测心率、睡眠、活动、HRV 等信号，LLM 健康助手正在兴起，但模型能否可靠地读懂真实个人健康轨迹仍未得到检验。WearableQA 正是以真实数据 + 双重依据标注 + 双轴诊断分类来回应这一需求，试图把「真实设备噪声与个体间变异」纳入基准，而不是继续使用合成模板。

WearableQA 的机制由数据层、分类法、构建管线与评测协议四部分构成。 【数据层】基准从更大规模的 in-the-wild 可穿戴队列中抽取 200 名真实用户，每人贡献最长 500 天的日聚合多变量时序，共 16 项每日指标、分四个生理域：心肺体能域含静息心率（RHR）、心率变异性（HRV）、VO2max；活动与能量域含步数、活动卡路里、BMR 卡路里、运动次数、运动时长、平均运动心率、METs；睡眠域含时长、效率、深睡比例、REM 比例、就寝规律性；另有平均压力水平。每位用户还配有 17 项血检生物标志物面板（如胰岛素、HbA1c）与人口学属性（年龄、性别、BMI、族裔）。为支持个体与同龄人比较，提供五项核心指标（RHR、步数、HRV、睡眠时长、睡眠效率）的队列参考百分位；注意这些百分位在大队列上计算，而题目与轨迹来自 200 人基准子集。 【分类法】主结构是 2×2 分类：推理类型（数据 vs 健康）× 信号复杂度（单信号 vs 交叉信号），另加一条正交的 grounding 轴（文献 vs 人群）。数据推理题要求对原始测量做趋势、异常、偏移、恢复时间、交叉信号关系等计算，答案由数值本身决定；健康推理题要求临床/生理解释，如预后框架、建议、鉴别推理、表型分型、双信号一致性。单信号题只涉及一个指标，交叉信号题需整合两个及以上信号（如活动与 RHR 的耦合、多信号表型）。16 种题型中数据推理约 2.7k 题、健康推理约 1.4k 题；单信号约 1.7k 题、多信号约 2.4k 题。每题 10 个选项，随机基线 10%，答案位置在全集上均匀平衡。 【双重依据构建】这是本文的核心机制。构建必须同时满足：探针要有生物医学证据支撑，且必须真实出现在现实数据中、不能被合成模板或先验记忆投机答对。为此每条题要么来自文献发现，要么来自人群统计验证的模式，且答案始终从底层真实测量重新推导，而非先验断言。 文献依据：作者检索同行评议的消费级可穿戴研究，只保留「可穿戴暴露与临床结局都可在本队列计算」的观察性研究，排除可行性研究或模态不匹配工作；每篇被独立核对到 PubMed 主记录，并交叉校验 DOI/PMID/PMCID，最终得到 11 篇锚定论文（发表于 Nature Medicine、PNAS 等），全文精读而非只看摘要。为防伪发现，还要求每个关系至少有两项独立、同方向的研究支持，并同样核对全文。每项关系被记录为结构化卡片，含 DOI/PMID、逐字阈值、队列细节以及「该来源未证明什么」的显式声明，防止下游题目过度声称。关键设计是：不导入研究特定的阈值/决策边界，因为截断点依赖队列、难以迁移。 人群依据：文献无法覆盖大规模可穿戴数据中的全部关系，因此直接从队列挖掘时间趋势、异常片段、恢复动态、交叉信号关系与高阶多信号交互，并聚焦 28 天窗口。候选模式只有通过三项预定义的统计一致性关卡才被提升为题目：①效应量——耦合的相关系数绝对值必须 ≥0.5 且窗口两半符号一致，比较题的胜出选项须比次优选项高至少 0.15 的固定边际，避免答案悬在边界上；②稳健性——标记结果须在 30 次日级 bootstrap 中 ≥80% 复现、在逐日留一移除下保持、并在适用时跨不同基线窗口保持稳定，落在显式死区内的近边界样本被拒绝；③真实性——做跨用户错配零检验，把零分布与观测流行度之比作为经验 FDR，仅保留 FDR ≤0.20（即阳性预测值 ≥80%）的模式，防止只对单用户成立或由偶然造成的假关系。 【发现-后标注（discover-then-label）】先确定推理目标，再用确定性程序在个体真实测量上计算答案。作者把推理表达为可复用计算原语的组合：如 strongest-pair 题对每个候选信号对运行 lagged_correlation(max_lag=3)，在 ±3 天滞后上做计算，再做 argmax_pair()；blood-state 题运行 threshold_flags(glucose, HbA1c, TG, HDL, HOMA_IR)，把各生物标志物与预定义临床切点比较并聚合得到血状态。原语存入共享库、可跨题型复用；每个实例表示为显式计算图，相同输入必得相同答案，保证确定性与可复现。文献依据题的答案把已发表生理关系实例化为个性化基线与队列相对统计，例如「RHR 升高 ≥ 个体最近 28 天均值 1.5 个标准差」；只有个体数据确定满足底层判据时才保留该情景，未定义或歧义的用户被丢弃而非近似。人群依据题的答案直接来自用户轨迹中已发现的模式。 【干扰项构造】每题 10 个选项中 9 个错误项按两类推理分别构造，以反映各自可验证的东西。数据推理模板定义与所问量对应的干扰项类别：相反趋势方向、相邻时间窗口、或从队列同量分布中抽取的错误幅度。因为答案由可执行计算产生，作者把该计算扩展到对全部十个选项求值，仅当金标选项唯一满足时才保留题目。健康推理的答案含解释成分、不是单一计算量，干扰项改由依据本身导出：对同一生理关系的替代解释，临床合理但与个体测量不一致。 【验证与审计】双层验证。计算有效性：每个答案可由底层测量独立复现；人群题还须通过前述效应量/稳健性/真实性关卡。质量控制与捷径审计：做去重、答案选项平衡、干扰项校验，删除会直接泄露答案的上下文；随后用三个模型（GPT-5.4、Gemini-3.1-Pro、Claude-opus-4.6）审题并加人工复核。审计专门找非预期捷径：早期版本中「活动卡路里与步数」这类高度可预测的指标对频繁成为最强关系，使模型不看时序也能凭先验答对；还有些答案选项只出现在特定真值类别中，使模型仅凭选项就能推断答案。发现后即修改生成流程并重新验证，以增加多样性、防信息泄露与捷径。 【评测协议】每题输入由固定系统指令 + 五个上下文块（用户画像、传感器数据、血检面板、队列参考、问题/选项）组成，结尾指令在 CoT 与直接回答两种条件下不同，上下文字节级一致。默认 CoT：要求逐步推理并在最后一行只写 Answer: X；直接回答要求只输出 A–J 字母。解析时接受 Answer: X（大小写不敏感、可带括号），否则回退到末行孤立字母、再回退到前导字母；无法解析或空响应计为错误。所有模型温度设 0，以精确匹配对确定性真值评分，报告 95% Wilson 置信区间。默认输入是最新 500 天行式（每行一天、指标为 key=value 对），另有列式、Markdown、CSV、图像网格、图像分组、markdown+统计量、csv+图等表示消融，以及固定表示/多视图的代理式 Python 访问评估。论文未描述任何训练或微调，所有模型均为零样本指令评测。

作者在多个专有与开源指令微调模型上以统一协议评测，默认使用思维链与行式时序表示，并报告直接回答设置；随后按推理类型、信号复杂度与十六种题型做细粒度诊断。分析部分还覆盖：位置偏置（选项选择频率）、先验依赖（定义性信号对与经验性信号对）、输入表示与工具使用（文本/图像格式、统计量附加、代理式 Python 访问），以及移除纵向历史或全部时序证据的选择性消融。总体结论是基准能够区分不同能力层级；多数模型在健康推理上高于数据推理，在单信号上高于交叉信号；思维链对专有模型帮助更大；代理式计算访问带来显著提升，而格式或可视化变化收益有限；剔除关键时序信息会选择性压低对应题型的成绩，证明模型确实在依据测量作答而非纯靠先验。

1. 十四个模型总体准确率跨度很大，从 Llama-3.2-3B 的 19.6% 到 Gemini-3.1-Pro 的 72.9%。

   Accuracy ranges from 19.6% for Llama-3.2-3B , near the 10% random baseline, to 72.9% for Gemini-3.1-Pro , showing substantial variation across model capabilities.

2. 多数模型健康推理优于数据推理，GPT-4o 为 53.5% 对 25.3%，Gemma-4-26B-A4B 与 Mistral-Small-3.1 也有明显差距。

   The gap is particuarly pronounced for GPT-4o with 53.5% vs. 25.3%, Gemma-4-26B-A4B with 59.8% vs. 33.8%, and Mistral-Small-3.1 with 47.9% vs. 20.0%.

3. Gemini-3.1-Pro 是唯一数据推理反超健康推理的模型，分别为 75.4% 与 67.8%。

   Gemini-3.1-Pro is the only model to reverse in trend, achieving 75.4% on data reasoning compared with 67.8% on health reasoning.

4. 交叉信号推理普遍弱于单信号，GPT-5.4 从 59.1% 降至 45.7%，Gemini-2.5-Pro 与 Claude-Sonnet-4 亦有明显下降。

   The largest gaps are observed for GPT-5.4 with 59.1% vs. 45.7% and Gemini-2.5-Pro with 58.1% vs. 45.3%, followed by Claude-Sonnet-4 with 59.8% vs 48.5%.

5. 交叉信号预测题型表现最低，准确率范围从 Llama-3.1-8B 的 8.3% 到 Claude-Opus-4.6 的 40.5%。

   A notable exception is cross-signal prediction for both proprietary and open-source models, where accuracy ranges from 8.3% for Llama-3.1-8B to only 40.5% for Claude-Opus-4.6 .

6. 思维链对专有模型增益更大：Claude-Opus-4.6 单信号最高提升 27 点、交叉信号 14 点；开源模型平均仅提升 2.3 与 3.0 点。

   CoT yields substantially larger improvements for proprietary models, e.g. , Claude-Opus-4.6 shows gains up to 27 27 points for single-signal reasoning and up to 14 14 points for cross-signal reasoning. In contrast, open-weight models show only modest gains under CoT, averaging + 2.3 +2.3 points on single-signal and + 3.0 +3.0 points on cross-signal.

7. 小模型存在强位置偏置：Llama-3.2-3B 在直接回答中 51.5% 的选择落在同一选项。

   The most extreme case is Llama-3.2-3B , which selects a single option for 51.5 % 51.5\% of its direct-answer responses.

8. 思维链显著降低位置偏置，Llama-3.2-3B 的最高选项选择频率从 51.5% 降至 13.5%。

   Chain-of-thought substantially reduces these biases, e.g. , Llama-3.2-3B reduces its maximum option-selection frequency from 51.5 % 51.5\% to 13.5 % 13.5\% , while Claude-Opus-4.6 reduces it from 14.5 % 14.5\% to 10.6 % 10.6\% .

9. 模型对定义性信号对依赖先验：Gemini-2.5-Pro 高出 51.5 点，GPT-5.4 高出 48.2 点，GPT-4o 高出 36.0 点。

   several models perform substantially better on definitional pairs, including Gemini-2.5-Pro ( + 51.5 +51.5 points), GPT-5.4 ( + 48.2 +48.2 ), and GPT-4o ( + 36.0 +36.0 ).

10. 代理式 Python 访问在行式表示下把总体准确率从 51.2 提升到 71.3，即提高 20.1 点。

    While retaining row-wise representation, enabling the Python access (agentic, fixed-repr) improves by 20.1 20.1 from 51.2 51.2 to 71.3 71.3 overall.

11. 移除纵向历史使历史依赖题型从 75.9% 降至 39.8%；完全移除时序后总体从 60.2% 降至 17.3%。

    Removing only the longitudinal history reduces history-dependent question types ( e.g. , anomaly for baseline calculation) accuracy from 75.9 % 75.9\% to 39.8 % 39.8\% , while leaving window-scoped accuracy nearly unchanged ( 58.1 % 58.1\% to 58.0 % 58.0\% ). When all wearable time series are withheld, window-scoped accuracy falls to 13.7 % 13.7\% , and overall accuracy falls from 60.2 % 60.2\% to 17.3 % 17.3\% .

12. 基准共含 2.7k 数据推理与 1.4k 健康推理题，其中 1.7k 为单信号、2.4k 为多信号。

    The 4,084 questions span 16 question types (see Fig. 3 ), where there exists a total of 2.7k questions of data reasoning and 1.4k questions for health reasoning. Among them, 1.7k questions ask models to ground a single metric, while the remaining 2.4k require multi-signal grounding.

Novelty：新颖性中等偏上。最大的新意不在任务形式（仍是十选一 MCQ 与零样本 LLM 评测），而在三件事的结合：使用真实用户长达 500 天的可穿戴时序并联合血检与人口学信息；把「数据推理 vs 健康推理」与「单信号 vs 交叉信号」组成 16 种题型的诊断分类法；以及文献依据 + 人群依据的双重 grounding 构建管线。与 PHIA（仿真轨迹、偏检索聚合）、TimeSeriesExam（合成信号）相比，真实数据与确定性可复现标注是明确增量。但每项单独成分（MCQ、双轴分类、文献支撑、统计验证）都有先例，整体创新更接近工程与资源贡献，而非新范式或新方法。 Soundness：方法学上较为扎实：答案由确定性计算产生、可独立复现，文献题要求两篇同方向研究并全文核对，人群题设效应量/稳健性/真实性三道统计关卡，干扰项也经计算校验且只保留金标唯一成立的题；还做去重、选项平衡、捷径审计与模型+人工复核，明显高于一般基准构建标准。但仍有关切：样本仅 200 人，部分题型（如依赖先验分析中的经验对仅 29 例）样本很小、置信区间宽；「健康推理」题可能被先验知识部分解答，论文自己的定义性/经验性对比恰好暴露了这一风险；人群模式的统计显著不代表临床有效，FDR ≤0.20 的阈值也较宽松；QC 依赖三个专有模型加人工，人工流程与筛选比例未量化。总体 soundness 良好但并非无懈可击。 Significance：对可穿戴健康 AI 的评测具有重要意义：它首次把真实纵向可穿戴 + 生物标志物 + 人口学放到可复现、可诊断的基准中，能区分「计算失败、健康解释失败、多信号整合失败」三类瓶颈，并给出代理式工具访问可显著改善的实证信号，对下游健康助手与智能体评测有直接参考价值。局限是它只是基准、不提出改进方法，影响力取决于社区是否采用；且单一队列/设备来源与 MCQ 形式限制了可泛化性。对 LLM 能力研究的启示大于对医学结论的贡献。

一、规模与代表性：仅 200 名用户、单一来源队列，人口学多样性与设备类型的泛化性未充分证明；日聚合丢失了分钟级原始信号，无法检验更细粒度推理。二、题型与格式：十选一 MCQ 加确定性金标，便于自动评测但难以覆盖自由文本临床推理、开放式建议与不确定性表达；答案选项平衡只保证位置均匀，不排除其它表层捷径。三、grounding 有效性的边界：文献题只保留「可计算」的观察性研究，且明确不导入研究阈值，可能削弱临床严格性；人群题以统计一致性而非临床验证为准，FDR ≤0.20 相对宽松，发现的「生理模式」未必有医学意义。四、污染与先验：论文未做训练数据污染审计，且自己发现模型能凭先验识别定义性信号对、少数模型接近随机，说明部分题对强模型区分度不足、对弱模型可能退化为噪声。五、评测鲁棒性：默认 CoT、温度 0、解析回退规则等可能高估/低估真实能力；代理式 Python 访问被证明能大幅提升成绩，暗示纯文本评测低估了模型的「工具增强」能力，基准未把该条件设为主协议。六、QC 透明度：人工验证规模、通过率、失败样本如何处理未量化；三个审题模型本身也出现在被评模型之列，存在潜在循环。七、因果与安全：以「健康推理」为名，但未验证推荐/预后/鉴别诊断题的安全边界，也未提供人类专家基线或与临床标准对照。

后续工作可从几条线展开。①基线补全：加入人类专家（临床医生/运动生理学家）与检索增强、代码解释器、多智能体基线，把「代理式 Python 访问」提升为一级协议而非消融。②规模与多样性扩展：扩大用户数、设备厂商、人群与血检面板，提供分钟级或 HRV 原始片段，支持跨队列迁移与亚组分析；并公开数据子集或受控访问机制。③污染与先验审计：做成员推断式污染检测，量化「不看时序仅凭选项/先验」的基线，把定义性 vs 经验性拆分做成标准诊断层。④任务形式深化：增加开放式问答、可解释性评分、校准/置信度、安全拒答与「不充分信息」选项，把健康推理从 MCQ 转向更接近临床的真实交互。⑤方法研究：利用该基准诊断出的数据推理与交叉信号短板，训练或微调可穿戴推理模型，或设计把计算原语、检索与 LLM 结合的混合系统。⑥效度研究：把人群 grounding 的统计模式与前瞻性临床结局对照，验证基准的预测效度与临床安全性。⑦动态基准维护：建立周期性更新与去污染的版本机制，防止专有模型被训练后过拟合。

本文定位为一项面向“LLM 基础设施工程”的系统性评测工作，而非提升模型能力的方法性论文。它明确站在现有 GPU kernel 类基准（KernelBench、TritonBench、FlashInfer-Bench）与仓库级优化基准（ISO-Bench、CUDAHercules）之间：前者只覆盖隔离算子与预定义优化目标，后者虽进入仓库层级但仍预先指定目标组件与瓶颈；本文主张真实的基础设施工程是“长程、开放、跨层”的。因此 Φ-Bench 的核心卖点是以三种递进任务格式（KFC/LHI/E2EO）来度量 agent 从局部算子实现到仓库级开发再到端到端系统优化的能力，并配套 taxonomy 引导、PR/issue 还原与 agent 辅助测试生成的构造管线。它在贡献上更接近“诊断性测试床 + 排行榜 + 轨迹分析”，主要回答“当前前沿 LLM 能否工程其赖以运行的设施”，而不是提出新的训练或 scaffold 算法。

问题背景来自两股线索。其一，LLM 基础设施的工程价值已被充分证明：CUTLASS、Triton 提供高效 GPU 编程与编译支撑，FlashAttention、FlashInfer 通过 IO-aware 算法和推理内核加速训练与推理，Megatron-LM、DeepSpeed 处理并行执行、显存切分与通信优化，Orca、vLLM、SGLang 则管理 KV-cache、连续批处理、请求调度与分布式服务。这类基础设施级优化能显著提升 GPU 利用率并降低成本，因此自然引出“能否让 LLM 来工程这些设施”的问题。其二，现有 LLM 代码/系统类基准大多把任务压缩为孤立函数、预定义算子或预先指定的优化目标，不要求 agent 在真实仓库中导航、定位瓶颈、跨模块修改并迭代调试；而实际开发是长程、开放式的完整工作流。论文据此认为需要一个综合、长程、开放且可规模化合成的基准，才能更忠实地评估 LLM 作为“基础设施工程师”的能力。Φ-Bench 的动机正是填补这一空白。

Φ-Bench 的机制由三个相互咬合的部分构成：三层递进的任务格式、taxonomy 引导的任务合成流水线、以及 correctness-gated 的评分与防作弊体系。 一、任务格式的递进设计。每个任务包含自然语言规范、一个完整的 LLM 基础设施仓库、可执行 workload 或测试用例、以及评测 harness；除 harness 外所有材料（含测试用例）对 agent 可见。三种格式按“开放度”逐级放大： （1）Kernel Function Completion（KFC）：显式给出目标函数及其接口和输入输出语义，agent 只能在单文件内完成或优化实现，且仅允许一次提交；提交先经功能正确性与数值精度检验，通过后再测效率。它度量的是“给定接口下写出正确且高效的计算原语”。 （2）Long-Horizon Implementation（LHI）：给出 issue 式 feature request 和粗粒度可编辑范围（如某个子模块），但不指定相关文件、依赖与实现路径；要求导航代码库、理解模块交互、跨文件修改并反复构建测试调试，允许多次提交。它度量的是仓库级开发而非孤立补全。 （3）End-to-End Optimization（E2EO）：只给代表性 workload、系统级目标与约束，不规定组件或策略；agent 必须自行 profile、定位瓶颈、形成优化假设并实施可能的仓库级改动，允许多次提交。它度量的是瓶颈发现、跨层推理与假设驱动的系统优化。 这一“接口封闭→路径开放→目标开放”的梯度，配合可编辑区域（单文件→多文件→整个仓库）与提交预算（单次→多次）的同步扩张，构成了基准区分不同能力层次的骨架。 二、任务合成的机制。任务不是人工编写的合成编程题，而是从真实研究与工程 artifact 中提炼。 来源收集与过滤：学术池收集 2023–2026 年顶会系统论文，工程池收集公开 LLM 基础设施仓库的 issues/PRs；再用 LLM 过滤，保留与 LLM 训练/推理实现、加速或资源优化直接相关、且有公开实现或非平凡技术含量的条目，最终得到 2,260 篇论文与 1,852 个工程 artifact。 覆盖 taxonomy：对每个来源用 LLM 打三层标签（顶层大领域、中层具体问题/技术/组件/负载特征、底层细粒度 tag）。从 4,112 个来源中提取 410 个细粒度 tag，聚类成 62 个中层主题，再归入 9 个顶层类别；中层主题作为任务合成的主索引，而来源的 provenance 与特征决定其被构造为 KFC、LHI 还是 E2EO。 三种合成方式互补： （a）PR/Issue 还原：选取重要 PR/issue，把变更前的仓库状态作为任务输入，变更后实现作为参考解，可用单测改造为 harness；单文件小改动转 KFC，跨文件大改动转 LHI/E2EO，从而保留真实出处与原始工程目标。 （b）Agent 辅助合成：agent 扫描仓库识别高价值实现位点，视范围删除局部代码段或整个模块，形成不同实现长度的任务。测试生成使用一个 agent loop：分析目标代码的执行流，跟踪当前测试套件已覆盖的分支，发现未覆盖路径时迭代补充测试用例，使最终测试能检验目标代码所代表的行为。 （c）专家策展：对无法仅靠仓库历史可靠重建的问题，由人类专家从有影响力的论文或会议挑战中选题，通过删除实现、回退到更简单基线或直接按问题规范构造初始仓库，并手工设计针对目标能力的测试与 workload。 质量控制：性能指标任务要求参考解在官方环境稳定达到至少 1.15 的性能，且 starter/no-op 不得优于基线；实现指标任务要求参考解全过而 starter 至少挂掉一个测试；每个实现任务至少含 5 个测试，覆盖正常输入、边界条件、错误路径与回归场景。不满足者被修订或剔除。 三、评分与防作弊机制。每个任务尝试获得 [0,1] 奖励，按任务目标分为两类 metric，且都先做正确性门槛（可构建、功能正确、编辑约束、防作弊）再计分。 性能 metric：候选先通过静态检查、可编辑区域检查与功能检查。用 AB-BA 成对测量协议、至少 5 对来压制噪声，令 s = median_i(t_i^base / t_i^cand)，即候选相对未改基线的中位加速比；参考解同样重复运行取中位得 s_ref。若 s_ref ≤ 1 直接判零；否则当 s ≤ s_ref 得 0，当 s > s_ref 得 R_perf = min(1, ln(s/s_ref)/ln s_ref)。直觉上，只有严格超过参考解才有分，奖励按对数压缩，且当候选加速比达到参考解加速比的平方（s ≥ s_ref²）时封顶 1.0。这把“仅匹配参考不算成功、需显著超越并以其平方为满分锚点”写进了评分设计。 实现 metric：二元打分，只有构建/导入成功、通过全部测试、且遵守 forbidden-edit 约束才得 1，否则 0。 防作弊：规则监控器扫描完整轨迹与最终 diff，禁止搜索 GitHub、获取 patch/commit diff、从发布包恢复上游代码；proctor agent 再检查 hard-code 预期输出、跳过或绕过正确性检查、人为抬高性能的分支。任一机制命中即该次尝试记零分。 数据与训练细节：本工作不训练模型，数据规模即最终 85 个任务（55 KFC、20 LHI、10 E2EO），覆盖全部 9 个顶层类别。评测统一在固定 CPU/内存/单张 GPU 的硬件环境进行，模型端启用最高推理档与最大上下文。

实验部分先给出多款前沿模型在主要基础设施主题上的主榜结果，并对比三种任务格式的得分；随后通过两项消融分别考察“迭代细化是否能持续改进”与“提高测试时推理预算是否带来一致收益”；再基于完整轨迹做错误模式分类、开放度差异与防作弊统计；最后以同一优化问题为个案，对比强模型与弱模型在建立局部实验、控制变量与噪声、审慎归因三方面的行为差异。

1. 主榜整体成绩：Claude Opus 5 最高，其后依次为 Kimi K3 与 Qwen3.8 Max。

   Claude Opus 5 achieves the highest overall score of 36.53 % 36.53\% , followed by Kimi K3 at 28.12 % 28.12\% and Qwen3.8 Max at 27.73 % 27.73\% .

2. 硬件与边缘主题最难，最佳模型的得分也只有 5.4%。

   The Hardware & Edge category appears to be particularly challenging for the models: even the best-performing model achieved only 5.4%.

3. Claude Opus 5 在九大主题中的五个主题上领先。

   Claude Opus 5 leads in five of the nine categories, demonstrating relatively broad competence

4. 按任务格式看，Claude Opus 5 在三种格式均列第一，KFC、LHI、E2EO 分别为 37.16%、21.60%、62.94%。

   Claude Opus 5 ranks first in every task format, achieving 37.16 % 37.16\% on KFC, 21.60 % 21.60\% on LHI, and 62.94 % 62.94\% on E2EO.

5. 推理预算消融中，Kimi K3 低档相对最高档损失约 45% 的得分。

   whereas Kimi K3 loses about 45% of its score in the low setting compared with the max setting.

6. 迭代消融中，DeepSeek V4Pro、Qwen3.7-Max、GLM5.2 与 GPT5.6 Sol 出现长期平台期，最终未能把 BPB 优化到低水平。

   In contrast, DeepSeek V4Pro, Qwen3.7-Max, GLM5.2, and GPT5.6 Sol exhibite prolonged plateau periods during the iterative process and ultimately failed to optimize BPB to a low level.

7. 错误类型分析中，Python 运行时错误在多数模型中占全部错误的一半以上。

   Python runtime errors account for more than half of all errors for most models.

8. 防作弊检测只记录到 DeepSeek V4 Pro 三次试图从 PyTorch 网站取回代码。

   the rule-based cheating detector identified only three instances in which DeepSeek V4 Pro triggered requests to retrieve code from the PyTorch website.

9. 每个任务统一分配 8 个 CPU 核、32 GiB 内存与一块 NVIDIA H20 GPU，并禁用其他 GPU 类型。

   We allocate 8 CPU cores, 32 GiB of memory, and a single NVIDIA H20 GPU to every task, while disabling all other GPU types to ensure a consistent evaluation environment.

10. 提交预算为 KFC 仅一次，LHI 与 E2EO 各最多 16 个候选解。

    We allow each agent to submit a single submission for each KFC task and at most 16 candidate solutions for each LHI and E2EO task.

11. 个案研究中，Claude Opus 5 的一个代表性学习率调度改动先使 BPB 从 1.3646 恶化到 1.3932。

    One representative transition changes the learning-rate schedule and worsens BPB from 1.3646 to 1.3932.

12. 随后据此形成的 warmup–stable–decay 调度把 BPB 改善到 1.3248。

    motivating the warmup–stable–decay schedule, which improves BPB to 1.3248.

Novelty：新颖性中等偏上但以“组合创新”为主。把评测从隔离 kernel/预设优化目标推进到开放式、长程、跨层的仓库级基础设施工程，并用 KFC/LHI/E2EO 三层递进格式显式度量不同能力，是相对现有基准的实质增量；taxonomy 引导的选题、PR/issue 状态还原、agent 扫描加执行流分支追踪的自动测试生成，三者各自都有先例，但组合成一个可规模化构造真实任务流水线仍有一定新意。不过其核心贡献不是新算法或新能力，而是新的评估协议与任务集，因此新颖性更多体现在问题设定与评测维度，而非方法论突破。 Soundness：严谨性存在多处需要谨慎对待。第一，性能 metric 以“超过参考解”为得分门槛、以 s_ref² 为满分锚点，分数高度依赖参考解的单次实现质量与代表性，且不同任务间可比性弱。第二，测试用例对 agent 可见，尽管隐藏 harness 并设防作弊，仍无法排除过拟合；更关键的是任务来自公开 PR/仓库，模型训练语料可能已含答案，论文未做泄漏/记忆控制。第三，E2EO 任务数量很少，其高方差使高分数需谨慎解读，而全文又未给出多次运行或置信区间。第四，不同模型使用不同 scaffold（GPT 用 Codex，其余用 Claude Code），交互能力与模型本身能力混杂。第五，软性断网只 hijack 相关 pip/URL，无法阻止模型凭记忆复现答案；proctor agent 的判定本身难以审计。第六，“坚持试错是核心能力”等结论来自观察性轨迹，缺乏受控对照，属于相关性而非因果性。总体框架合理、指标有明确公式，但关键结论的稳健性支撑不足。 Significance：意义中上，取决于社区采纳与持续维护。它比现有 kernel 基准更接近真实“AI 基础设施 agent”的工作流，主榜、轨迹与错误模式分析对后续模型训练、scaffold 设计与测试时计算策略有参考价值，也有潜力成为追踪该方向进展的公共试金石。但它本身不提供改进模型或系统的方法，任务规模与单卡环境代表性有限，短期指导意义主要集中在排行榜追踪与诊断层面。若能补充人类专家基线、控制污染并持续更新，其作为长期基础设施 agent 基准的意义会显著增强。

主要局限包括：（1）规模有限，总计 85 个任务，其中 E2EO 仅 10 个，统计方差大，尤其难支撑“开放度越高表现越好/越差”的稳健结论。（2）硬件单一，所有任务跑在单张 H20 上，无法反映多卡通信、互联拓扑、异构集群等现实系统问题。（3）任务源于公开 PR/issues，存在被模型训练语料记忆污染的明显风险，论文未做时间切分或泄漏审计。（4）测试用例对 agent 可见，且软性断网与 proctor agent 的防作弊能力有限，难以排除硬编码或凭记忆复现上游实现。（5）评分强依赖参考解质量，性能 metric 的“超过参考才得分、平方才满分”虽明确但任意性较强，且与实现 metric 的最终聚合方式未清晰交代。（6）无人类专家或强基线对照，无法判断绝对难度天花板。（7）模型与 scaffold 混杂，GPT 系使用 Codex、其余使用 Claude Code，交互与工具能力成为混淆变量。（8）消融范围窄：推理预算仅覆盖 20 个 LHI 与三款模型，迭代分析仅一个 E2EO 任务。（9）未报告多次运行的方差、种子敏感性或 agent 合成管线的质量波动，可复现性信息不足。

值得跟进的方向包括：其一，建立人类专家基线，标定任务难度与得分天花板，并区分“模型能力不足”与“任务定义本身过难”。其二，扩大并持续更新任务集，增加多卡/多机、通信优化、异构硬件与真实服务负载，避免单卡偏差；同时为 E2EO 补充足够样本以降低方差。其三，做污染与泄漏控制，例如按时间切分仓库、构造改写变体、测量模型对原 PR 的记忆程度，必要时引入动态生成或防泄漏验证集。其四，统一或正交化 scaffold，把“模型能力”与“交互/工具/预算”分离开，分别测不同 scaffold 下的表现。其五，强化防作弊：完整沙箱、依赖白名单、网络完全隔离、对最终 diff 做来源比对，并让 proctor 判定可审计。其六，改进评分协议，报告多次运行方差，探索成本、能耗、wall-clock 与质量的多维指标，替代或补充仅以参考解为锚的对数奖励。其七，基于收集的轨迹与错误模式构建诊断性子任务，分别评估规划、定位、调试、验证等能力，并研究如何用这些轨迹训练或微调更稳健的基础设施 agent。其八，严格研究测试时计算 scaling 与迭代预算的非单调现象，明确在何种任务上更多推理或更多提交真正有效。

本文处在"全双工语音模型"这一研究脉络中，但把问题从常见的话轮管理（turn management）推进到一个互补能力：锚定（anchoring）。它提出并形式化"anchor interruption"——当用户打断并追问"你刚才说到哪/重复最后一项/从停下的地方继续"时，模型必须依据"已经真正播放给用户听的那部分语音"来回答，而不是依据生成侧已经规划好的文本。文章的核心贡献是一个 playback-causal 的自听（Self-Listening）机制：把模型自己已经播放出去的语音波形作为输入回灌到语音输入通路，从而让模型跟踪"用户实际听到了什么"；同时配套构建 AnchorSpeech 数据集与测试基准，并用受控双通道/三通道消融来隔离自听流的贡献。整体定位是"任务定义 + 架构机制 + 数据/评测"三类贡献合一的工作，试图揭示并弥合异步文本生成、语音合成与播放之间的"锚定差距"。

全双工语音模型可以在说话的同时持续监听，支持用户打断、backchannel 等重叠交互。已有工作大多聚焦于话轮管理，即发生重叠时系统该停还是继续说。但本文指出，当用户打断后要求"重复最后一项""你停在哪了""继续"，仅做话轮管理不够：模型还必须知道自己回复的哪一部分已经真正到达用户。问题根源在于文本生成、语音合成与音频播放异步进行，文本往往领先于合成和播放，同一份生成侧历史可能对应多种不同的可听历史；若模型只用生成侧文本或隐藏态追踪进度，就会把"以为说过"当成"用户听到过"。 作者以人类听觉自我监控（骨传导反馈等）为生理动机，设计了诊断性先导实验：让系统"Count from 1 to 30"，在计数过程中人工打断并问"What number did you just count to?"，定义锚定差距 Δ_anchor = r - a（r 为模型报告位置，a 为实际已说位置）。r=a 为完美锚定；正差距表示模型以为说得比实际多，负差距反之。实验发现现有实时语音系统普遍无法稳定锚定：Doubao-Realtime 常报告超前位置甚至提前报 30，GPT-Realtime-2.1 早期打断点差距较大，Gemini 最接近对角线但仍偶有错配和无效报告；Moshi、Freeze-Omni 因无法可靠遵循计数指令被排除在图中。 相关工作分为全双工建模与评测基准两类。系统级方案在回合制核心外加 VAD/对话状态/命令式打断控制；原生方案把并发听说纳入模型本身，如 Moshi、SyncLLM、OmniFlatten、SALMONN-omni、MiniCPM-o、Lychee-FD、DuplexOmni 等。但作者认为，这些已发表模型大多用文本、隐藏表示或语音 token 追踪自身响应，并未建立独立的、由客户端确认的播放前沿信号。基准方面，Full-Duplex-Bench 系列、FD-Bench、HumDial-FDBench、MTR-DuplexBench、τ-Voice、IHBench 等主要评估可观测的交互/恢复结果，没有直接隔离"模型是否知道哪段回复被实际渲染"这一底层能力；AnchorSpeech-test 即瞄准这一空白。

Self-Listening 的核心是把"已播放边界"提升为一阶输入证据。系统建立在 Qwen2.5-Omni-7B 的 Thinker 分支之上，配合冻结的 MOSS-TTS-Realtime 做流式语音合成；禁用 Qwen 原有语音生成分支，把生成的模型文本增量送入 TTS。由于文本生成可超前于合成与播放，本文对 Thinker 交互循环做三处耦合改造：引入 playback-causal 的自听流、在共享时间轴上与用户语音和模型文本交织、用原生控制 token 管理重叠语音。 【三通道交织表示】交互被离散为 Δ=40 ms 的逻辑步。第 t 步有三条流：用户语音 u_t（持续更新的外部声学观测）；已播放模型语音 s_t（自听通道，只含到 t 时刻已到达用户端播放的模型波形帧，无播放时为 <silence> token）；模型文本 x_t（普通响应 token 与全双工控制 token）。三者串行化为 H=[u_0, s_0, x_0, u_1, s_1, x_1, ...]。训练时把预构用户波形和播放对齐的模型波形分别编码进用户通道和自听通道，监督只施加在模型文本通道；推理时模型连续接收用户语音和已播放模型语音，预测下一文本/控制 token，普通 token 增量送 TTS，合成波形到达播放端后其音频帧被交付用户并回灌自听通道。因果约束很关键：只回灌"已经播放"的帧，不把未来合成或规划文本当作已实现事实，从而以播放为锚点校正模型的自我认知。 【原生打断与 backchannel】本文不用前置 VAD 分类器做打断判定，以免增加延迟，而是把该决策原生化到全双工序列中。定义五个特殊 token：<wait> 表示保持沉默不产出语音；<overlap> 表示用户与模型语音当前并发、打断/backchannel 决策待定；<stop> 把重叠判为打断并终止当前 TTS 输出；<continue> 把重叠判为 backchannel 并保持当前说话状态；<silence> 表示自听通道无可用语音。当观察到并发时，模型先发 <overlap>，保持 TTS 状态不变并继续收集用户上下文；经过 K=10 步反应窗口（名义 400 ms）后，再发 <stop> 或 <continue>。短延迟的设计直觉是让模型在改变说话行为前区分真打断与 backchannel。 【训练与损失】采用两阶段 rank-32 LoRA 课程。Stage 1 结构适应：约 20 万条 InstructS2S 例子（2000+ 小时），每条含用户音频时间轴和时间对齐的模型轮次，目的是让预训练模型适应三通道交织格式。Stage 2 全双工适应：约 10 万条全双工例子（约 1000 小时），包括细粒度 AnchorSpeech 训练集、仅训练的语义 anchor 打断、通用打断和 backchannel，教会模型跟踪可听进度并区分需要停止的打断与需要继续说下去的 backchannel。优化器为 AdamW，全局 batch 64，最大序列长度 4096，cosine 无 warmup 学习率，bf16、FlashAttention-2、DeepSpeed ZeRO-2，两阶段合计约 30 小时、16 张 H100。损失只对模型文本通道的有效目标做 next-token 交叉熵；由于 <overlap>/<stop>/<continue> 稀疏，做重加权：普通文本 token 权重 1，<wait> 权重 0.1，<overlap>/<stop>/<continue> 权重 50，以放大状态控制信号的监督。 【数据构建】AnchorSpeech 从固定有序序列生成细粒度 anchor 打断交互，序列族包括普通/图案计数、倒数、字母表、元音、星期、月份、序数、逐字母拼写。每个四轮候选包含：初始序列请求、带标注打断边界的脚手架助手回复、进度追踪打断、目标回复；打断可问最后/前一项、下一项、剩余项数、已覆盖前缀或从正确位置继续。标注边界只放在稳定完整项之间，排除部分项和词内截断。用 GPT-5.5 结构化生成联合采样序列、打断区域、查询类型、打断理由与回复风格，QC 保留说话人顺序正确、打断处序列正确且不完整、进度问题有明确答案的候选。训练/测试来自同一管线与 schema，测试集额外人工筛选形成 AnchorSpeech-test；测试时隐藏脚手架回复，系统自己生成回复并被打断，目标由系统实际播放前缀决定。辅助数据方面：语义 anchor 打断覆盖开放内容（代码、公式、解释、列表、阅读、流程、故事等）的意义与话语位置恢复，仅训练不单独评测；通用打断覆盖 8 类用户打断；backchannel 从 InstructS2S-200K 中由 LLM 选定插入点，把用户 backchannel 音频插入用户流，训练模型继续而非让渡话轮。 【评测】采用两遍、模型与条目特异校准：先无打断运行测得完整播放时长 T，再在相同配置下于 T 的预定相对位置注入打断；记录打断前实际播放前缀与模型后续回复，由 GPT-5.6-Terra 判断回复是否与已播放前缀一致，主指标为锚定准确率 ACC，辅以停止延迟 STOP 与响应延迟 RESP。整体算法直觉是：锚定差距 Δ_anchor = r - a 的根源是生成侧状态与播放侧状态脱节，而自听把已播放波形作为输入，把"用户听到的内容"显式注入上下文，从而压缩这一差距。

实验在 AnchorSpeech-test 与 Full-Duplex-Bench v1.5 两个基准上展开。AnchorSpeech-test 衡量打断后模型能否与"实际播放前缀"保持一致，主指标为锚定准确率，辅以停止与响应延迟；Full-Duplex-Bench v1.5 衡量通用全双工交互的打断与 backchannel 表现。对比对象包括开源与商用实时语音系统，并设一个去掉自听通道的两通道消融模型。结果呈现清晰的双重结论：其一，自听三通道模型在锚定上取得所有系统中最强表现，且受控消融表明增益来自已播放语音通道而非更慢的打断处理；其二，在通用话轮管理指标上出现权衡，两通道变体的话轮管理率更高，但自听模型仍保持次秒级响应延迟。先导实验与训练成本、数据规模也被量化报告。

1. 在 AnchorSpeech 上，自听模型取得所有评测系统中最高的锚定准确率，达到 73.0%，并比最强商用基线 GPT-Realtime-2.1 高出 29.2 个百分点。

   On AnchorSpeech, our self-listening model achieves the highest anchoring accuracy among the evaluated systems, reaching 73.0 % 73.0\% and exceeding GPT-Realtime-2.1, the strongest evaluated commercial baseline, by 29.2 29.2 percentage points.

2. 受控对比表明，加入已播放语音通道使锚定准确率从 7.8% 提升到 73.0%，而停止与响应延迟在 AnchorSpeech 上几乎不变。

   The controlled comparison further isolates the advantages of self-listening: adding the played-speech channel raises anchoring accuracy from 7.8 % 7.8\% to 73.0 % 73.0\% , while the stopping and response latencies on AnchorSpeech remain nearly unchanged.

3. 在 Full-Duplex-Bench v1.5 上，自听模型在打断与 backchannel 两种场景均保持次秒级响应延迟，但匹配的两通道变体取得更高的话轮管理率。

   On Full-Duplex-Bench v1.5, the model retains sub-second response latency in both interruption and backchannel scenarios, although the matched two-channel variant attains higher turn-management rates.

4. 诊断先导实验发现，没有任何被测实时语音系统能稳定锚定到自己实际说出的内容。

   none of the evaluated real-time speech systems remains reliably anchored to what it has actually spoken.

5. 先导实验中，Doubao-Realtime 呈现大的正锚定差距、常报告超前位置甚至提前报 30；GPT-Realtime-2.1 在早期打断点差距较大。

   Doubao-Realtime exhibits a large positive anchoring gap, often reporting positions far ahead of its spoken output and even prematurely reporting 30 . GPT-Realtime-2.1 shows a large gap at early interruption points before becoming substantially better aligned.

6. AnchorSpeech-test 表 1 中，三通道自听模型的具体指标为 ACC 73.0、STOP 0.434 s、RESP 0.564 s。

   3-ch Self-Listening FD model | 73.0 | 0.434 | 0.564

7. 消融显示，去掉已播放语音通道后两通道模型只有 7.8% 准确率，加入自听使 ACC 增加 65.2 个百分点，而 STOP 与 RESP 几乎不变。

   Without the played model-speech channel, the two-channel model achieves only 7.8 % 7.8\% accuracy; adding self-listening increases ACC by 65.2 65.2 percentage points while keeping STOP and RESP nearly unchanged.

8. 与两通道变体相比，自听把 AnchorSpeech 准确率从 7.8% 提升到 73.0%，但两通道变体在 Full-Duplex-Bench v1.5 上获得更高的 Respond 与 Resume 率。

   Relative to the two-channel variant, self-listening raises AnchorSpeech accuracy from 7.8 % 7.8\% to 73.0 % 73.0\% , while the two-channel variant attains higher Respond and Resume rates on Full-Duplex-Bench v1.5.

9. Full-Duplex-Bench v1.5 表 2 中，三通道自听模型在打断场景 Respond/STOP/RESP 为 0.60/1.24/0.75，backchannel 场景 Resume/STOP/RESP 为 0.72/0.57/0.84。

   3-ch Self-Listening FD model | 0.60 | 1.24 | 0.75 | 0.72 | 0.57 | 0.84

10. 两阶段训练合计约 30 小时、使用 16 张 NVIDIA H100 GPU。

    Training both stages takes approximately 30 30 hours on 16 16 NVIDIA H100 GPUs.

11. Stage 1 训练约 20 万条 InstructS2S 例子，对应超过 2000 小时语音。

    we train the model for two epochs on approximately 200,000 200{,}000 InstructS2S examples, corresponding to over 2,000 2{,}000 hours of speech, with a learning rate of 1 × 10 − 4 1\times 10^{-4} .

12. Stage 2 训练约 10 万条全双工例子，约 1000 小时语音，覆盖 AnchorSpeech、语义 anchor 打断、通用打断与 backchannel。

    we continue training for two epochs on approximately 100,000 100{,}000 full-duplex examples, comprising roughly 1,000 1{,}000 hours of speech and covering fine-grained AnchorSpeech, semantic anchor-interruption, general-interruption, and backchannel conversations, with a learning rate of 5 × 10 − 5 5\times 10^{-5} .

Novelty：新颖度中等偏上。把"锚定"从全双工能力中单独形式化、并以 playback-causal 自听流作为解决方案，是清晰的增量贡献；关键区分点在于：此前全双工模型多用生成侧文本、隐藏态或语音 token 追踪自身响应，而本文在已发表形式中首次把"已渲染播放前沿"作为独立因果输入通道，并配套 AnchorSpeech 来直接测量这一能力。不过其架构是 Qwen2.5-Omni + 冻结 TTS + LoRA 的组合，控制 token 与时间对齐交织并非全新；真正的新意集中在问题定义、播放因果设计、数据构造与受控消融证据，而非模型结构本身。 Soundness：方法学上最有力的是两通道与三通道的受控消融：两者共享骨干、数据、TTS 与推理配置，只有自听通道的有无不同，能较干净地把锚定增益归因于已播放语音上下文，并排除"更慢的打断策略"这一替代解释。数据管线有结构化生成、QC 与测试集人工筛选，测试目标以系统实际播放前缀为准，避免用脚手架回复的措辞/时序作弊。但存在明显隐患：锚定正确性由 GPT-5.6-Terra 判定，未报告与人工标注的一致性，可能有评判偏差；Full-Duplex-Bench 上三通道的 Respond/Resume 明显低于两通道，说明自听与话轮管理尚未联合优化，作者也承认这是开放问题；商用基线在训练数据、推理策略上不可比，横向对比的公平性有限。总体可证伪、可复现，但结论强度受限于单一骨架与单一自动评判者。 Significance：对结构化语音 agent（导航、排障、互动教学、引导式文档审阅等）的打断恢复、重复/澄清/继续请求有实际价值。它揭示了现有系统普遍存在的"锚定差距"：能同时听说不等于能"听自己"，并提供了专用基准，可能推动全双工模型从"能否并发听说"走向"是否知道自己实际说了什么"。其发现的锚定与话轮管理之间的权衡也为后续研究指明联合优化方向。不过当前证据集中在合成有序序列任务，开放语义内容上的迁移价值尚未被单独验证，实际影响还需更多场景证据。

其一，锚定评测集中在确定性有序序列（计数、字母、星期、拼写等），开放内容的语义锚定虽被用于训练却未单独报告指标，因此"Self-Listening 显著改善锚定"的结论主要限于结构化、可逐项判定边界的任务。其二，锚定正确性由 GPT-5.6-Terra 自动评判，缺乏与人类标注者的一致性/一致性系数报告，评判者自身可能引入系统性偏差；测试集人筛只用于过滤候选，未用于校验评判结果。其三，通用全双工能力出现明显权衡：三通道模型在 Full-Duplex-Bench v1.5 的 Respond/Resume 低于两通道变体，说明当前训练混合与 token 重加权策略未能同时优化锚定与话轮管理，联合优化仍是开放问题。其四，虽然 RESP 保持次秒级，但打断场景 STOP 相对两通道有所上升，停止延迟并非最优。其五，只在一个骨干（Qwen2.5-Omni-7B）与一个冻结 TTS 上验证，未证明机制对其它全双工架构/合成器的可迁移性。其六，Δ=40 ms 的离散化与固定 K=10 步反应窗口是较粗的工程选择，真实播放边界由帧粒度近似，客户端确认信号也未真正引入。其七，两遍校准通过"无打断测 T、再在相对位置注入"控制打断时机，但两次运行间模型自身回复的随机性无法完全消除，可能影响逐条对齐。其八，先导实验为人工打断，且排除了无法遵循计数指令的开源系统，结论的覆盖性有限。

第一，为 GPT 评判补充人类标注者一致性研究，报告评判者间一致性、评判者与自动评判的一致性，并分析错误模式（重复已听内容 vs 跳过未听内容 vs 错位继续）。第二，把语义锚定做成独立测试集并给出指标，覆盖代码、公式、长列表、流程、故事等开放内容，检验自听是否真正学到"意义与话语位置"而非只学序列边界。第三，针对锚定与话轮管理的权衡做联合优化：调整 Stage 2 数据配比、损失权重，或引入多任务/偏好训练，观察能否在不牺牲 Respond/Resume 的前提下保持锚定精度。第四，在多个全双工骨干与 TTS 上做迁移实验，验证 playback-causal 自听流是否具有架构无关性。第五，用真实客户端播放时间戳或更细粒度的播放确认信号替代 40 ms 帧近似，并研究可变的反应窗口长度、自适应 <overlap> 决策延迟。第六，把 AnchorSpeech 思想与 IHBench、FD-Bench、真实人类双通道对话等基准交叉验证，评估从合成有序序列到真实工作流的泛化。第七，理论或经验地刻画文本生成、合成、播放之间的异步漂移分布，以及锚定差距与播放缓冲、语速、句子长度的关系，为系统设计提供更可预测的工程指引。第八，探索多语言与低资源场景下的锚定数据构造与评测。

AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers grounded in live web results. We developed OreoLook (formerly lixSearch), an open-source answer engine using automated browser agents and provider-routed LLM inference. Its local search, caching, session-management, and embedding stack runs on commodity CPU hardware; answer synthesis is performed by a remote inference provider. As usage grew, sessions lost context, equivalent queries triggered redundant work, and URLs were repeatedly embedded across sessions. We present a three-layer caching architecture: (1) a Session Context Window maintaining a rolling window of recent messages in Redis with automatic overflow to Huffman-compressed disk archives; (2) a Semantic Query Cache catches rephrasings via cosine similarity on embedding vectors, eliminating redundant LLM invocations; and (3) a URL Embedding Cache that deduplicates embedding computations across sessions. D

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。