2026-09-09

Large Language Models (LLMs) owe much of their success to next-token prediction (NTP), but their autoregressive (AR) structure requires slow, sequential token generation. To overcome this bottleneck, we introduce diffusion-augmented LLMs, a new class of models that defines an AR model distribution while using diffusion to draw multiple tokens in parallel from that distribution. We decouple the parameters of these models into two sets: AR weights, trained using the standard NTP objective, and lightweight diffusion weights, trained to generate multiple tokens simultaneously. The diffusion weights are learned through a simple Diffusion Distillation phase that adds negligible overhead to existing LLM training pipelines. We also introduce Ψ-Spec, a family of samplers that enables lossless acceleration and inference-time scaling at a fixed context length. Unlike speculative decoding, our method requires no separate draft model. Unlike diffusion LLMs (d-LLMs), it accelerates generation withou

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

A reasoning model can improve from its own on-policy experience, but this inner loop is fragile: terminal verifiers provide reliable yet sparse supervision, while dense same-model guidance can reinforce false confidence or overconcentrate learning on a narrow solution mode. We introduce FlowBalance, a verifier-grounded self-improvement method that learns a normalized distribution over complete responses. For each on-policy trajectory, a frozen training-time view of the same policy uses privileged context to produce token-level log-probability gains, which are aggregated into a trajectory-level self-guidance score. FlowBalance calibrates this score with the verifier-derived group advantage: guidance is retained on positive-advantage trajectories, reversed on negative-advantage trajectories, and disabled when the rollout group provides no outcome preference. The resulting energy exponentially reweights a reference policy, and profiled trajectory balance fits the normalized target with on

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文提出 ENEAS（Embedding-guided Neural Ensemble for Adaptive Segmentation），一个统一的文本可提示分割方法，面向有序视频与无序图像集合，同时处理两种任务：特定实例跟踪与语义类别发现。文章将其定位为对 SAM 3 等视觉基础模型可靠性缺口的修补：现有模型能生成几何正确的掩码，却在目标消失时产生时序幻觉、在极端特写时空间碎片化、并把雕像/绘画/倒影等视觉相似物误判为目标实体。ENEAS 并非从零训练的新基础模型，而是一套推理期级联集成：Florence-2-Large 做区域提议、SigLIP 2 做嵌入验证、Qwen3-VL 做条件语义裁决、SAM 2/SeC 做掩码与跟踪，并用“仅在不确定区间调用 VLM”把语义精度与延迟解耦。其动机来自三维重建：误掩一个干扰物会破坏资产，因此整体设计偏向 precision-first。

文本引导分割已成为现代视觉理解的核心原语。SAM、SAM 2、SAM 3 把可提示分割从图像推广到视频与概念级检测；开放词汇检测器（Grounding DINO、Florence-2）与多模态大模型（LLaVA、Qwen-VL）进一步把自然语言接入定位。相关工作可分几支：可提示/通用分割（Mask R-CNN、DETR、Mask2Former、SAM 系列）；开放词汇检测与分割（CLIP 蒸馏、LSeg、OpenSeg、Grounded SAM、Florence-2）；指代/推理分割（LISA、GLaMM、VISA、SeC）；基于记忆的视频目标分割（SAM 2、DEVA、SAM-Track、SeC）；视觉语言嵌入（CLIP、SigLIP/SigLIP 2）；VLM 作为裁决器；以及三维重建中的干扰物处理（NeRF-in-the-Wild、RobustNeRF、SpotlessSplats 等）。文章指出的核心空白是“强感知、弱验证”：检测驱动跟踪缺乏身份概念，视觉先验驱动的语义发现无法区分本体论上不同但视觉相似的实体。ENEAS 声称通过把几何提议与语义验证解耦来填补这一空白。

ENEAS 由两个共享算子构成：grounding 算子 G(I,p) 用 Florence-2-Large 把文本提示定位成图像区域；segmentation 算子 S(I,r) 用 SAM 家族把区域转成掩码。根据提示是特指实例（如“the blue painting”）还是类别（如“person”），方法走两条路径：实例走单次初始化加时序传播，类别走逐帧重评估加级联验证。 问题形式化：给定帧集合 {I_t}_{t=1}^N 与自然语言提示 p。实例模式下，每帧输出一个二值掩码 M_t，目标不可见时 M_t=0；类别模式下，每帧输出掩码集合 {M_t^(i)}，实例数 n_t 逐帧可变。两者共享 grounding 与 segmentation 算子。 实例跟踪模式。其基础是 SeC，它把 SAM 2 扩展为带概念级目标记忆的跟踪器：不只匹配外观，而是逐步建立“目标是什么”的高层表示，从而对剧烈视角变化与目标离开后重新进入更鲁棒。SeC 原本只支持点交互，ENEAS 加入文本驱动初始化：在参考帧 I_{t0} 上求 r0 = G(I_{t0}, p)，把这一区域作为唯一初始化，后续掩码由 M_t = T(I_t | r0, H_t) 传播得到，其中 T 是 SeC 跟踪器，H_t 是已处理帧的记忆。由于初始化只发生一次，身份被全程强制执行；目标不可见时 M_t 为空，而不会漂移到相似物。系统同时支持点交互（最大精度）与自然语言（易用），参考帧可选在序列任意位置。 语义发现模式采用成本递增的级联，只有前一阶段无法解决的候选才进入下一阶段。 第一级，区域提议。Florence-2 对每帧生成候选区域 R_t = G(I_t, p)，并合并重复提案。该阶段刻意宽松：宁可不漏，代价是把干扰物留给后续阶段过滤。 第二级，嵌入验证。每个候选与类别用 SigLIP 2 打分。关键点是 SigLIP 2 的 pairwise sigmoid loss 使每个 image-text pair 被独立二分类，因此 crop 中其他物体的存在不会压低目标分数；这与 softmax 的互斥归一化形成对比——文中 Phase 2 说明，softmax 下“人拿着麦克风”会因“microphone”类竞争而压低“person”分数，导致无法设置稳定阈值。为缓解模型在整图训练、在 crop 上推理的 domain shift，多个类别措辞模板被平均成一个分数 s(r) ∈ [0,1]。两个阈值 tau_rej < tau_acc 把候选三分：s(r) >= tau_acc 直接接受；s(r) < tau_rej 丢弃；其余进入不确定区间。区间宽度是延迟与语义严格性的主要旋钮。 第三级，语义验证。只有不确定区间内的候选被送给 Qwen3-VL 裁决，返回二值 v(r) ∈ {0,1}。提示明确要求判断该区域是否真的是目标类别，而不是雕像、人体模型或图片等相似物。对每个候选，相邻候选的像素被黑掩码遮盖，使裁决只针对该候选（contextual neighbour masking）；模型按固定格式回答，不做自由推理，从而控制 token 成本。因为只有真正模糊的候选到达此级，成本随场景歧义而非物体数量增长。 第四级，掩码生成。直接接受与 v(r)=1 的候选组成接受集 A_t，交给 SAM 2 为每个实例生成掩码 M_t^(i) = S(I_t, r_i)。 设计演进（Phase 1–4）解释了这些选择：Phase 1 的密集描述加复合视觉提示存在开放集幻觉、空间聚合与高认知负载，延迟至少 15 秒/帧，不可用于视频；Phase 2 的 softmax 对比过滤受类别竞争影响产生分数抑制；Phase 3 改用 sigmoid 独立评分、native aspect ratio 编码器与 prompt ensemble 解决 crop domain shift；Phase 4 用黑掩码与 constrained decoding 优化 VLM 裁决，把单次验证降到约 1 秒。 训练与数据细节：本文没有训练新模型，也没有给出文本适配器或任何参数的训练目标、优化器、学习率或训练数据；ENEAS 是一套基于预训练组件（Florence-2-Large、SigLIP 2、Qwen3-VL、SAM 2/SAM 2.1、SeC）的推理期编排/集成方法。数据方面，Church Statues 是真实教堂内景低帧率采集，含超写实雕塑与访客，标注由作者手工完成，用于最大化“person”的本体论歧义；Moving Boxes 与 Blue Painting 是常规视频；SA-Co/VEval 采用 SA-V Test 子样本，按提示是否特指实例划分为跟踪与发现两组。延迟在单张 NVIDIA L4 24GB 与 Intel Xeon 12 虚拟核上端到端测量，包含数据加载与 CPU 预处理。

实验部分先交代三维重建目标场景与数据集，再给出四阶段设计演进的动机，随后分别评估实例跟踪鲁棒性、新实例语义发现、与 SAM 3 的语义严格性对比、以及 SA-Co/VEval 基准；最后进行组件必要性、阈值敏感性、场景自适应效率与 VLM 规模的消融。总体结论是：在本体论歧义最重的真实雕像场景上，ENEAS 以一定召回损失换取远高于 SAM 3 的语义精度，且更大的裁决模型能基本恢复召回；在 SA-Co/VEval 上主要通过更强的关联质量获得与 SAM 3 相当或略优的整体跟踪轮廓，但定位略弱；实例跟踪在目标消失与极端特写下保持身份与空间完整，而检测式基线会漂移或碎片化；消融显示单独嵌入过滤无法同时兼顾高精度与高召回，VLM 只在不确定区间必要，全量调用 VLM 更慢且精度略降；在常规场景放宽阈值可大幅减少 VLM 激活与延迟并保持高精度。需要注意，主量化基准是作者自采集的小场景，SA-Co/VEval 的绝对分数偏低、与 SAM 3 差距小，结论强度有限。

1. 在 Church Statues 的 “person” 任务上，SAM 3 召回最高但精度只有 11.1%，约每正确一人误报八个伪影；ENEAS-2B 以 73.5% 召回换取 94.7% 精度和约四倍 F1 提升，ENEAS-4B 进一步恢复到 79.6% 召回并保持 97.5% 精度、F1 达 87.6%。

   As detailed in Table 1 , SAM 3 achieves the highest recall, confirming its status as an exceptionally powerful detector capable of identifying instances that other visual backbones miss. However, this sensitivity comes with a catastrophic False Positive rate, resulting in a precision of just 11.1%. In practical terms, for every correct detection of a person, SAM 3 hallucinates approximately eight artifacts. Our default configuration (ENEAS-2B) accepts a trade-off in recall to enforce a strict precision of 94.7%. The resulting F1-Score represents a four-fold improvement over the state-of-the-art baseline. Furthermore, scaling the semantic judge to the 4B parameter variant yields a substantial performance boost. By recovering valid instances that were ambiguous to the smaller model, the 4B variant improves recall while maintaining near-perfect semantic purity. The resulting F1-Score of 87.6% confirms that our architecture scales effectively with model capacity, offering a configurable trade-off where the 2B model serves as a highly efficient baseline and the 4B model provides maximum rigor for offline processing.

2. SA-Co/VEval 的实例跟踪划分中，ENEAS 在 HOTA（26.70 vs 26.51）、AssA（90.77 vs 90.18）和 TETA（17.86 vs 16.65）上略优于 SAM 3，DetA 相近，LocA 略低。

   HOTA (%) | 26.70 | 26.51 DetA (%) | 7.92 | 7.84 AssA (%) | 90.77 | 90.18 LocA (%) | 87.86 | 89.22 TETA (%) | 17.86 | 16.65

3. SA-Co/VEval 的语义发现划分中，ENEAS 在 HOTA（9.23 vs 9.19）、AssA（14.28 vs 13.85）、TETA（9.53 vs 9.10）上略优，SAM 3 在 DetA 和 LocA 上略高。

   HOTA (%) | 9.23 | 9.19 DetA (%) | 6.16 | 6.21 AssA (%) | 14.28 | 13.85 LocA (%) | 74.25 | 75.38 TETA (%) | 9.53 | 9.10

4. 组件消融表明：仅 RPN 的基线精度仅 10.5%；嵌入过滤的宽松阈值保留雕像、严格阈值误删有效实例；ENEAS-2B/4B 的自适应区间以最低误报获得最高 F1。

   RPN (Baseline) | Text Prompt Only | 10.5 | 79.6 | 18.6 | Severe hallucination of artifacts RPN + Embeddings | Flex Thresh. (T > > 0.50) | 55.7 | 79.6 | 65.5 | Filters noise, keeps realistic statues RPN + Embeddings | Strict Thresh. (T > > 0.80) | 94.3 | 67.4 | 78.6 | Misses valid instances ENEAS-2B (Ours) | Adaptive (0.10 < < T < < 0.90) | 94.7 | 73.5 | 82.8 | Optimal balance (speed vs performance) ENEAS-4B (Ours) | Adaptive (0.10 < < T < < 0.90) | 97.5 | 79.6 | 87.6 | Best performance, slower

5. 阈值敏感性显示 Aggressive 区间 VLM 激活率 16.2%、延迟 1.04 秒但 F1 降到 74.3；Robust 区间激活率 78.1%、延迟 3.29 秒、F1 最高 82.8；VLM-Only 全量调用更慢且 F1 反而降到 79.1。

   Aggressive / Fast | 0.40–0.60 | 16.2 | 1.04 | 74.3 Balanced | 0.15–0.75 | 59.4 | 2.48 | 79.6 Robust | 0.10–0.90 | 78.1 | 3.29 | 82.8 VLM-Only | 0.00–1.00 | 100 | 5.05 | 79.1

6. 在 Moving Boxes 用 Fast Mode（接受阈值降到 0.40）时，延迟 1.14 秒/帧、VLM 激活率 27.0%，仍保持 F1 98.0% 且零误报。

   Under these conditions, the system achieved a latency of 1.14 seconds per frame, representing a three-fold speedup compared to the robust execution on Church Statues (3.29 seconds). This efficiency gain stems from the reduction in vision-language model activation rate, which dropped from 78.1% on Church Statues to 27.0% on Moving Boxes. Crucially, despite the relaxed threshold and the presence of occlusions, the visual embeddings successfully resolved the majority of instances, maintaining a near-perfect F1-Score of 98.0% with zero False Positives.

7. VLM 规模分析中，4B 裁决把 F1 提到 87.6%，但延迟 5.02 秒/帧，比 2B 慢约 52%（表中记为 1.5 倍）。

   2B | 3.29 | 82.8 | 1.0x (Baseline) 4B | 5.02 | 87.6 | 1.5x Slower

8. 设计演进 Phase 1 的密集描述加复合视觉提示在稠密场景中延迟至少 15 秒/帧，因此不可用于视频。

   This dependency introduced prohibitive latency, starting at a minimum of 15 seconds per frame and escalating significantly in dense scenes. Consequently, this approach proved inviable for video processing.

9. Phase 4 通过黑掩码与结构化提示约束，把 VLM 验证延迟降到约 1 秒。

   By restricting this validation to the uncertainty interval, we achieve high semantic precision while reducing verification latency to approximately one second on resource-constrained hardware.

10. 实例跟踪定性实验中，ENEAS 在目标消失时输出 True Negative（空掩码），而检测式基线会把窗帘或头发等误检为提示目标。

    In contrast, ENEAS (Row 3) leverages the propagated temporal memory of the SeC architecture to enforce identity constraints. It correctly reports a True Negative (zero mask) when the specific instance is not visible. This capability prevents the accumulation of false positives in long-term tracking.

11. 语义发现定性实验中，ENEAS 在 Moving Boxes 的 “chair” 提示下精确识别有效椅子并拒绝堆叠箱子等几何相似干扰物。

    Conversely, ENEAS (Row 4) demonstrates surgical precision. By leveraging VLM verification, it successfully identifies valid chairs (marked in blue) while consistently rejecting geometrically similar distractors such as stacked boxes, even under partial occlusion.

12. 与只在初始帧标注的传播式模型不同，ENEAS 持续逐帧重评估，无需重新提示即可发现新进入视野的实例。

    Furthermore, unlike propagation-only models such as SAM 2.1 or its grounded variant, which are limited to instances annotated in the initial frame, our method continuously re-evaluates the scene. This approach allows for the seamless detection of new instances entering the field of view, such as a new person walking in or a chair being revealed, without requiring user re-prompting.

Novelty：新颖性中等偏低。核心机制是把已有组件（Florence-2-Large、SigLIP 2、Qwen3-VL、SAM 2/SeC）级联，“不确定区间条件调用 VLM”与“sigmoid 独立评分 + prompt ensemble”都是对已有技术的工程组合：级联/自适应推理、VLM-as-judge、constrained decoding 在文献中均有先例；SigLIP 的 sigmoid 独立性是模型自带损失属性而非本文贡献。文本驱动的 SeC 初始化是一个适配层，但文中没有给出其训练或学习细节，更像推理期接口。真正有新意的是把“本体论正确性”作为分割评估维度，以及面向三维重建干扰物语义移除的 precision-first 视角和 Church Statues 这一真实歧义场景。若把贡献限定为系统与基准，则新颖性可接受；若以算法原创性衡量，则有限。 Soundness：合理性中等。方法逻辑自洽，消融能支撑级联与不确定区间的必要性；但证据强度受限。量化主结果 Church Statues 是作者自采集、自标注的小数据集，未报告标注一致性、样本量或统计显著性；与 SAM 3 的对比只在一个场景上做 Precision/Recall/F1，F1 提升主要来自精度修复，召回仍受 Florence-2 提案瓶颈约束。实例跟踪部分仅有 Blue Painting 的定性展示，没有定量对比。SA-Co/VEval 的 HOTA/TETA 数值整体很低，ENEAS 与 SAM 3 的差距很小（尤其 DetA 几乎相同），文中未做显著性检验，“通过 AssA 获得更好整体跟踪轮廓”的结论偏弱。消融中阈值与 preset 在同一 Church Statues 上选取，存在对测试集过拟合风险；延迟数字来自单一 L4 环境且未分解各阶段耗时。此外，无训练细节使文本适配器的可复现性不足。 Significance：应用意义中等。对三维重建前处理（区分雕像与访客、保留资产并移除干扰物）这一真实痛点有直接价值，precision-first 级联在离线、低帧率、少干扰场景中实用；把“语义上不是人”的负样本显式建模，对安全敏感或资产敏感的视觉应用有启发。但其影响范围受限于：需要 Florence-2 提案召回；密集场景成本上升；非实时；不产生跨帧身份与置信度，限制在需要跟踪身份或分数校准的下游任务中使用。作为一次系统集成与工程验证，其可迁移思路（仅在嵌入不确定时求助 VLM）比具体架构更有意义，但缺少公开可复用的泛化证据。

文中已承认的局限：语义发现召回被区域提议上限所约束，Florence-2 未提出的（小、远、重遮挡）实例无法在下游恢复；VLM 裁决依赖上下文，在极端特写或低分辨率裁剪中缺乏材质/场景线索时会与纯视觉模型一样漏检伪影；验证成本随每帧候选数增长，拥挤街道等密集场景超出设计范围；逐帧发现不分配跨帧持久身份；不输出置信度，难以用于分数型评测；鲁棒配置在单张 L4 上约三秒一帧，非实时。 从审稿角度看还有若干未解决的局限：没有报告任何训练细节或新参数，文本适配器如何训练/微调不可知，可复现性不足；Church Statues 为作者手工标注的单一场景，泛化性与标注偏差未评估；SA-Co/VEval 上绝对分数低、与 SAM 3 差距小，未做统计检验，“匹配或改善”的结论需要更谨慎；消融的阈值配置在同一数据上确定，可能过拟合；只与 SAM 3 和 Grounded SAM 做了直接对比，未与其他 open-vocabulary 级联（如 Grounded SAM + VLM 过滤）或 Florence-2 + SigLIP 的其他组合公平比较；SigLIP 的 prompt ensemble 与阈值是手工设定，没有校准；“语义裁决”本身可能产生新的本体论错误或幻觉，缺少对 VLM 判断的可靠性分析；延迟测量声称端到端但未分解，黑掩码与 constrained decoding 对准确率的损失没有单独量化。

论文给出的未来方向是：将逐帧发现接入记忆传播形成时间一致实例；从嵌入与 VLM 阶段推导校准置信度；把 VLM 判断蒸馏进嵌入过滤器以逐步缩小不确定区间和延迟。这些方向合理。进一步可做：用更强或集成的开放词汇提议器（多尺度、多模型投票）缓解提案召回瓶颈；对文本初始化适配器做有监督微调并提供训练配方；在包含蜡像、人体模型、壁画、倒影等系统性本体论干扰的公开基准上做可重复评测，报告标注协议与一致性；对 VLM 裁决做错误分析和校准，研究 over-reasoning 与 constrained decoding 的精度损失；把两个阈值改成可学习或校准概率（如温度缩放、保序回归），输出置信度；在三维重建下游直接验证“语义移除”对 NeRF/3DGS 质量的因果收益；扩展到多目标持久跟踪与开放词汇发现的统一身份管理；在更弱的端侧/消费级硬件上优化批量验证与缓存，进一步缩短延迟。

本文的定位不是提出新的 VLA 模型或新的强化学习算法，而是提出 EmbodiedSkills：一个面向 VLA agent 的编排、训练与部署统一框架。它处在端到端 VLA 策略与 LLM 机器人 agent 之间的位置：保留底层 VLA 的动作生成能力，同时把感知、规划、预检、有界执行、验证与恢复组织成一个可训练、可诊断的 agentic layer。其核心主张是“策略提出结构化技能提案，运行时负责强制校验与执行”：每个技能决策都是执行提案，执行前检查前置条件，执行后验证结果；共享的可执行技能接口把高层技能选择、低层有界执行与后验验证连接在同一个闭环中，并固定接口使底层策略可替换。论文自述的三点贡献是：skill-oriented 的闭环 AgentLoop、policy–runtime 分离（守卫与显式失败）、以及模块化适配与跨 benchmark 验证。本质上它是一项系统/框架贡献，而非单点模型精度贡献。

VLA 模型将视觉观察与自然语言指令直接映射为机器人动作，受益于大规模视觉-语言预训练与多样化机器人演示，能力不断提升（RT-1/RT-2、Open X-Embodiment/RT-X、OpenVLA、Octo、π0/π0.5、Qwen-VLA 等）。但长程操纵远不止预测下一动作：机器人必须感知场景、识别任务相关物体、选择子目标、判断当前状态下是否可执行、调用低层 VLA 生成动作、验证执行是否达成意图、失败时恢复。作者把这一层称为将 VLA 策略转化为可靠具身系统所必需的 agentic layer。现有方法分两派：端到端 VLA 策略提供统一的视觉运动控制接口，但中间任务决策是隐式的，失败时难以归因到物体接地、子目标选择、低层动作、进度验证还是恢复；LLM 机器人 agent（SayCan、Inner Monologue、Code as Policies、VoxPoser、PaLM-E 等）能把中间工具调用与推理步骤显式化，但显式决策并不自动有效或可执行——它可能与当前阶段不兼容、依赖陈旧观察、缺少参数，或执行后未产生预期结果。提示工程能引导策略，但本身不能强制执行约束或验证物理结果。相关线索还包括 options、层次强化学习、技能链、行为树，以及近期 GRPO 式 agent RL 与 VLA 后训练（RLinf-VLA、π*0.6、World2Act）。评估方面，RLBench、CALVIN、LIBERO、ManiSkill、RoboCasa、SimplerEnv、RoboTwin 2.0 等基准衡量策略性能，但终端成功率不能揭示长程 agent 在哪一步失败；已有工作研究执行监控、失败解释、失败恢复与动作验证。EmbodiedSkills 的切入点是：把技能决策变成带前置/后置校验的执行提案，用统一结构化轨迹在同一运行时抽象内分析终端成功、子目标进展、无效决策、低层失败、验证错误、恢复行为与延迟。

EmbodiedSkills 的核心是一个受守卫的有限阶段控制器（guarded finite-stage controller），分四层：状态与上下文、技能契约、阶段空间与守卫转移、有界动作执行与验证恢复。 【状态与决策】第 t 步的方法级状态为 s_t=(z_t, M_t, H_t)（式1）。z_t 是当前阶段；M_t 是可用任务 artifact 集合，包括当前观察、感知/接地结果、世界状态、完整任务计划、活动子目标、preflight 证据、动作 chunk、执行报告、验证报告与恢复上下文；H_t 是有序 loop trace。artifact 携带 provenance（来源）与 freshness（新鲜度），防止观察、计划、动作在依赖变化后被静默复用。策略看到的不是原始 simulator 状态，而是部署一致的紧凑上下文 C_t=Ψ(x,z_t,M_t,H_t)（式2）：保留完整计划、活动子目标、当前 artifact 摘要、近期错误，以及有序且有界的近期决策/结果；旧条目在固定 history budget 下压缩或丢弃，原始 simulator 内部与无界日志不进入上下文。策略从状态依赖动作集采样 d_t~πθ(·|C_t,z_t,A_t)（式3），其中 A_t=G_state(K_z_t,s_t) 只暴露与当前 artifact 兼容的技能。决策只有三种控制类型（式4）：RunSkill(k,q)（执行技能 k 及 payload q）、AdvanceStage（前向推进）、FinishRun（终止）。技能执行、阶段推进与终止共享同一结构化决策接口，而证据依赖的重路由由 runtime 决定。 【可执行技能契约】每个技能表示为 k=(X_k,Y_k,pre_k,exec_k,post_k,fail_k)（式5）：类型化输入/输出 schema、前置条件、可执行操作、状态更新规则、失败到显式状态与证据的映射。契约同时适用于模型支持的技能与确定性操作。关键点是：模型生成的结果只是 proposal，直到 schema 与前置条件被验证；成功输出成为 typed artifact 供后续技能使用，失败则成为可供下一次策略决策使用的显式证据。这样感知、规划、验证与动作生成可在内部表示不同的情况下被组合。契约还定义失效边界：当观察、活动子目标或执行结果改变时，只刷新依赖该证据的 artifact，从而在复用仍有效上下文的同时阻止 stale 预测授权新的物理动作。技能契约因此同时是组合接口、运行时有效性边界和训练轨迹来源。 【阶段空间】Z=(Observe,Plan,Preflight,Execute,Verify,Recover)（式6）。六个阶段描述 loop 的语义结构而非固定一次性管线：当新观察、执行结果或验证证据使当前计划失效时，策略可回到更早阶段。各阶段角色与退出证据：Observe 获取当前视觉与任务相关证据；Plan 把任务与证据转化为可验证子目标、选择活动子目标并分配执行预算；Preflight 检查任务上下文、观察、机器人状态、环境与 VLA 可用性，必要时刷新证据；Execute 构造 VLA 请求、生成并验证 chunk、在环境中执行；Verify 用新鲜的后执行证据判断是否达成活动子目标并选择下一语义路线；Recover 解释失败证据、修订子目标或计划并选择安全重入阶段。接地（grounding）是任务与策略条件的，而非全局固定的 source–target 对。 【守卫转移】策略只提提案，runtime 定义执行语义。三类控制有不同的不变量，因此用三个独立守卫。技能守卫（式7）：G_skill=1[d_t=RunSkill(k,q)]·1[stage(d_t)=z_t]·1[k∈K_z_t]·∏_{r∈R(k,q)}1[r(s_t)=1]，即必须是指定阶段、可允许技能，并且 payload 相关全部前置条件都满足。前向守卫（式8）要求当前阶段已产生后继所需证据 R_z_t(s_t)=1。终止守卫（式9）只要求 FinishRun。守卫更新（式10）分四种情况：技能通过则 U(s_t,k(q)) 记录操作结果并使 stale dependents 失效；推进则 N(s_t)；终止则 F(s_t)；否则 B(s_t,d_t) 记录被阻止决策及其证据。该分离意味着提示词本身不负责执行安全或状态一致性。 【有界动作执行】Execute 阶段中低层 VLA 将 (g_t,O_t,F_t)（活动子目标、当前观察、preflight 证据）映射为动作 chunk 与执行报告 e_t（式11）。chunk 定义为 a_t=(τ_t,U_t,H_t,η_t)，U_t=[u_t^1,...,u_t^H_t]（式12），包含动作类型、horizon，以及把 chunk 绑定到子目标与观察上下文的元数据。runtime 仅在 R_act（式13）成立时接受 chunk：horizon 有界且为正、符合策略模块 p 的动作 schema Σ_p、对当前子目标与观察是 fresh 的、命令数值有效。执行后 loop 先获取新鲜证据再决定下一步，因此一个语义子目标可由多个有界 chunk 完成，而不是被迫压进单个动作 horizon。 【验证与恢复】Verify 只评估活动子目标，使用最新动作 chunk 之后采集的证据，从 V={Advance,Continue,Reobserve,Replan,Recover,Finish}（式14）中预测语义路线：推进计划、保留子目标再尝试、刷新场景证据、修订计划或进入恢复。Recover 使用同一显式任务状态与失败证据生成修订执行上下文，并在另一次物理动作前再次检查。整体任务成功仍由环境评估协议定义，而不是局部子目标判断。Algorithm 1 汇总 AgentLoop：每步策略收到紧凑状态与可允许技能；runtime 守卫阻止缺乏有效证据的决策；每个操作结果追加到有序轨迹供后续决策使用。 【模块化接口】类型化任务状态、阶段化技能接口、运行时验证、轨迹日志、环境适配器与动作策略模块组合在一起；感知、规划、动作生成、验证、恢复可共享一个基座模型加阶段适配器，也可用独立模型，只要满足同一技能与状态契约。 【训练机制】本文以组件级监督为主要训练范式。(1) planner 学习把任务指令与视觉上下文映射为有序可执行语义子目标，子目标只规定要到达的物理状态，不嵌入 simulator 控制细节。(2) 低层 VLA 用子任务级演示单独适配：每条样例把观察与机器人状态配对到活动子目标及对应动作序列；部署时通过 Execute 接口收到相同类型的子目标条件上下文并输出有界 chunk。(3) 高层控制：在冻结低层 VLA 的条件下，用部署一致决策轨迹对 Qwen3-VL scheduler 做 SFT，目标为阶段合适的技能决策及结构化参数（继续当前子目标、推进计划或请求修订上下文），从而把该 SFT 与连续控制学习隔离。(4) verifier 可从后执行观察与子目标完成标签适配；组件可共享基座 VLM 加阶段适配器，确定性或外部组件也可替换。 部署一致训练样本定义为 x_t=(g,z_t,I_t,s̃_t,K_t,h_t)，y_t 为该组件决策（式15）；组件只收到其接口相关字段（planner 收规划上下文、verifier 收活动子目标与新鲜后执行证据、scheduler 收可允许技能与最新 artifact/错误）。技能输出、环境反馈、先前决策与运行时错误按原始时序保留为条件上下文；数据构建与部署用同一 history-compaction 规则，避免用测试时缺失的证据训练。视觉-语言监督只在学习组件生成的 token 上计算 loss，prompt、图像、工具结果、环境消息都是 context 而非预测目标，从而保持策略提案与运行时证据的区分。 可选闭环适应：完整 AgentLoop 可采集交互轨迹 τ=((x1,y1),...,(xT,yT),e_{1:T},R)（式16），其中 e_{1:T} 是类型化 runtime trace，R 由环境适配器提供，并对无效 agent 决策施加显式惩罚；基础设施失败与 agent 策略失败分开记录。优化时低层 VLA 可固定，只改高层决策。论文给出 group-relative 优势 A_i=(R_i−μ_G)/(σ_G+ε_norm)（式17）与 masked clipped 目标（式18），mask m_{i,t,j} 只选生成的策略 token，N_gen 为被选 token 总数。由于同一 episode 回报被分配给多个因果贡献不同的决策，episode 级归因粗粒度，因此在线优化只是可选 refinement，不作为 headline 结果来源。

实验部分首先在 RoboTwin 2.0 与 LIBERO 上评估经任务适配的低层 VLA 策略，作为框架执行接口的验证；随后在 RMBench 的记忆依赖任务上检验历史条件执行；最后对 AgentLoop 的三种机制做受控消融。总体来看，任务适配策略在两个主流 benchmark 上均高于参考基线，增益集中在接触密集与多阶段任务；LIBERO 各套件提升一致但幅度较小，长程套件相对明显；RMBench 的绝对水平仍低，但相对已发布基线有改善；消融表明语义子任务、中间验证与自适应多 chunk 延续各自贡献显著，去掉其中任一都会使成功率大幅下降。需要注意的是，主表衡量的是执行层策略性能，而非完整学习式 planner/verifier 与现有 agent 系统的端到端对比。

1. 摘要给出的核心结果是：任务适配低层 VLA 策略在 50 个 RoboTwin 2.0 任务上平均成功率 86.20%，在四个 LIBERO 套件上 97.40%。

   Task-adapted low-level VLA policies achieve an average success rate of 86.20% across 50 RoboTwin 2.0 tasks and 97.40% across the four LIBERO suites.

2. 在 RoboTwin 2.0 上，本文 86.20% 的宏平均成功率高对比参考的 82.74%，提升 3.46 个百分点。

   Our task-adapted policies reach 86.20% macro-average success, compared with 82.74% for the reference, an improvement of 3.46 percentage points .

3. 最大提升集中在 Hanging Mug(+20)、Blocks Ranking Size(+15)、Open Microwave(+15)、Move Can Pot(+10)、Move Stapler Pad(+10)。

   The largest gains occur on Hanging Mug (+20), Blocks Ranking Size (+15), Open Microwave (+15), Move Can Pot (+10), and Move Stapler Pad (+10).

4. 在 50 个任务中，本文策略在 39 个任务上超过 LingBot-VA 参考、1 个持平、10 个低于参考。

   Our task-adapted policies improve over the LingBot-VA reference on 39 of the 50 tasks, match it on one task, and are lower on ten.

5. LIBERO 四个套件的平均成功率为 97.40%，对比 OpenPI 参考 96.85%，提升 0.55 个百分点。

   Our average success rate is 97.40% , compared with 96.85% for OpenPI, an improvement of 0.55 percentage points.

6. LIBERO-Long 是增益最大的套件，成功率从 92.4% 提升到 93.6%。

   The largest gain occurs on LIBERO-Long, where success increases from 92.4% to 93.6%.

7. 在 RMBench 四个记忆依赖任务上，本文模型的宏平均成功率为 12.5%，高于已发布的对比结果。

   The four-task macro-average of our model is 12.5%; all comparison columns are published RMBench results and are not re-estimated from our RoboTwin runs.

8. AgentLoop 消融在 5000 个 RoboTwin 2.0 episode 上进行（50 任务 × 100 episode），成功只由 benchmark 终端 evaluator 判定。

   Each configuration is evaluated on the same 5,000 RoboTwin 2.0 episodes (50 tasks and 100 episodes per task), and success is determined only by the benchmark terminal evaluator.

9. 消融宏平均结果为：完整配置 86.20，去掉验证 48.2，去掉子任务 34.4，每子任务单 chunk 19.5。

   Macro avg. | 86.20 | 48.2 | 34.4 | 19.5

10. 保留完整预算但去掉中间验证会损失 38.0 个百分点。

    Preserving the full budget without verification recovers part of the Full configuration, but still loses 38.0 points.

11. 用原始整任务指令替代活动子任务时，与完整配置的差距扩大到 51.8 个百分点。

    Replacing the active subtask with the original task instruction increases the gap to 51.8 points

12. 单 chunk/子任务的结果说明仅做语义分解是不够的，很多有效子任务需要多于一个有界动作块。

    The one-chunk result further shows that a semantic decomposition alone is not sufficient; many valid subtasks require more than one bounded action block.

Novelty：新颖性中等。单点概念——前置/后置条件、options、行为树、执行监控、SFT 与 GRPO——都不新；本文的新意在于把它们整合成“可执行技能契约 + 运行时守卫 + artifact 新鲜度失效”的统一闭环，并把技能从单纯的 planning vocabulary 升级为组合接口、有效性边界与训练轨迹来源的三重契约。与 SayCan、Inner Monologue、Code as Policies 等相比，明确的 policy–runtime 分离和部署一致的轨迹 schema 是有价值的系统级设计。但论文没有提出新的模型、新的优化算法或新的基准，方法论创新主要是框架与工程整合。 Soundness：严谨性中等。形式化部分清晰：状态、守卫、更新、动作有效性条件都给出了明确定义；消融实验控制较好（同一 planner、低层策略、初始状态与终端 evaluator，只改变 loop 机制），能支撑“子任务条件、中间验证、多 chunk 延续各自有效”的机制性结论。但主要性能数字来自逐任务微调的低层 π0.5 策略，不能直接证明完整学习式 AgentLoop 的净收益；没有与现有 LLM agent 系统做端到端的长程任务对比，学习式 planner/verifier 的独立增益和误差分析也缺失。RMBench 的绝对成功率很低，显示历史依赖场景远未解决。在线 GRPO 部分只有公式没有实验，无法判断稳定性与收益。部分参考数字直接引用已发表文献而非重跑，属于弱对比。 Significance：显著性中等偏低。若该轨迹 schema、技能契约与诊断工具开源并形成社区可复用的 VLA agent 栈，对部署、失败归因和组件级训练有实际价值；其对“执行层策略与 agentic 层分离”的强调也回应了当前 VLA 后训练热潮中的真实工程问题。但目前的实证证据主要是低层执行策略性能和机制消融，缺乏完整 agent 在长程任务上相对强基线的端到端净收益、真实机器人部署与开放工具链，因此对社区的实际牵引力尚待进一步验证。

论文自身承认的局限包括：整体性能受高低层双重约束；RoboTwin 2.0 用每任务单独微调的专家策略，训练、存储与部署成本高于单一通用策略；守卫循环增加 VLM 调用与后执行观察，带来延迟；可选在线适应继承交互数据成本。契约能阻止非法状态转移，但不能保证语义上合理的决策正确：错误接地或子目标可能通过 schema 检查却走向错误状态；验证在遮挡、视觉歧义或属性无法由可用视图推断时受限。模块化适配带来协调权衡：分离组件易于专精，但必须在共享接口边界保持兼容；长 episode 会累积规划与执行小错误，增加观察、重试与模型调用次数。从外部审稿视角看，还有几个未完全解决的问题：主表衡量的是低层任务适配策略，而非完整 AgentLoop 中学习式 planner/verifier/scheduler 与现有 agent 系统的端到端对比；消融证明机制有效，但未给出学习式组件各自的独立增益或误差归因；RMBench 的绝对水平很低；在线 GRPO 未做实验；RoboTwin 2.0 的逐任务微调使“框架通用性”与“跨任务泛化”的表述需要谨慎解读。

后续工作可沿几个方向展开：1) 用通用或少量任务适配的子目标条件 VLA 替换逐任务专家，减少专家数量，检验契约接口在单一通用策略下的收益；2) 在长程 benchmark（RoboTwin 2.0、LIBERO-Long、CALVIN、SimplerEnv 家庭任务）上对完整 AgentLoop 与强 LLM agent 基线做端到端对比，报告规划、验证、恢复各阶段归因与成功率分解；3) 真正落地在线 GRPO，比较组件级 SFT、闭环 RL、二者组合的样本效率与稳定性，并处理 episode 级归因噪声（advantage 分解、token 级 credit assignment）；4) 在真实机器人上部署，测量额外 VLM 调用与后执行观察的延迟预算、重试成本与实时可行性；5) 研究 verifier 的校准与不确定性：在遮挡、视觉歧义、需要触觉/力觉的进度属性下如何拒判；6) 开放轨迹 schema 与诊断工具，形成社区可复用的 VLA agent 开发栈；7) 针对 RMBench 类历史依赖失败，明确哪些历史应作为 artifact 保留而非被压缩，引入显式记忆/状态追踪组件。

Audio-video diffusion models rely on cross-modal attention to coordinate text, sound, and visual content, yet this same mechanism can introduce subtle and systematic semantic leakage. We study these models by probing and analyzing the ``attention triangle,'' comprising the three cross-attention edges connecting the text, audio, and video streams, and examine how semantic information is routed across modalities during generation. Our analysis reveals that routing along the audio-video edge is bidirectional: audio can influence video generation, while video can influence audio generation. This edge is shaped by biases encoded in the model's parameters and emerges as a major contributor to leakage: when prompts are in tension with learned priors, cross-modal interactions may override the intended conditioning and reroute semantics toward visually canonical but incorrect outcomes. These effects suggest that semantic artifacts arise not merely from attention spreading beyond its intended ta

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文定位在幻觉检测的两个粒度之间：claim-level 方法提供可解释的事实单元验证，span-level 方法提供精确的错误片段定位，但二者通常分离。Enoki 的主张是：以「文本锚定」的 OpenIE 关系事实作为统一中间表示，一次抽取、逐条验证、再把不支持的事实反向投影到原文 span，从而在同一表示上同时输出 claim 级判定与 span 级定位，省去单独的 claim-to-span 对齐模块。与分解-验证流水线相比，它约束幻觉相关论元必须对齐原文；与纯 span 检测器相比，它保留每个错误背后的关系结构。作者还提供 LLM/encoder/rule 三种抽取后端以权衡精度与成本，并发布双粒度数据集 EnokiQA。论文的核心贡献是表示层统一、模块化框架和数据集三者，而非某一单点算法突破。

LLM 在知识密集型场景中会产生缺乏依据但流利的文本，即幻觉，这成为高风险部署的主要障碍。现有检测常分两个粒度。claim-level 方法（FActScore、SAFE、VeriScore、RefChecker、FactOWL、Claimify）把答案拆成事实单元逐一验证，提供可解释的事实性判断；但其可靠性依赖拆解质量，省略论元、修饰语、时间条件或关系会使验证器评估与原文不同的命题，且 claim 本身通常不与原文 span 对齐。span-level 方法（RAGTruth、MuSHROOM、SHROOM-CAP、PsiloQA、HalluEntity；LettuceDetect、haldetect 等 fine-tuned encoder）能定位具体错误片段，便于检查、编辑与纠错，却不暴露被检查的事实结构。统一两者通常需要先拆解、再验证、再把不支持 claim 对齐回原文，这会引入额外对齐模块并在拆解、验证、定位之间传播误差。OpenIE 提供无 schema 的关系三元组抽取（Stanford OpenIE、MinIE、OpenIE6、CycleOIE 等），是自然的分解表示。Enoki 的切入点就是给 OpenIE 加 text-anchoring 约束，使三元组既适合验证又能投影回 span，弥合「可解释验证单元」与「可定位错误片段」之间的缺口。

Enoki 是两阶段流水线：fact extraction 与 fact verification。对每条生成回答先用 spaCy 分句，再用 OpenIE 风格后端逐句抽取 schema-free 的 (subject, predicate, object) 三元组；随后每个三元组被改写为文本假设，送入 NLI 风格验证器与参考上下文比对；不通过的 fact 被投影回原文，把幻觉相关论元 span（或其增量 delta）标记为幻觉片段。 文本锚定（text anchoring）是第一个关键设计。通用 OpenIE 可以对谓词做规范化以便验证，但 Enoki 额外要求幻觉相关论元保持与回答 span 对齐，从而后续能够精确定位。由于多数 OpenIE 后端逐句工作，回答先用 spaCy 分句再独立抽取。 增量事实构造（incremental fact construction）是第二个关键。Enoki 把相关事实组织成自包含的 refinements，每一步只添加一小块信息（例如先输出最小宽度的 '(Ellesmere Port, is, home)'，再逐步扩展到更大论元/主语宽度）。验证时就能区分「被支持的粗粒度事实」与「不支持的细化增量」，并把错误投影到新增 span。规则后端中的 multi-granularity widening 规则正是为这一机制服务：同一命题以 minimal、medium、maximal 宽度输出，按 (subject head, predicate surface, argument-head) 聚类、由窄到宽打包成 IncrementalFactGroup，delta 即每步新增 token 的连续区间。 验证阶段：每个三元组转成文本假设，由 NLI 风格验证器打分，幻觉概率定义为 contradiction + neutral 分数之和；不通过时输出 object 的 delta 作为幻觉 span。长上下文超过模型窗口时，按窗口长度切块，相邻块保留一句重叠；对每个原子事实与所有块比对后取最大 entailment 分数作为最终分数（chunk-wise max aggregation）。 抽取后端族： - OpenIE baselines：Stanford OpenIE、MinIE、OpenIE6 作为标准分解模块。 - Enoki-LLM：采用 CycleOIE 的抽取 prompt（附录 J），并追加三条鼓励增量分解的指南（附录 K），每条附示例说明论元 span 如何扩展或拆分。 - Enoki-Rule：确定性无训练后端，在 spaCy en_core_web_trf 依存解析上应用 35 条规则，每条规则是针对特定句法配置的独立模式匹配器，输出锚定文本的 subject/predicate/object span。规则库通过协议化的 agent 辅助精炼循环开发：agent 只负责候选生成，自动验收门负责接受/收窄/拒绝。验收分数 S = F1 + 0.25·cov，其中 F1 是对 gold 的标准三元组 F1，cov 奖励在每个 (subject, predicate) 桶内恢复不同谓词表面。两阶段开发：Stage 1 在 LSOIE+OpenIE6 子集上从空库引导出 16 条规则（L0→L5 层级：canonical SVO/copular、prepositional/clausal complements、passives/participials、refinement）；Stage 2 在 EnokiQA-val（约 58k 句）上加入增量 widening、复合谓词（is home to / served as / played a role in）、participial inclusion、appositive、coordination granularity 等，收束到 35 条规则，分七个规则簇。 - Enoki-Encoder：基于 OpenIE6 的 Iterative Grid Labeling (IGL) 架构，固定深度逐行给每个词打标签；把原 BERT-base 换成 ModernBERT-large。原 IGL 按行序做交叉熵监督，但增量抽取中行序不稳定，故替换为 DETR 式置换不变二分匹配损失：先算预测行与 gold 行的成对代价 C_ij = CE(ŷ_i, y_j)，再用 Hungarian 算法解 σ* = argmin_{σ∈Π_D} Σ_{i=1}^{D} C_{i,σ(i)}，最后在匹配对 (ŷ_i, y_{σ*(i)}) 上求和交叉熵。最大抽取深度取覆盖 EnokiQA dev 95% 句子的最小值 14。训练数据来自 EnokiQA development split：1,995 例切分为 5,474 句、36,865 条增量三元组；95/5 划分，learning rate 2e-5，batch size 32，按验证损失早停。因 EnokiQA 增量标注由 Enoki-LLM 产生，该训练可视作把 LLM 抽取器蒸馏到小 encoder。 数据集 EnokiQA：从英文 Wikipedia 按流行度分层采样文章，段落级上下文用于生成问题，全文作为验证证据。GPT-OSS-120B 生成长事实问题，7 个指令微调 LLM 在无上下文条件下作答；经问题过滤、答案相关性过滤、长度过滤、近重复去除后形成划分。标注采用自动双粒度流水线：Enoki-LLM（GPT-OSS-120B）抽增量三元组，Qwen3.5-9B NLI 验证器对全文打分，输出 entailment/neutral/contradiction 三标签概率，neutral+contradiction 之和 > 0.5 视为幻觉；不支持的 fact 投影回 span，同一中间事实同时产生 claim 判定与 span 定位。训练集 19,594 条无标注，开发/测试各 1,995 条有标注，跨 7 个生成器平衡。

实验在三个粒度展开：span 级定位（MuSHROOM、RAGTruth、PsiloQA）、entity 级检测（HalluEntity）、sentence 级事实性分类（FactCheckBench、ANAH、RAGTruth）。总体结论是 Enoki 在需要定位并把错误归因到显式事实单元的任务上最强：LLM 后端分解质量最好，rule 与 encoder 后端在显著更低延迟下保留大部分收益；sentence 级粗粒度二分类则与强直接验证器互有胜负。消融覆盖 Hungarian 匹配损失、可选 coref 去语境化、NLI 与 LLM 验证器、开源与闭源分解模型；效率附录比较了时延与 FLOPs。评测引入 Span Coverage F1，以缓解粗粒度人工标注对精确边界预测的惩罚。

1. 在实体与 span 基准上，Enoki 相对最强既有检测器提升 +15.3 AUPRC（HalluEntity）与 +8.0 Span Coverage F1（MuSHROOM），rule/encoder 变体在低两个数量级延迟下保留大部分收益。

   Across entity- and span-level benchmarks, Enoki improves over the strongest prior detectors by +15.3 AUPRC on HalluEntity and +8.0 Span Coverage F1 on MuSHROOM, with rule- and encoder-based variants retaining most of these gains at two orders of magnitude lower latency.

2. 在 HalluEntity 上，Enoki-LLM 取得 AUROC 79.70 与 AUPRC 55.09。

   Enoki-LLM | GPT-OSS-120B | 79.70 | 55.09

3. Enoki-LLM 在 HalluEntity 上整体最优，非增量变体紧随其后；实体级检测受益于「类事实且对齐原文」的表示。

   Enoki-LLM achieves the best overall performance, and its non-incremental variant follows closely. This confirms that entity-level detection benefits from a representation that is both fact-like and aligned to answer text.

4. 在 HalluEntity 上，rule 与 encoder 变体也超过标准 OpenIE 基线，尤其在 AUPRC 这类精度敏感指标上。

   The rule-based and encoder-based variants also outperform standard OpenIE baselines, especially under precision-sensitive evaluation.

5. 在 span 基准上，Enoki-LLM 在 MuSHROOM 与 PsiloQA 分别取得 Span Coverage F1 52.07 与 71.15。

   Enoki-LLM | GPT-OSS-120B | 52.07 | 37.32 | 71.15

6. 文本锚定的显式验证对 span 定位尤其有效，Enoki-LLM 在 MuSHROOM 与 PsiloQA 上表现最佳。

   Table 3 shows that text-anchored explicit verification is especially effective for span localization. Enoki-LLM performs best on MuSHROOM and PsiloQA, indicating that high-capacity decomposition helps recover fine-grained hallucination-relevant arguments.

7. EnokiQA 自动标注流水线相对裁定后人工标签达到 sentence-level F1 0.867 与 span-level F1 0.569。

   Against adjudicated human labels, the automatic pipeline achieved sentence-level F 1 = 0.867 {}_{1}=0.867 and span-level F 1 = 0.569 {}_{1}=0.569 , consistent with the difficulty of long-form span annotation and comparable to prior work Vazquez et al. (2025) .

8. 在 RAGTruth 效率对比中，Enoki-Encoder 以 0.13s 达到 69.1% F1 且比基线快 4–10×，Enoki-LLM 达到最高 F1 76.4% 并在相近延迟下超过 Claimify +9.8 分。

   Enoki-Encoder achieves 69.1% F1 at 0.13s, outperforming baselines while being 4–10 × \times faster. Enoki-LLM reaches the highest F1 (76.4%) and outperforms Claimify by +9.8 points at comparable latency.

9. Enoki-Rule 与 Enoki-Encoder 把每句总时延降到 0.11s 与 0.13s。

   Enoki-Rule and Enoki-Encoder reduce total latency to 0.11 s and 0.13 s per sentence, respectively.

10. 用 Hungarian 匹配替换行序交叉熵后，Enoki-Encoder 在 MuSHROOM、RAGTruth、PsiloQA 三个 span 基准上一致提升。

    Enoki-Encoder | 41.02 | 27.25 | 61.14 Enoki-Encoder + Hungarian Matching | 46.96 | 34.84 | 65.51

11. 可选 FastCoref 去语境化效果依赖数据集：改善 RAGTruth 与 ANAH，在 HalluEntity 与 PsiloQA 上中性或略有害。

    Table 4 shows that decontextualization has a dataset-dependent effect. It improves RAGTruth and ANAH, where hallucinated statements often depend on cross-sentence references, but is neutral or slightly harmful on HalluEntity and PsiloQA, where sentences more often contain explicit mentions and erroneous antecedent substitutions can introduce noise.

12. 把分解器从 GPT-OSS-120B 换成 GPT-5.4 只带来 +1.85 AUROC 与 +1.90 AUPRC 的 HalluEntity 提升。

    The gap between GPT-OSS-120B and GPT-5.4 is relatively small, with only +1.85 AUROC and +1.90 AUPRC in favor of GPT-5.4.

Novelty：新颖性中等偏上。核心新颖点不是单个组件，而是把 OpenIE 关系事实约束为「文本锚定」，使其成为验证与定位的共享表示，从而省掉 claim-to-span 对齐步骤；增量事实构造与 delta 投影进一步让粗/细粒度验证与最小错误 span 定位联动。三种后端（LLM/rule/encoder）覆盖精度-效率谱系，Enoki-Encoder 的 Hungarian 匹配损失是针对增量 IGL 行序不稳定问题的合理改造。EnokiQA 提供对齐的 claim+span 双粒度标注，也填补了长文多生成器资源的空白。但各部件（OpenIE、NLI、IGL、DETR 式匹配）均已存在，Enoki 更像是系统性集成与约束设计，而非提出全新算法。 Soundness：实验设计总体扎实：覆盖实体、span、句子三个粒度，与隐式验证和显式验证两类基线比较，并提供消融与效率分析。Span Coverage F1 的动机（粗标注对精确边界的惩罚）合理，但该指标只要求预测 span 被 gold 包含，天然偏向「小而安全」的片段预测，可能高估定位精度，需要与精确边界指标对照。MuSHROOM 无训练集、统一用 0.5 阈值，对分数校准敏感的方法不利。EnokiQA 标注由 Enoki-LLM+Qwen 自动生成，而 Enoki-Encoder 又在该标注上训练，存在蒸馏闭环；人工一致性 κ 0.580 仅中等，长文 span 标注噪声被作者承认。部分对比（如 LLM 验证器替换）样本有限。总体结论方向可信，但绝对数字应谨慎解读。 Significance：意义较高。幻觉检测从粗粒度走向可定位、可归因是实际部署（检索增强、写作助手、事实核查）的明确需求；Enoki 的共享表示思路简洁可复用，后端族让它在无 GPU 或低延迟场景也有落地可能。双粒度数据集 EnokiQA 对后续训练与评测有长期价值。不过 sentence 级结果混合，说明其优势集中在定位类任务，不能声称在所有幻觉检测场景全面超越。若后续把抽取覆盖率、跨句指代和验证器鲁棒性补强，该框架有望成为显式验证类方法的通用基座。

论文自述四点：依赖事实抽取（漏抽/合并/过粗论元无法被验证器恢复）；增量投影在多个部分同时错误或非局部交互时只能给出比最小人工标注更粗的 span；逐句处理对 coref、省略、话语级归属处理不足，去语境化收益不一致；验证器敏感，最终输出受验证器校准影响。此外从审稿视角还有：EnokiQA 自动标注与 Enoki-Encoder 训练目标同源，可能高估 encoder 变体的蒸馏能力；Span Coverage F1 的宽松定义可能放大 span 收益；MuSHROOM 固定阈值、英文单语评测、长上下文分块 max 聚合可能忽略跨块推理；LLM 后端的抽取时延仍是主要瓶颈，端到端并未消除对大规模生成模型的依赖。

跟进方向：1）用 discourse-aware 抽取或显式指代消解替代可选 coref，减少跨句欠规格；2）改进验证阶段，如关系感知的 NLI、多块证据联合推理、检索重排替代朴素 chunk max；3）扩充人工校验的双粒度标注，尤其是 minimal-span 黄金标签，并同时报告精确边界 F1 与 coverage F1；4）跨语言与科学/生物/法律等长尾领域评测；5）研究抽取-验证误差传播，给出 recall-bound 或不确定性估计；6）用更大规模或自监督信号继续蒸馏 rule/encoder 后端，缩小与 LLM 后端的差距；7）将 Enoki 与 RAG 检索增强、可编辑输出、citation grounding 结合，形成端到端可纠错系统。

本文是一篇面向实践者的教程与综述型论文，定位不是提出新方法，而是系统介绍“因果基础模型”（Causal Foundation Models, CFMs）这一新兴范式并降低其使用门槛。作者将 CFM 定义为“预训练一次、在全新数据集上通过上下文学习估计因果量、无需模型更新”的神经网络，并把全文组织为：因果推断与机器学习背景（第2节）、CFM 核心内容（第3节）、对三个公开 CFM 与传统估计器的基准比较（第4节）、领域前沿与跨学科应用（第5节）。文章强调实用价值，嵌入示例代码与 Jupyter notebooks，并公开代码库。需要注意的是，所提供的全文在第3节标题之后直接跳到第4.1节，第3节正文内容缺失，因此对 CFM 核心设计只能依据第1、2.5、2.6、4节重建。论文的核心主张是 CFM 在保持与调优后的传统估计器竞争性精度的同时，大幅降低部署时间，并把贝叶斯后验预测分布（PPD）作为 CFM 的统一输出目标。

文章先以“鹳鸟数量与出生率”的经典例子区分预测问题（观察性关联）与干预问题（因果机制），引入 Neyman-Rubin 潜在结果框架：一致性假设、事实/反事实结果、基本问题（无法同时观察所有潜在结果）。随后定义核心估计量：条件期望潜在结果 CEPO（式2）、平均处理效应 ATE（式3）、条件平均处理效应 CATE（式5）、连续处理下的个体处理-反应曲线 ITRC（式6）。在数据生成过程（DGP）层面，文章用 P 表示含潜在结果的联合分布，用 P_obs 表示只能观察到的 (X,T,Y) 边际，定义 do 算子、观测等价类（式12）与可识别性（式13），说明仅靠 P_obs 一般不足以识别因果效应。为使效应可识别，文章给出强可忽略性（式14）、positivity（式16-17）、SUTVA 与后门调整（式18），并简要提及工具变量/部分可识别与前门设定。为给 CFM 训练先验提供生成机制，文章介绍贝叶斯网络与结构因果模型 SCM（式20-21），说明通过替换结构方程 T=f_T(pa(T),U_T) 为 T=t 即可模拟干预、生成事实与反事实数据。在贝叶斯推断部分，文章定义后验预测分布 PPD（式22）、CEPO-PPD、ATE-PPD、CID-PPD（式23）与 CDTE-PPD（式24），区分认知不确定性与随机不确定性。最后介绍 PFN：transformer 通过 prior-data loss（式26）直接从数据集映射到 PPD，其损失等价于真实 PPD 与 q_θ 的前向 KL，训练依赖可采样的合成先验与上下文学习；PFN 在表格数据上的成功催生了表格基础模型（TFM）。这一整套背景把“CFM = 因果版 PFN/摊销贝叶斯推断”的理论链条铺好。

机制核心是把因果推断转化为 learning-to-learn 问题：CFM 是预训练 transformer，在从“可能 DGP 与因果机制先验”采样出的任务上训练，推理时利用标注样本做上下文学习，对未见数据集执行摊销贝叶斯推断。由于所提供全文第3节正文缺失，以下机制主要依据第1、2.5、2.6、4节的正式定义重建。 训练目标。CFM 继承 PFN 的 prior-data loss。设任务 φ 有先验 p(φ)，从 P^φ 采样监督数据集 D_sup 与查询 (x,y)，模型输出 q_θ(y|x,D_sup)。损失为 L_pred(θ)=E_{φ∼p(φ), D_sup∪{x,y}∼P^φ}[-log q_θ(y|x,D_sup)]（式26）。关键性质是它等于真实 PPD 与 q_θ 的前向 KL 散度，因此无需显式计算后验或真实 PPD，只需在正确标签处评估 q_θ；用 SGD 更新 θ。CFM 把该目标迁移到因果量：查询从普通标签 y 变为潜在结果、CEPO 或处理效应，上下文从监督数据集变为观测数据集 D_obs={(x_n,t_n,y_n)}。 数据先验与生成机制。为避免收集海量真实因果数据集，CFM 依赖可无限采样的合成先验。SCM（式21）提供 DGP 采样器：每个节点 Z_k=f_{Z_k}(pa(Z_k),U_k)，外生变量 U_k∼P_U；按 DAG 拓扑顺序传播即得观测数据 P_obs(X,T,Y)。干预 do(T=t) 通过把结构方程 T=f_T(pa(T),U_T) 替换为常数 t 实现，从而可生成干预/反事实样本以计算监督信号。训练时每个 batch 重新采样先验任务与数据集，使模型暴露于高度多样的 DGP；先验覆盖的机制空间（如强可忽略性/后门设定、不同函数族与噪声、选择机制）决定 CFM 的泛化边界。 架构与推理。transformer 的注意力使查询 token（目标协变量 x 与处理 t 的嵌入）能够关注上下文 token（D_obs 中标注样本的嵌入），实现无需权重更新的上下文学习。冻结的 CFM 在推理时直接输出某个因果量的后验预测分布，而非标量点估计。不同 CFM 选择不同 PPD 作为输出目标，这也是其设计分化的关键： Do-PFN 近似 CID-PPD（式23）。为得到 CATE，先取模型近似 q_θ 的均值作为潜在结果点估计：μ̂_t(x)=E[q_θ(y|x,t,D_obs)]（式34，t=0,1），再令 τ̂(x)=μ̂_1(x)−μ̂_0(x)（式5）。 CausalPFN 近似 CEPO-PPD。点估计取近似 CEPO-PPD 的均值：μ̂_t(x)=E[q_θ(μ_t(x)|x,t,D_obs)]（式35），再作差得 CATE。 CausalFM 直接建模 CDTE-PPD，用 5 组分高斯混合：q_θ(Y(1)−Y(0)|X=x,D_obs)=Σ_{k=1}^5 w_k N(Y(1)−Y(0)|μ_k(x),σ_k²(x))（式36），CATE 为 τ̂(x)=Σ_k w_k μ_k(x)。这使 CausalFM 天然以处理效应差为对象，而非分别估计两个潜在结果。 算法直觉。预训练把“对 DGP 后验的积分”摊销进权重：训练中每个上下文样本都隐式要求模型从有限观测反推生成机制。推理时，给定 D_obs，transformer 在上下文中对与数据相容的 DGP 做隐式贝叶斯加权，输出 PPD 同时提供点估计与不确定性。文中强调 CFM 输出 PPD 使不确定性量化与预测在同一前向传播中完成，区别于 MCMC、变分推断或神经后验估计等先近似后验、再算 PPD 的两阶段方法。 实验中的数据处理与比较。基准采用 RealCause-Lalonde 半合成数据：拟合生成模型后，把模拟结果生成为“仅观测协变量的显式函数”，从而按构造保证条件可忽略性 Y(1),Y(0)⊥⊥T|X，同时保留真实协变量与选择分布。三个 CFM 均以冻结、开箱即用的预训练 checkpoint 应用，不做参数或超参调优；所有 CFM 接收相同标准化的协变量与结果。传统基线则通过 EconML 与 FLAML AutoML 对每个 nuisance、每个估计器、每个实现、每个队列独立调参，并采用强最终阶段（如 DML 线性模型、DR-Learner 的因果森林）。指标为 PEHE（个体异质性效应的 RMSE）与 ATE 相对误差（式33），运行时间为从观测数据到预测的 CPU wall-clock：传统方法含训练+调参+推理，CFM 仅含推理，因为预训练已被摊销。这一不对称设计直接服务于“实践者实际耗时”的论点，但也带来公平性争议（见审稿视角）。

实验把三个冻结、开箱即用的 CFM（Do-PFN、CausalPFN、CausalFM）与一组经 EconML 和 FLAML AutoML 高度调优的经典因果估计器（S/T/X-Learner、IPW、DR-Learner、DML）放在 RealCause-Lalonde 的两个半合成队列上比较，指标为 PEHE、ATE 相对误差与 CPU wall-clock 运行时间，并在多个半合成实现上以均值±标准误报告。总体结论是：CFM 在未接触 Lalonde 分布、未调参的情况下与经典估计器竞争；一个 CFM 的平均秩在 CFM 中最低，紧随最强 meta-learner 并在一个队列上反超；另外两个 CFM 与调优的 X/S-Learner 相当。专门的 ATE 方法 IPW 在 ATE 相对误差上最强，但不给个体级估计。运行时间上，CFM 显著快于传统“训练+调参+推理”流程，摊销带来可观加速。群体效应恢复方面，一个 CFM 恢复良好，另两个在 ATE 上表现出近乎系统性的向零收缩，且标准误很小。

1. 评估数据为半合成的 Lalonde-CPS（16,177 个样本）与 Lalonde-PSID（2,675 个样本）队列。

   We evaluate on the semi-synthetic Lalonde-CPS (16,177 samples) and Lalonde-PSID (2,675 samples) cohorts

2. 全部指标在 10 个独立半合成实现上聚合，报告为均值±标准误。

   To account for sampling variability in the generative process, all metrics are aggregated across 10 independent semi-synthetic realizations and reported as mean ± \pm standard error.

3. 经典基线每个 nuisance、每个估计器、每个实现、每个队列分别用 FLAML AutoML 调参，预算 900 秒、3 折交叉验证。

   FLAML AutoML (v2.3.5; Wang et al. (2021) ) run independently per nuisance, per estimator, per RealCause realization, and per cohort with a 900-second budget and 3-fold cross-validation.

4. CausalPFN 的 PEHE 为 CPS 8.97×10⁻³、PSID 14.00×10⁻³；ATE 相对误差 0.17/0.24；平均秩 1.75；CPU 中位运行时间 18.4 秒。

   CausalPFN | 8.97 ± \pm 0.06 | 14.00 ± \pm 0.41 | 1.75 ± \pm 0.16 | 0.17 ± \pm 0.03 | 0.24 ± \pm 0.04 | 2.65 ± \pm 0.26 | 00 18.4

5. Do-PFN 的 PEHE 为 CPS 11.96×10⁻³、PSID 20.20×10⁻³；ATE 相对误差 0.88/0.89；平均秩 4.80；CPU 中位运行时间 115.1 秒。

   Do-PFN | 11.96 ± \pm 0.09 | 20.20 ± \pm 0.39 | 4.80 ± \pm 0.21 | 0.88 ± \pm 0.01 | 0.89 ± \pm 0.01 | 6.50 ± \pm 0.30 | 0 115.1

6. CausalFM 的 PEHE 为 CPS 12.34×10⁻³、PSID 22.27×10⁻³；ATE 相对误差 0.94/0.95；平均秩 6.60；CPU 中位运行时间 31.2 秒。

   CausalFM | 12.34 ± \pm 0.02 | 22.27 ± \pm 0.43 | 6.60 ± \pm 0.22 | 0.94 ± \pm 0.00 | 0.95 ± \pm 0.00 | 7.80 ± \pm 0.26 | 00 31.2

7. T-Learner 的 PEHE 为 CPS 9.04×10⁻³、PSID 13.65×10⁻³；ATE 相对误差 0.28/0.04；CPU 中位运行时间 1803.0 秒。

   T-Learner | 9.04 ± \pm 0.08 | 13.65 ± \pm 0.47 | 1.40 ± \pm 0.11 | 0.28 ± \pm 0.04 | 0.04 ± \pm 0.01 | 2.25 ± \pm 0.27 | 1803.0

8. IPW 在 ATE 相对误差上最强（CPS 0.15、PSID 0.08），但不给出个体级估计。

   IPW † | — | — | — | 0.15 ± \pm 0.03 | 0.08 ± \pm 0.02 | 2.05 ± \pm 0.20 | —

9. CausalPFN 在 CFM 中平均秩最低，紧随调优的 T-Learner，并在 Lalonde-CPS 上超过它。

   CausalPFN achieves the lowest average rank among CFMs, closely trailing the extensively tuned T-Learner baseline while outperforming it on Lalonde-CPS.

10. 在 CPU 上，三个 CFM 均比传统模型的训练+调参+推理快 1–2 个数量级，其中 CausalPFN 最快。

    On CPU, all three CFMs tested were 1-2 orders of magnitude faster than training, tuning, and inference with a traditional model, with CausalPFN running fastest on CPU.

11. 摊销表示相对高度优化的 T-Learner 可获得最高约 100 倍的加速。

    Amortization thus represents a speedup of up to 100 × 100\times to get predictions of comparable quality to a highly optimized T-Learner.

12. CausalPFN 在 CPS 上 ATE 相对误差 0.17 恢复总体效应良好，而 Do-PFN 与 CausalFM 接近 1（0.88 与 0.94），且跨队列几乎相同、标准误很小，指向向零收缩。

    CausalPFN recovers the population effect closely (ATE relative error 0.17 0.17 on Lalonde-CPS), while Do-PFN and CausalFM do not: both remain near a relative error of 1 on both cohorts ( 0.88 0.88 and 0.94 0.94 ), recovering only a small fraction of the true contrast.

Novelty：作为方法论文，新颖性低：本文不提出新的模型、训练目标或理论结果，其核心概念（PFN、prior-data loss、SCM 合成先验、CID/CEPO/CDTE-PPD 目标、Do-PFN/CausalPFN/CausalFM）均来自引用工作。作为教程与基准复现，其增量新颖性在于：把 CFM 的形式化链条系统化整理（潜在结果→可识别性→PPD→PFN→三类 CFM 的输出目标对应关系）；在统一半合成基准上用强调参的传统基线比较三个公开 CFM；并公开代码、notebooks 与结果数据。这类“统一框架+可复现基准”对新兴领域有实用价值，但不能算原创性科学贡献。 Soundness：背景与形式化部分较严谨，可识别性、PPD 与 PFN 损失的推导清晰。基准设计有可取之处：半合成生成保证条件可忽略性；对传统基线采用 FLAML AutoML 的 900 秒预算和逐 nuisance 调参，基线强度较高；多实现平均降低随机性。但存在若干问题：其一，所提供全文第3节缺失，核心 CFM 的架构、先验与训练细节无法审计；其二，评估仅在两个半合成后门数据集上进行，外推有限；其三，IPW 不产生个体级 CATE，却与其他方法并列比较，且其 ATE 优势与“CFM 强”的叙事存在张力；其四，运行时间比较不对称，CFM 排除预训练成本，传统方法包含调参，结论依赖该预算设定；其五，仅报告均值±标准误，无显著性检验或置信区间，且部分标准误极小，可能反映半合成任务与确定性/低方差预测，而非真实统计可靠性；其六，“CFMs have demonstrated top performance”等表述强于表中证据（CausalPFN 在 PSID 上落后于 T-Learner）。 Significance：实践与教育意义较高：文章把 CFM 的进入门槛降得很低，公式化的 PPD 目标分类（CID-PPD/CEPO-PPD/CDTE-PPD）有助于研究者理解三类 CFM 的设计差异；公开的基准、notebooks 与结果数据便于复现和二次开发。其实验结论——冻结 CFM 在未调参情况下接近或达到强调优的经典估计器、同时推理快一到两个数量级——对应用者选择工具有实际参考价值，并支持“摊销贝叶斯推断”作为因果估计新路径。但作为综述，其对领域前沿的推进有限；要支撑“基础模型”这一强宣称，仍需在真实观测数据、隐藏混杂、连续/多臂处理与不确定性校准等维度上给出更系统的证据。

（1）提供文本不完整：第3节“Causal Foundation Models”标题后直接进入第4.1节，核心内容缺失，导致无法核实 CFM 的具体先验设计、架构与训练配置，也无法判断“机制”部分重建的准确性。（2）评估范围窄：仅覆盖二元处理、后门/强可忽略性设定、两个半合成 Lalonde 队列；未涉及连续与多臂处理、IV/部分可识别、前门、真实观测数据、高维或非表格模态。（3）不确定性质量未评估：CFM 的主要卖点之一是输出 PPD 并给出不确定性，但实验只评估点估计的 PEHE 与 ATE 相对误差，没有覆盖率、校准或后验质量指标。（4）运行时间比较不对称：CFM 只计推理，传统方法计训练+调参+推理；预训练被摊销不计，而调参预算固定为 900 秒，加速倍数高度依赖这一设定；也未报告 GPU 上的详细对比。（5）仅三个 CFM，且一个候选（Dhir et al. 2025b）因无预训练权重被排除，样本量、协变量维度与处理效应异质性范围有限。（6）统计严谨性不足：仅均值±标准误，无显著性检验、消融、对标准化/数据规模的敏感性分析；部分标准误极小，需警惕半合成任务的低方差与确定性预测。（7）叙事与证据有落差：文中“top performance”“remarkable”等措辞，与表中 CausalPFN 在 PSID 落后 T-Learner、Do-PFN/CausalFM 的 ATE 近于收缩到零的结果不完全一致。

后续工作可从几方面展开。（1）补全并公开第3节核心内容，系统比较三类 CFM 的先验设计、上下文编码、损失目标（CID/CEPO/CDTE-PPD）对样本效率与泛化的影响。（2）把基准扩展到真实观测数据、隐藏混杂与部分可识别/IV 设置，以及连续、多臂处理；第5节提及的 IV-ICL、敏感性分析 PFN 是自然延伸。（3）评估不确定性的校准与覆盖率，将 PPD 与 MCMC、变分推断、神经后验估计在同样预算下对比，检验“同一前向传播给出可靠不确定性”的宣称。（4）公平化运行时间与成本分析：报告 GPU 吞吐、批处理、预训练摊销成本、标准化开销，绘制质量-成本曲线，并考察不同调参预算下传统基线的敏感性。（5）研究合成先验设计（SCM 图分布、机制复杂度、混杂强度、噪声模型）对泛化的作用，探索 CFM 的 scaling laws 与任务多样性。（6）建立统一 leaderboard 与开放权重仓库，把 CFM 拓展到因果发现（第5.3）、生存分析（第5.4）与政策/医学/营销等应用，并验证跨领域迁移。总体而言，本文的教程与基准框架可作为后续严格评估 CFM 的起点，但“foundation”地位的确认需要更大规模、更多设定与不确定性维度的证据。

GAPO 是一篇面向 RLVR 的组相对策略优化改进论文，定位在“固定 IS 裁剪”与“优势/奖励塑形”两条路线之间。它指出 GRPO/GSPO 的统一裁剪边界对稀有正确 rollout 与冗余正确 rollout 施加同一更新上限，从而压制了对探索和新题求解最有价值的梯度。作者从单 prompt 反向 KL 信赖域推导出最优重要性采样比随优势指数增长，据此提出只修改上裁剪边界的自适应裁剪：按组内正确数 c 线性插值，把更多更新空间分配给高优势的稀有正确 rollout。方法保留 GSPO/PGPO 的代理目标与 pass@1 优化，无需奖励塑形，是一个低侵入的即插即用修改。论文的贡献集中在识别裁剪不对称、给出闭式裁剪规则，并在多基座、多任务上验证。

RLVR 用可验证二值奖励训练语言模型，PPO 风格裁剪通过固定 IS 比边界 [1−ε,1+ε] 近似信赖域。GRPO 等组相对方法在每条 prompt 采样 k 个 rollout，正确样本的优势为 A_i=(k−c)/k；c 越小、正确样本越稀缺，优势越大。统一裁剪对不同 c 一视同仁：低 c 稀有正确 rollout 的策略比最快越过边界，却被与高 c 冗余 rollout 相近的比例截断，而后者贡献的学习信号较弱。DAPO 统一放宽上界不能解决“相对宽度”问题，因为问题不在于裁剪的绝对宽度，而在于它对不同组成功度采用同一阈值。信赖域策略优化的单调改进保证可以用反向 KL 表述；在单 prompt 约束下，其最优解形如 π*∝π_old·exp(A/λ)，说明最优 IS 比随优势指数增长。相关探索路线包括直接优化 pass@k、F-GRPO 等难度塑形、GSPO 的序列级 IS、Dr.GRPO 去掉组内标准差归一化，以及 CISPO 的权重裁剪。GAPO 试图不改变 pass@1 目标，而通过裁剪本身维持 IS 比与优势的相关性，从而在不引入 pass@1 漂移的前提下促进探索。

核心问题：在 k 个 rollout、c 个正确的组中，正确 rollout 的优势为 A_i=(k−c)/k。低 c 的正确样本优势大，其重要性采样比 ρ_i 在训练中增长更快；固定裁剪边界使它与高 c 样本在同一阈值处被截断，削弱了用于解决新问题的探索梯度。 推导过程：论文从反向 KL 信赖域约束 max E[ρ_i A_i] s.t. E[D_KL(πθ‖πθ_old)]≤δ 出发，将 batch 级约束退化为单 prompt（state x）约束，写出拉格朗日 L_x=Σ_y πθ(y|x)A(x,y)−λ D_KL(πθ(·|x)‖πθ_old(·|x))。对 πθ(y|x) 求 Euler–Lagrange 导数并置零，得到 log(πθ/πθ_old)=A/λ−1，即最优目标策略 πθ*∝πθ_old·exp(A/λ)；逐 rollout 的最优 IS 比为 ρ_i*=exp(A_i/λ)。论文论证：若某 rollout 的比值超过 ρ_i*，要么违反信赖域，要么挤占其他响应的概率分配，因此裁剪应在 ρ_i* 触发，给出 ε_hi(i)≥exp(A_i/λ)−1。 为得到实用闭式规则：GSPO 的序列级裁剪宽度约为 1e-3，反解 λ≈A_max/1e-3，远大于 A_max（≤1），故可线性化 exp(A_i/λ)≈1+A_i/λ，得到 ε_hi(i)≈A_i/λ=(k−c_i)/(kλ)。将 λ 消去并归一化到 [ε_lo, ε_hi_max]，以 c=k 对应 ε_lo、c=1 对应 ε_hi_max，得到核心式（11）：ε_hi(c)=ε_lo+(ε_hi_max−ε_lo)·(k−c)/(k−1)。因此低 c 的稀有正确 rollout 获得接近最大上界，高 c 的冗余正确 rollout 被压到最小上界；错误 rollout 恒用 ε_lo。作者固定下界 ε_lo，理由是错误 rollout 的惩罚幅度在难题上本身较小，且自适应下界不改变正向探索信号。线性化在序列级 IS 尺度上几乎精确；在 token 级尺度 ε_hi_max=0.28 时偏保守，保持 c 的单调序，相对误差约 2–13%。 目标函数：继承 GSPO 的序列级 IS 比 s_i(θ)=(πθ(y_i|x)/πθ_old(y_i|x))^{1/|y_i|}（式 13），GAPO 仅把裁剪上界变为 ε_hi(c_i)，目标为 E[max(−A_i·s_i(θ), −A_i·clip(s_i(θ), 1−ε_lo, 1+ε_hi(c_i)))]（式 12）。裁剪阈值直接门控 rollout 级序列比，与逐 rollout 信赖域推导一致。 训练与数据细节：三个基座为 Qwen2.5-Math-1.5B、Llama-3.2-3B-Instruct、DeepSeek-R1-Distill-Qwen-1.5B。数学数据为 DeepScaleR 39,202 条去重样本；代码数据为 DeepCoder 24,269 条（SYNTHETIC-1 16,238、TACO 7,432、LiveCodeBench 599）。组大小 k=8。序列级裁剪在 Qwen 上用 (ε_lo, ε_hi_max)=(3e-3, 5e-3)，蒸馏模型用 (7e-5, 3e-4)；token 级用 (0.2, 0.28)。按 Dr.GRPO 不做组内标准差归一化；损失按 token 聚合（总 token 数平均）；优化器 AdamW，学习率 1e-6 常数，weight decay 0.01，梯度裁剪 1.0，KL 系数 0，entropy 系数 0，rollout batch 256，mini-batch 64，训练 10 epochs。基线包括 GRPO、Dr.GRPO、对称/非对称 GSPO，以及优势塑形变体 F-GRPO/F-GSPO；评测覆盖数学推理与代码生成，并报告 IFEval 作为域外指令遵循探针。

论文在数学预训练、通用指令微调与推理蒸馏三类基座上验证，覆盖数学推理和代码生成，并同时报告 pass@1、pass@k、IS–优势相关、clip fraction、消融与种子显著性。结果显示自适应上界裁剪在多数困难基准上改善 pass@1 且不牺牲 pass@k；收益集中在基座通过率低、稀有正确样本稀缺的任务，而在容易任务上收益缩小甚至个别回退。序列级自适应裁剪优于 token 级；增大组大小能扩大与固定裁剪的差距；干预实验把差异归因于裁剪本身，而不是裁剪前的混淆因素。总体看，GAPO 作为只改裁剪边界的插件方法，在多种设置下保持稳定，但优势幅度与统计检验覆盖仍有限。

1. 在 DeepSeek-R1-Distill-Qwen-1.5B + DeepScaleR 上，GAPO 的 AIME24 为 44.0/76.7、AIME25 为 30.8/56.7，均高于 GSPO（41.3/73.3、29.4/50.0）与 F-GSPO（40.2/73.3、29.6/46.7），AMC 为 83.44/95.0。

   In-domain | Base | GSPO | F-GSPO | GAPO AIME24 | 28.5/60.0 | 41.3/73.3 | 40.2/73.3 | 44.0/76.7 AIME25 | 22.3/43.3 | 29.4/50.0 | 29.6/46.7 | 30.8/56.7 AMC | 71.4/ 95.0 | 79.2/ 95.0 | 82.2/ 95.0 | 83.44/95.0

2. 在 DeepCoder 代码训练上，GAPO-DeepCoder-1.5B 的 LCB-v5 pass@1 为 24.8，高于复现 DeepCoder 的 22.4 与基座 16.9；HumanEval+ 为 71.7，高于 68.2 与 58.3。

   LCB-v5 (8/1/24-2/1/25) | 16.9 | 22.4 | 24.8 HumanEval+ | 58.3 | 68.2 | 71.7

3. 在 Qwen2.5-Math-1.5B 上，GAPO 的数学平均 pass@1/pass@256 为 37.9/76.3，AIME24 pass@1 为 17.9；GAPO-token-IS 的 AIME24 pass@1 为 14.6、IFEval 为 20.9，高于基线 11.4–19.4。

   Table 3 shows GAPO achieves the best average pass@1 / pass@256 ( 37.9 / 76.3 37.9/76.3 ) among GSPO variants, and the highest AIME24 pass@1 ( 17.9 17.9 , vs. 15.4 15.4 for F-GSPO and 16.2 16.2 for asymmetric GSPO). At the token-IS clip range, GAPO-token-IS outperforms GRPO, F-GRPO, and Dr.GRPO on average and leads pass@1 on five of the six math benchmarks, with the largest gains on AIME24 pass@1 ( 14.6 14.6 ) and IFEval ( 20.9 20.9 vs. 11.4 11.4 – 19.4 19.4 for the baselines).

4. 在 Llama-3.2-3B-Instruct 上，GAPO 平均 pass@1/pass@256 为 24.1/63.4，AIME24 pass@1 为 14.6，而固定裁剪 GSPO 变体为 10.7–14.4；IFEval 为 56.4，追平 F-GRPO。

   GAPO again leads on average pass@1 / pass@256 ( 24.1 / 63.4 24.1/63.4 ) and improves AIME24 pass@1 over the fixed-clip GSPO variants ( 14.6 14.6 vs. 10.7 10.7 – 14.4 14.4 ). GAPO also achieves the best IFEval ( 56.4 56.4 ), tying F-GRPO.

5. 种子显著性检验中，GAPO 相对每个基线至少在 6 个基准中的 3 个上显著。

   These gains are significant on at least 3 of 6 benchmarks against every baseline (Table 6 , 7 ).

6. 跨三个基座，GAPO 提升 pass@1 且不牺牲 pass@k；AIME24 相对非对称 GSPO 增益 +1.72（p<0.001），但 AMC 相对该基线回退。

   Across all three base models, GAPO improves pass@1 without sacrificing pass@ k k . Gains concentrate on the harder benchmarks (AIME24, +1.72 over asymmetric GSPO, significance p<0.001 in Table 7 ) and shrink on easier ones, where AMC regresses against the same baseline (Table 3 , 7 ).

7. 消融显示序列级自适应裁剪优于 token 级自适应裁剪：AIME24 pass@1 为 17.9% 对 14.6%，数学平均 pass@1 为 37.9% 对 37.6%。

   Seq-IS vs token-IS. In Table 3 , the more principled sequence-level adaptive IS clipping (AIME24 pass@1 17.9 % 17.9\% , math average pass@1 37.9 % 37.9\% ) outperforms token-level adaptive IS clipping (AIME24 pass@1 14.6 % 14.6\% , math average 37.6 % 37.6\% ).

8. 组大小消融中，k 从 4 增至 8 扩大 GAPO 相对 GSPO 的差距，继续增大无额外收益但更稳定。

   Increasing k k from 4 4 to 8 8 further widens the performance gap between GAPO and GSPO (Figure 6 ). On the math training data, increasing k k beyond 8 8 shows no noticeable gain, but the training was more stable.

9. 晚期训练的问题覆盖分析中，GAPO 在 AIME24 上保留 10.9 个 solve rate >5% 的问题，而基线为 6.7–8.6。

   While baselines progressively lose solve rates on medium-difficulty AIME24 problems, GAPO retains 10.9 problems with > 5 % >5\% solve rate in late training compared to 6.7-8.6 for baselines.

10. 从 GSPO-asym 第 600 步检查点切换为自适应裁剪后，GAPO 分支维持更高的优势–IS 相关与 Pass@256，而统一裁剪分支下降，排除裁剪前混淆因素。

    we branch from the GSPO-asym step-600 ckpt, where uniform clipping starts firing aggressively, and switch to adaptive clipping. The GAPO branch sustains advantage-IS correlation and Pass@256 while the uniform branch declines, ruling out earlier factors (e.g. reduced advantage spectrum). (Figure 7 )

Novelty：新颖性中等偏上。将自适应裁剪直接建立在反向 KL 单 prompt 最优 IS 比的闭式推导上，并把二值奖励下离散优势归结为按组内正确数 c 线性插值，这一机制简洁、可解释且实现成本低。与 DAPO 的统一放宽上界、CISPO 的权重裁剪、F-GRPO 的优势塑形相比，GAPO 的差异清晰：它不改变代理目标、奖励或优势，只调上裁剪界，因此能继续直接优化 pass@1。不过其关键组件（GSPO 序列级 IS、非对称裁剪、组相对优势）均为已有，真正的新意集中在“裁剪边界随优势线性变化”这一处；理论推导也基本复用 Chen et al. 的反向 KL 解，原创性主要体现在问题识别与工程化规则。 Soundness：推导链条清晰，但存在一个被作者承认的关键假设缺口：式（5）的 KL 是 batch 平均约束，λ 原则上应在 prompt 间共享，作者却将约束退化为单 prompt 精确约束，再令 λ 为全局常数，因此最终式（11）只依赖 c。这一简化使理论严格性弱于其表述，但 IS–优势相关曲线与干预实验提供了经验支撑。线性化在序列级尺度近似精确、token 级保守的说明合理；固定下界的选择有直觉论证但未系统消融。实验上，主表多为单次运行，种子显著性检验仅覆盖一个基座，且模型规模较小；不过干预实验、超参扫描与多种基线的匹配裁剪宽度设计降低了混淆风险。总体方法内部一致，经验证据足以支撑核心主张，但理论证明和多配置稳健性仍有提升空间。 Significance：实践意义较好：实现简单、即插即用，不引入奖励塑形或 pass@k 直接优化带来的部署指标漂移，跨模型族和数学/代码任务稳定改善 pass@1 且保留 pass@k，收益集中在困难任务。这对 RLVR 社区具有直接可用性，并为裁剪边界设计提供了一个可复用的反向 KL 视角。学术影响目前受限于模型规模（1.5B–3B）、单次运行与基准波动，尚未证明在更大模型、更长训练或更广泛 RLVR 场景中持续；但其问题定义清晰、改动成本低，后续被组合或扩展的可能性较高。

作者自述的局限：只自适应上界 ε_hi，下界 ε_lo 固定；单 prompt 信赖域分析与 batch 级 KL 约束不一致，λ 被当作全局常数。其他局限包括：主表单次运行，种子检验仅覆盖 Qwen 设置；模型规模小，未验证 7B 以上模型或非数学/代码的 RLVR 任务；ε_hi_max 仍依赖基座与 IS 尺度的人工选择，且原本为固定裁剪调参；组大小 k 与 ε_lo 的联合选择未系统搜索；token 级线性化误差 2–13% 虽偏保守，但可能限制上限；没有与 pass@k 直接优化、CISPO、DAPO clip-higher 做更多正面组合比较；优势不做组内标准差归一化的选择沿用 Dr.GRPO，但该选择与自适应裁剪的交互未被消融。

后续工作可包括：1）联合自适应下界 ε_lo(c)，使错误 rollout 的惩罚空间也随 c 变化，并研究其对探索与多样性的影响；2）把 λ 作为 batch 级对偶变量，推导多 prompt 下的真实最优裁剪，弥合单 prompt 假设；3）在 7B–70B 模型、更长 horizon、agentic/工具调用 RLVR 上验证；4）对全部配置做多种子检验与方差分解；5）将 GAPO 与 pass@k 塑形、CISPO、DAPO clip-higher 正交组合，检验是否互补；6）从 IS 漂移统计自动调度 ε_hi_max，减少人工调参；7）理论刻画二值奖励下 clip fraction 与探索–利用权衡，以及 ε_lo 对熵/多样性的影响。