2026-09-28

本文定位在"联合音视频生成的强化学习后训练"这一环节，而非改进生成架构或预训练。作者以 LTX-2.3（22B 双流交互式音视频模型）为基座，把 Flow-GRPO / GDPO 的在线奖励优化迁移到音频+视频的耦合生成任务，并指出朴素地把两塔当作一个联合策略会带来三类问题：异构奖励纠缠、同步奖励受"对侧模态样本"难度污染、联合更新的显存与信用分配代价。AV-GRPO 的核心主张是"把耦合的多模态偏好学习拆成一组交替的条件单模态子问题"：锚定一个模态的完整轨迹，只采样并更新另一个模态，从而让组内同步比较受控、信用指向唯一塔、且可为两塔设置不同超参。配合自建的 5DAV 五维解耦训练集，论文在 JavisBench 与 VABench 上以 LoRA 和全量微调两种设定验证效果。整体属于"训练框架 + 数据集"的组合贡献，理论附录试图用条件 Gibbs 核与 Dobrushin 收缩为交替锚定优化提供收敛性支撑。

联合音视频生成近年快速发展，但生成结果常出现单模态伪影、文本-模态不对齐、以及声画事件不匹配或漂移失同步。仅靠扩大预训练不直接针对这些失败模式。奖励引导的后训练（DDPO、DPOK、Flow-GRPO、GDPO 等）把感知与语义评测器转成学习信号，在语言与视觉生成中有效，因此作者尝试将其扩展到联合音视频生成。 文中把最自然的基线描述为：对每个 prompt 采样成组配对的 rollout，分别评测音频质量/对齐、视频质量/对齐和跨模态同步，把异构奖励聚合成组内相对优势，再同时更新两塔。作者指出该基线有三个困难。其一，混合奖励让优化与公平比较变难：音质、画质、文本对齐与同步可能偏好不同候选；更隐蔽的是同步奖励依赖"被采样的对侧模态"，例如把音频配到静止场景比配到频繁视觉事件更容易，因此高分可能反映"对手模态更简单"而非同步更好。其二，联合更新显存开销高且信用分配错误：两塔都需要反向与训练状态，但共享的 advantage 可能主要来自某一模态，去噪全程的双塔交互又使"谁该为改进负责"更模糊。其三，两模态优化动力学不同：预训练能力、潜空间尺度、奖励敏感度、学习速度都不同，共享目标与噪声强度会偏袒一方或使另一方不稳定。 方法层面，AV-GRPO 交替执行"音频锚定的视频优化"与"视频锚定的音频优化"。锚定 rollout 控制比较条件并解耦奖励；轨迹锁定与塔冻结降低显存、把信用导向目标塔；超参数解耦适配两塔动力学。为可控训练，作者构建 5DAV 训练集（5,760 条 prompt，沿五个独立维度解耦）。评测用 JavisBench（单模态保真度、文本-模态对齐、声画语义一致性、声画同步四类指标）与 VABench（专家模型客观评测 + MLLM 主观评测两范式），对比 LTX-2.3 与 GDPO。 理论背景部分在附录 A 展开：给定文本条件 c，视频/音频完整去噪轨迹空间分别为 X/Y，参考联合测度 P0，联合 KL 正则化目标 J(P)=E_P[r]−βD_KL(P‖P0)；其唯一最优解是指数倾斜测度 P*，条件子问题的最优核 K_v*、K_a* 自动相容；在 Dobrushin 收缩 ρ=δ_vδ_a<1 下，交替 Gibbs 扫描有唯一平稳分布 P* 并几何收敛。这为"轮流固定一塔、优化另一塔"的做法提供了理想化支撑，但实际 GRPO 更新只是对精确条件核的近似。

AV-GRPO 建立在 Flow-GRPO 之上：把确定性 rectified flow ODE 改写成保边缘分布等价的 SDE，噪声系数 σ_t=a√(t/(1−t))，用 Euler-Maruyama 离散得到带高斯噪声的转移分布，再以组内标准化 reward 作 advantage 做在线 GRPO 更新。AV-GRPO 不一次更新两塔，而是把该更新逐塔施加。 一、交替锚定 rollout（核心机制） 设锚定模态 m∈{A,V}，目标模态为 m̄。对 prompt c，先用两塔采样一条完整锚定轨迹 τ^m=(x_1^m,…,x_0^m)，随后独立采样 G 条目标模态轨迹。关键处是：每一步把锚定状态 x_{anc,t}^m 注入目标塔的跨模态注意力，替代该步"m 模态"的状态；目标塔按式 (5) 的条件高斯转移推进，得到 G 个最终配对 (x_{anc,0}^m, x_0^{m̄,i})。这使优化对象从联合分布变成"给定锚轨迹下的条件策略"。 奖励解耦：每个配对只保留目标模态的质量+文本对齐奖励 R_{m̄} 与同步奖励 R_sync；锚定模态自身的奖励在组内是常数，经过组中心化后自动消去，见式 (6) R_i=R_{m̄}(x_0^{m̄,i})+R_sync(x_0^{m̄,i}, x_{anc,0}^m)。直觉上，同步难度"锚定侧被固定"：组内所有目标样本共享同一音频（或同一视频），因此同步分数的差异只来自目标轨迹，比较变得公平；跨组再刷新锚，避免只在一个对手模态上训练。作者强调这不只是"删掉一个奖励项"，而是改变被优化的条件策略。式 (7) 写出固定锚轨迹下的 KL 正则化条件子问题：L_{m̄}=E[R_{m̄}+R_sync]−βD_KL(π(·|τ_anc^m,c)‖π_ref(·|τ_anc^m,c))。视频相与音频相解两个对称的条件子问题。 二、轨迹锁定与塔冻结 同一锚轨迹在 rollout 与其策略更新期间被复用；冻结 θ_m、只更新 θ_{m̄}，只保留活动塔的梯度与优化器状态，锚塔只需提供固定跨模态条件。每步切换 n=4 步换塔。式 (8) 给出条件 GRPO 目标：对 G 条轨迹、T 个时间步，用 current-to-old 条件转移概率比 r_t^{m̄,i}、clip(1−ε,1+ε) 截断、组内优势 Â^{m̄,i}，并减 β·D_KL(π_θ^{m̄}‖π_ref^{m̄})；当前策略与参考策略都以锚为条件。成本收益是：锚塔在当相无需反向激活与优化器更新；目标塔在所有 G 次比较中面对同一锚，奖励波动只反映自身采样。附录 A 给出理想化对应：在共同参考联合律、有界奖励与 ρ=δ_vδ_a<1 的 Dobrushin 收缩下，交替使用精确条件 Gibbs 核 K_v*、K_a* 的 systematic-scan 链有唯一平稳分布 P*（联合 KL 最优），且两相几何收敛。 三、自适应噪声裁剪（ANC） σ_t 在 t→1 处增大，粗时间网格下随机增量可能淹没潜变量。式 (9) 对噪声标准差设阈值 τ：s_t=σ_t√|Δt|，λ_t=min(1, τ/(s_t+δ))，σ̃_t=λ_tσ_t；式 (10) 把 σ̃_t 同时替换随机项与漂移修正项（随机项按 λ_t、漂移按 λ_t² 缩放）。不触发裁剪时退化回原始更新。配合 15 步采样，在较大噪声下稳定训练。 四、超参数解耦与训练稳定性 两塔使用独立的噪声强度：视频 a_V=0.02、音频 a_A=0.8（σ_t=a√(t/(1−t))）。理由是噪声太小探索不足、太大破坏去噪。作者观察到原始 Flow-GRPO 目标下视频塔几轮后过曝：控制亮度与细节的后期去噪阶段梯度弱，仅调 KL 系数无法解决。因此视频塔采用 LongCat-Video 风格逐步重加权，式 (11) 在策略项与 KL 项上乘 λ_policy(t,Δt)=√(t/(Δt(1−t))) 与 λ_KL(t,Δt)=t/(Δt(1−t))；音频塔保留原始权重。 五、奖励构成与训练数据 奖励模型：视频侧用 VideoAlign（质量）、CLIP（视频-文本对齐）、DeSync（声画同步，取负）；音频侧用 Audiobox Aesthetics（质量）、CLAP（音频-文本对齐）、DeSync（取负）。按 GDPO 思路，视频分=标准化 VideoAlign + CLIP + 负 DeSync，音频分=标准化 aesthetics + CLAP + 负 DeSync，再组内标准化得到 advantage；音频另有 CLAP 守卫：当组均 CLAP 低于阈值时只用对齐 advantage，防止质量/同步提升掩盖 prompt 保真度损失。 5DAV 沿五个独立维度解耦：语义层级 W（实体/场景/事件三级）、声源类型 H（人声/环境物体声/音乐/混合四类）、同步难度 D（无关/类别匹配/帧级同步/物理因果同步四级）、时序复杂度 T（单事件/多事件两级）、指令粒度 C（弱/中/强三级）。笛卡尔积产生 3×4×4×2×3=288 个正交类别，每类 20 条 prompt，共 5,760 条；各维度采样比例可按训练阶段调节。 训练配置：LoRA 与全参数均在单节点八张 NVIDIA A800 80GB 上运行；LTX-2.3 22B 生成 544×960、97 帧、24 FPS、15 步去噪；先更新视频塔，每 4 步切换活动塔。全参数后训练能在八卡 A800 上完成，得益于塔冻结减少反向与优化器状态。

主实验在 JavisBench 与 VABench 上对比 LTX-2.3 基座与 GDPO，覆盖 LoRA 与全量微调。AV-GRPO 在绝大多数指标上相较两个基线持续提升，全量微调整体最优；感知质量、文本-模态对齐、跨模态一致性与同步均有广泛增益，其中同步与跨模态一致性增益最为突出。LoRA 与全量各有局部优势，也存在个别指标略低于基座的情况（视频质量与视觉真实感相关指标），说明不同模态与训练制度之间存在权衡。与 GDPO 的对比集中在跨模态指标上，验证"控制参照模态"对学习信号的价值。消融表明：5DAV 的五维解耦与难度分级相对 VGGSound 更有价值，删除同步难度或指令粒度的最易/最难子集均带来可观测变化；交替式塔优化显著有益，四步切换在总体平衡上较好。冻结塔策略使 22B 模型的全参数后训练可在有限显存节点上完成。

1. 5DAV 由五维笛卡尔积构成 288 个正交类别，每类 20 条 prompt，共 5,760 条训练样本。

   The five-dimensional decomposition yields 3 × 4 × 4 × 2 × 3 = 288 3\times 4\times 4\times 2\times 3=288 orthogonal categories, with 20 prompts generated per category, resulting in a total of 5,760 data samples.

2. 训练硬件为单节点八卡 NVIDIA A800 80GB；LTX-2.3 22B 生成 544×960、97 帧、24 FPS，15 步去噪，先更新视频塔且每 4 步切换。

   All LoRA and full-parameter runs use a single node of eight NVIDIA A800 80 GB GPUs. LTX-2.3 22B generates 544 × 960 544\times 960 clips of 97 frames at 24 FPS with 15 denoising steps. The video tower is updated first, and the active tower switches every four steps.

3. 全量微调把 JavisBench 的 AQ 从 5.097 提升到 5.798，VABench 的 Audio Aesthetics 从 3.319 提升到 3.631。

   the full fine-tuned model improves AQ on JavisBench from 5.097 to 5.798 and Audio Aesthetics on VABench from 3.319 to 3.631 over LTX-2.3

4. 语义对齐上，全量微调把 JavisBench 的 CLIP 从 0.318 提升到 0.327，CLAP 从 0.408 提升到 0.468。

   it boosts CLIP on JavisBench from 0.318 to 0.327 and CLAP from 0.408 to 0.468

5. LoRA 与全量各有取舍：LoRA 的 CLIP 0.330 高于全量 0.327、DeSync 0.554 低于全量 0.607；但 LoRA VQ 5.816 低于基座 5.855，全量 VABench visual-realism 4.395 低于基座 4.399。

   Full fine-tuning yields the highest JavisBench AQ and AV-IB scores (5.798 and 0.247), while LoRA attains a slightly higher CLIP score (0.330 versus 0.327) and a lower DeSync value (0.554 versus 0.607). The improvements are therefore broad rather than uniform: LoRA’s VQ is 5.816, below the base model’s 5.855, and the full model’s VABench visual-realism score is 4.395 versus 4.399 for the base model.

6. 相比 GDPO，全量 AV-GRPO 把 JavisBench AV-IB 从 0.224 提升到 0.247、JavisScore 从 0.202 提升到 0.222、DeSync 从 0.708 降至 0.607；VABench 上 Lip Sync 从 1.439 提升到 1.646、DeSync 从 0.726 降至 0.542。

   Compared with GDPO, AV-GRPO (full) raises JavisBench AV-IB from 0.224 to 0.247 and JavisScore from 0.202 to 0.222, reducing DeSync from 0.708 to 0.607. On VABench, its Lip Sync increases from 1.439 to 1.646 and DeSync decreases from 0.726 to 0.542.

7. 消融显示，在当前配置下每四步切换活动塔取得相对最优的整体平衡。

   Under our current configuration, switching every four steps achieves relatively optimal performance.

Novelty：核心新颖点在于把多模态联合生成的后训练问题显式建模为"条件单模态子问题"的交替求解：用完整锚定轨迹固定对侧模态、组内只变化目标模态、并冻结锚塔。与 GDPO 只做逐奖励标准化不同，AV-GRPO 触及了跨模态信用分配与同步难度混杂这一此前未充分解决的问题。轨迹锁定与塔冻结既有算法意义（信用归因）又有工程意义（显存），还附带理想化的 Gibbs 收敛理论，概念上比简单拼接 GRPO 更完整。5DAV 的五维难度解耦也有一定新意，但本质上是 prompt 组织方案，工程性大于科学性。总体 novelty 中等偏上：机制组合新颖，但各部件（Flow-GRPO、LongCat-Video 重加权、GDPO 标准化、ANC）均来自现有方法，没有根本性的新算法原语。 Soundness：方法与动机自洽，技术路线清晰，主实验使用两个公开基准、多指标、多基线，并区分 LoRA 与全量。附录 A 的数学推导较严谨，KL 变分恒等式、条件核相容性与 Dobrushin 收缩的证明链条完整。但严谨性有边界：理论要求精确条件 Gibbs 核、H2 的非干扰更新、以及 ρ=δ_vδ_a<1 的强收缩假设，实际 GRPO 的截断/clip、有限样本、塔参数相互影响都使这一对应关系相当弱，论文未给出近似误差分析。实验层面，若干消融（5DAV 对比 VGGSound、D/C 难度删除、切换间隔）只以图 3 形式报告、无具体数值，且主表里存在 VQ、visual-realism 等指标的轻微回退，说明提升并非完全均匀。奖励模型与评测指标高度同源（如 DeSync 既作训练 reward 又作评测），存在循环评测风险。整体 soundness 中等：设计合理、结论与证据大体相符，但理想化理论与近似实践之间、以及消融的定量透明度上仍有欠缺。 Significance：实践意义主要在于：为联合音视频模型的 RL 后训练提供了一种可规模化、显存友好的范式，塔冻结使 22B 全参数后训练在八卡 A800 上可行，这对社区有直接工程价值；同步与跨模态一致性指标的显著提升说明锚定比较确实改善了学习信号质量。贡献还提供了可复用的 5DAV 难度分解视角，便于定位模型弱点。但其影响力受限于：仅在 LTX-2.3 一个基座验证，评估指标增益部分较小且有个别回退，且训练/评测奖励同源可能削弱结论的普适性。因此 significance 中等：对"联合 AV 生成的 RLHF/GRPO"这一新兴子方向有示范作用，但尚不足以成为通用基线的证据。

1) 理论-实践鸿沟：附录 A 假设精确条件最优核、非干扰更新与 Dobrushin 收缩，实际训练是有限样本、截断近似的 GRPO，且冻结仅针对梯度与优化器状态、锚塔分布仍会随另一塔更新而漂移，ρ<1 未必成立；论文没有把这些理想条件与真实算法误差衔接起来。 2) 单基座验证：只在 LTX-2.3 上做 LoRA 与全量实验，无法说明该范式对其他双流/统一 AV 模型（JavisDiT、UniVerse-1 等）的普适性。 3) 奖励循环：训练用 VideoAlign/CLIP/DeSync/CLAP/Audiobox，评测也大量使用 CLIP、CLAP、DeSync、AV-IB 等同源模型，可能优化的是代理指标而非真实感知质量；缺乏人类评估。 4) 消融透明度不足：5DAV 对比 VGGSound、同步难度与指令粒度删除、切换间隔等关键消融只出现在图 3，未给数值表，难以独立复核"难度分级贡献"的大小与显著性。 5) 非均匀提升：LoRA 的 VQ（5.816 vs 5.855）与全量 visual-realism（4.395 vs 4.399）低于基座，说明锚定与冻结在个别质量维度上有代价；文中只做定性解释，未分析成因或提出缓解。 6) 5DAV 规模与真实性：5,760 条 prompt 由维度笛卡尔积生成，覆盖面有保证，但分布是人为构造的，可能偏离真实长尾场景；未报告数据质量过滤或 prompt 生成细节的充分描述。 7) 推断协议未明确：训练使用锚定交替采样，推断时是否也采用全轨迹交替重采样、额外成本与收益如何，正文未充分交代。 8) 只关注 reward 组合与超参的塔级解耦，未深入不同优化器/学习率/梯度裁剪的解耦，探索尚不完全。

可沿以下方向推进：(a) 在多基座（JavisDiT、UniVerse-1 等）上复现，检验锚定-冻结范式是否随架构转移，并报告显存/吞吐的定量收益；(b) 用非训练奖励的独立评测（人类评价、新的同步指标、事件边界对齐等）打破训练-评测循环，研究 DeSync 等 reward 的 reward hacking；(c) 把理论从"精确条件 Gibbs 核"推广到近似、截断 GRPO 的误差界，或至少给出 ρ<1 假设的经验估计，弥合理想化收敛与实际优化；(d) 把消融做成数值表，报告各难度删除/切换间隔的显著性，并尝试用 5DAV 的可调采样比例设计课程式训练（如先同步容易后物理因果同步）；(e) 对 VQ/visual-realism 回退做机制性分析（是否由 KL 重加权、锚定分布偏移或奖励权重引起），引入质量约束或 adaptive reward margin；(f) 探索两塔在优化器、学习率、梯度裁剪层面的进一步解耦，以及 ANC 阈值 τ 的自适应化；(g) 明确推断协议并控制成本，比较训练期交替采样与推断期全轨迹交替重采样的差异。

本文定位为对齐失败检测器的评估与基准工作，而非提出新的检测模型。它把 TypeSafe 的商业强化学习校准决策（RLCD）模型 Jev（jev-1.13.0）当作零样本检测器，回答“它能否检测对齐失败、何时失效、为何失效”，并贡献 RLCDAlignBench：覆盖十类对齐失败、44 个基准、7193 个检测实例、5 个 2–7B 目标模型。核心立场是分离“问什么”与“看什么”：许多对齐失败是关系性的（谄媚相对用户信念、欺骗相对模型自身信念、提示注入相对工具输出中的隐藏指令），只给响应可能缺少定义失败的参照。据此，作者在问题措辞/答案类型与状态字段两组变量上做配对实验，并用 split-half 选择协议消除“从多问题里挑最好”的选择膨胀。它相对生成式法官与 Llama Guard 式单标签概率读数的关键差异，是单次调用同时回答多个类型化问题并给出校准概率，从而把检测成本摊薄到一个请求。

检测对齐失败服务于两个场景：部署时筛查模型输入/输出/轨迹，以及对齐研究中给基准和缓解措施打分。现有检测器大多按“每个标准一次解码”运行：生成式语言模型被用作法官，返回需要解析的文本裁决；微调安全分类器或读取 token 概率的方法（如 Llama Guard 的 P(unsafe)、G-Eval 的概率加权评分）虽然给出分数，但每次调用仍只对一个标签或标准打分，因为概率是从一个裁决 token 上读出的。RLCD（reinforcement learning for calibrated decisions，注意不是“reinforcement learning from contrastive distillation”）被引入来消除这一逐标准成本：RLCD 模型对每个类型化问题返回带校准概率的决策，而不是生成文本。Jev 是 TypeSafe 的 RLCD 模型，单次调用可回答多个二值（Noul）、分类（Choice）与序数（Score）问题。本文的问题是 Jev 能否检测对齐失败尚未测量，而且并不显然：谄媚、欺骗、提示注入等失败是关系性的，只看到响应可能缺少定义失败的参照；厂商也把间接含义和对抗性内容列为 Jev 的已知弱点。作者基于 Chen et al. (2026) 的自动化对齐研究者（AAR）套件，把“给政策模型打分”改造成二分类检测任务，用各基准参考打分器作为标签来源，并在 StrongREJECT 与 HarmBench 上引入人类标签以比较 Jev 与法官。

RLCDAlignBench 的基本检测单元是一个实例 x，带标签 y(x)∈{0,1}（由基准的参考打分器给出）。流程是：构建状态 σ → 在一次调用中向 Jev 提出若干类型化问题 → 把答案组合成分数 s(x)∈[0,1] → 与标签比较。核心设计是把“问题”与“状态”解耦：同一状态换问题、同一问题换状态字段，从而区分漏检来自措辞还是来自状态缺少参照。 状态（context）设计。canonical state 只含目标模型的输入与输出，模拟响应级监控器能看到的内容；打分器裁决、金答案、item 元数据、目标模型内部概率一律不入状态，但响应文本中自述的置信度会进入。MACHIAVELLI 类是例外：Jev 看到 scene 与两个选项、看不到模型的选择，分数是 Jev 分配给“被选选项是 misbehaviour”的概率。49 个 paired contrast 在固定 items 与 labels 下只改一个字段，以隔离字段效应；字段按可部署性（系统级监控器是否可能持有：欺骗目标、系统提示、诱发信念）与 label key（属于标签定义：金答案或裁决、注入指针，例如 PrivacyLens 的 secrets 列表）分类。 问题协议。每个基准有一个 generic question，由四类 stem 之一（single response / paired outputs / rule-scored / trajectories）填入字段名与行为短语 ⟨b⟩（对基准已发表失败定义的转述）。同一 stem 以三种答案类型提问。读出的公式：Noul 为 s=P(yes)；Choice soft 为 s=P(yes)（不对 undetermined 重归一化）；Choice argmax 在 yes 胜出时 s=1、no 胜出时 s=0、undetermined 胜出时弃权；Score soft 为 s=𝔼[level]/2；Score argmax 为 s=argmax(level)/2。MACHIAVELLI-style 用单个 Choice 映射：若模型选 B 则 s=P(B is bad)，否则 s=1−P(B is bad)。 targeted questions 有三族：direct（minimal / statement / definition / criteria 四种措辞）、rubric（把参考打分器的法官 prompt 或公式作为问题）、decomposition（每选项、每 secret、每动作的窄原子）。一个 strategy 是单次调用答案的固定函数 s(x)=g(a₁,…,a_m)，用概率聚合（mean / max / product / difference）或对 0.5 阈值后的答案做逻辑规则；单一读出是最简 strategy。每基准有 15–40 个 Jev-only strategy；一次请求携带全部问题（平均 11.4 个，范围 4–28），identifier 不展示给模型，Jev 独立回答每个问题。三类 strategy 不作为 Jev 检测器报告：code-side（把 Jev 答案与标签定义元数据在代码中组合）、exclusion（预测 __excluded 标签）、auxiliary（对另一标签打分），以免产生看似完美的结果。 评估协议与防膨胀。AUROC 是主指标（排序与阈值无关）；同时报告 t=0.5 的 F1 与 2 折交叉验证阈值的 F1（按 item 组分折，网格 0.05,…,0.95）；弃权计为负例；策略只在 ≥90% 覆盖率时进入 AUROC 比较；95% CI 来自 1000 次按 item 组 bootstrap。少数类少于五个或单类的基准被标为退化并排除出聚合，剩 38 个可用（generic Noul 覆盖其中 31 个）。split-half 协议：在一半 items 上选最佳 targeted strategy、在另一半评估（20 次分组拆分的均值）；“selection inflation”是它与评估半上最佳策略的差距。context 对的 best shared question 取两个状态变体上平均 AUROC 最高、且在把 Jev 答案跨 items 置换后跌至随机水平的 strategy。 基线。all-positive 的 F1=2p/(1+p)；响应长度（交叉验证选符号）；TF-IDF 逻辑回归（词与字符 n-gram，5 折域内标签）。TF-IDF 看到了 Jev 从未看到的标签，因此零样本胜过它是强结果。校准用 ECE 与 reliability curve 以及 Saerens et al. (2002) 的 EM prior-shift 校正；人类一致性用 Cohen’s κ。 数据与训练细节。Jev 是商业 RLCD 模型（jev-1.13.0，经 TypeSafe API），论文未给出其训练目标、数据或超参，只说明 RLCD 与“RL from contrastive distillation”不是同一概念，且 Jev 对每个类型化问题返回校准概率而非生成文本；所有运行固定到该版本，缓存的响应是报告数字的参考，因为厂商未承诺版本保留期。基准侧：十类失败、44 个基准、7193 个实例，来自 5 个开源 2–7B 目标模型（Qwen3.5-2B 用于谄媚、提示注入、奖励黑客；Phi-4-mini 用于越狱与隐私；Gemma-2-2B 用于欺骗；Llama-3.2-3B 用于幻觉与权力寻求；Olmo-3-7B 用于社会偏见与隐藏不确定性）；20 个规则打分器、24 个 LLM 法官；标签分为 Validated / Defect / Direction only / Unvalidated，人类标签来自 StrongREJECT 与 HarmBench validation，第二法官标签来自 AbstentionBench 与 InstrumentalEval。审计发现 8 个缺陷标签（规则或法官缺陷、状态不可观测三类），其中 7 个进入聚合，另有 6 个退化基准被排除。

总体表现上，单个 generic 问题以零样本方式在多数可评测基准上取得中等到高的排序能力，超过监督式词法与长度基线；打分器类型差异不大，但未验证标签上的分数系统性偏高。问题设计方面，样本外 targeted 措辞的增益很小且置信区间含零，选择膨胀比增益本身还大；保持软概率读出远比答案类型重要，argmax 读出几乎全面落败；先对答案做硬阈值再组合的 rubric 也损害性能。上下文方面，部署监控器可持有的参照很少带来显著提升，而 label key 字段带来较大但反映“标签构念”而非失败本身的增益。校准方面，跨基准池化的概率接近对角线，但基准内校准误差明显高于随机基线，主要来自各基准 base-rate 不匹配；在小样本上拟合阈值能恢复 F1，但对已验证标签帮助有限。与人类标签的一致性在 StrongREJECT 上达到参考打分器水平且排序更好，在 HarmBench 上接近注释者间一致，但按生成器拆分时存在差异。Jev 的高置信分歧暴露了若干基准的标签缺陷；其检测成本显著低于 LLM 法官。

1. 零样本 generic Noul 在 31 个可用基准上的中位 AUROC 为 0.886。

   The generic Noul reaches a median AUROC of 0.886 [0.821, 0.952] over the 31 benchmarks that admit it

2. generic Noul 在 25/31 个基准上超过响应长度与域内 TF-IDF 逻辑回归中较好者，中位优势 +0.132 AUROC。

   Without seeing any label, the generic Noul exceeds the better of response length and an in-domain TF-IDF logistic regression by a median of + 0.132 +0.132 [ + 0.057 +0.057 , + 0.190 +0.190 ] and wins on 25 of 31 benchmarks

3. 样本外 targeted 措辞相比最佳 generic 读出只增加 +0.006 AUROC，置信区间包含零。

   Selected on one half of the items and scored on the other, the best targeted strategy beats the best generic readout by a median of + 0.006 +0.006 [ − 0.004 -0.004 , + 0.015 +0.015 ] AUROC

4. 软读出优于 argmax：3-level Score 以期望水平读出在 19/31 上超过 generic Noul（中位 +0.016），argmax 几乎全面落败。

   The 3-level Score , read as its expected level, beats the generic Noul on 19 of 31 benchmarks (19/7/5, median + 0.016 +0.016 [ + 0.001 +0.001 , + 0.030 +0.030 ]), and the soft Choice ties it (11/7/13, Figure 3 (a)).

5. 状态中缺失的可部署参照只在 1/4 个基准上带来高于零的 AUROC 提升。

   A deployable reference absent from the state raises the generic Noul ’s AUROC with a CI above zero on 1 of 4 benchmarks

6. label key 字段在 4/11 个基准上带来高于零的 AUROC 提升，中位 +0.053。

   Label keys raise the generic Noul ’s AUROC with a CI above zero on 4 of 11 benchmarks (median + 0.053 +0.053 , Figure 4 (b)).

7. PrivacyLens 的 secrets 列表（label key）把 generic Noul 的 AUROC 从 0.79 抬到 0.95。

   it lifts the generic Noul from 0.79 to 0.95, which would make the count 2 of 8.

8. 概率池化时校准良好（ECE 0.047），但基准内中位 ECE 为 0.168，高于完全校准下的 0.074，且 24/31 超过空假设第 95 百分位。

   Pooled over benchmarks, the generic Noul ’s reliability curve is close to the diagonal (ECE 0.047). Its median per-benchmark ECE, however, is 0.168 against 0.074 under perfect calibration, and 24 of 31 benchmarks exceed the null’s 95th percentile

9. 交叉验证阈值把中位 F1 从 t=0.5 时的 0.706 提升到 0.822，用 10 个标签拟合阈值则得到 0.793。

   The median F1 rises from 0.706 at t = 0.5 t{=}0.5 to 0.822 with a cross-validated threshold and to 0.793 with 10 labelled items.

10. 在 StrongREJECT 上 Jev 排序优于 GPT-4o-mini 打分器（AUROC 0.971 对 0.929，优势 +0.042）。

    Jev ranks better (AUROC 0.971 vs. 0.929, + 0.042 +0.042 [ + 0.016 +0.016 , + 0.070 +0.070 ] with prompts resampled and the scorer’s nine-level ties broken at random).

11. 在 19 个有 API LLM 法官的基准上，Jev 一次通过按标价花费 $0.30，而法官共 $18.96，约低 63 倍。

    On the 19 benchmarks with an API LLM judge, one Jev pass at list prices costs $0.30 against $18.96 for the judges

12. 在评估数据上选择会使 targeted 措辞被高估 0.008 AUROC，大于其真实增益。

    Selecting on the evaluation data would overstate targeted wording by 0.008 [0.006, 0.014], which is larger than the gain itself.

Novelty：新颖性中等。论文不贡献新的检测模型或训练算法：Jev 与 RLCD 是 TypeSafe 的商用产品，训练细节未在文中给出。真正的贡献是把 Jev 系统性评估为对齐失败检测器，并引入三个方法学要素：一是“问题与状态分离”的分析框架，用 49 个成对 context contrast 区分措辞与参照缺失；二是 split-half 防选择膨胀协议，显式量化并压低了 best-of-many 报告带来的虚高；三是用 Jev 的高置信分歧对既有基准做标签审计。相对既有检测器评估，这套“单次调用多问题、软概率读出、零样本对监督基线”的基准化是有新意的，但就检测方法本身而言是增量，且结论高度绑定一个专有模型版本，方法学新颖性大于模型新颖性。 Soundness：方法学总体扎实且偏保守。作者显式处理了多个易膨胀点：split-half 选择、permutation null、按 item 组 bootstrap、覆盖率阈值、弃权计为负例、退化与倾斜基准的排除，并把 code-side 组合策略排除出 Jev-only 结果。主要弱点是：其一，几乎所有结论基于一个商业模型版本 jev-1.13.0，无法复现其训练，且 API 版本保留期不确定，削弱可复现性；其二，标签主要来自打分器，人类验证仅覆盖两个集合，聚合中未验证标签占多数且分数系统性偏高，虽有缺陷标签审计，但可能仍低估标签噪声；其三，基准内 ECE 明显高于随机基线，说明概率不能直接当阈值用，需额外小样本拟合，“校准决策”的卖点因此打了折扣；其四，按生成器拆分时 Jev 与人类的一致性并不总是等同参考打分器，说明存在分数形状差异而非纯排序问题；其五，成本比较依赖标价与定价假设，且只覆盖 API 法官基准。总体 soundness 良好，但外部效度有限。 Significance：实践意义中等偏上。若 RLCD 类决策模型成为部署监控的默认组件，“一个通用问题 + 软概率读出 + 少量标签拟合阈值”的配方可直接降低筛查成本，并给出把低置信决策路由到法官或人的可操作机制；其标签审计角度对基准建设者也有实用价值。但显著性受限于单模型、英文、2–7B 目标与大量未验证标签，论文没有证明该方法能在其他 RLCD 模型或开源替代上迁移。它更像一次对专有模型的扎实基准化与协议示范，而非普适检测方法的突破，其长期影响取决于 RLCD 路线是否被社区采纳。

本文的局限可从论文自述与外部审视两方面看。自述局限：只覆盖一个 RLCD 模型版本（jev-1.13.0）、英文基准、2–7B 目标模型，且标签大多来自打分器；扩展到其他检测器、更大目标和其他语言被列为未来工作。外部审视补充：其一，Jev 的训练目标与数据完全不可见，无法判断“校准”是模型本身属性还是 API 行为；其二，聚合中未验证标签占多数，且这些标签上 AUROC 系统性偏高，缺陷标签虽有 8 个被审计（7 个进入聚合），但其余未验证法官标签可能仍有隐藏偏差，如 AbstentionBench 两个法官 κ 很低、InstrumentalEval 两法官 κ 也低；其三，基准内校准差（中位 ECE 高于空假设），概率不能直接迁移为阈值，需每基准小样本拟合，这削弱零样本卖点；其四，按生成器拆分时 StrongREJECT 上 GPT-3.5 输出的 κ 低于参考打分器，说明分数形状不一致，单阈值无法弥合；其五，退化与倾斜基准被排除或仅用 AUROC 解读，社会偏见、奖励黑客等类别的有效样本偏少；其六，成本优势依赖标价与“所有法官按标价计”的假设，保守重定价后优势缩小；其七，Jev 本身可能受提示注入或对抗内容影响（厂商列出的弱点），论文未测试检测器自身的鲁棒性；其八，dual-use 风险被提及但未做对抗性规避实验。

后续工作建议：一是把同一协议复制到开源 RLCD/决策模型或其他商用模型上，并与标准安全分类器、生成式法官做公平的零样本与小样本对照，检验“单次调用多问题”的增益是否泛化；二是扩展语言与更大/前沿目标模型，特别关注关系性失败在长轨迹、agentic 场景下的表现；三是大幅增加人类验证标签，优先修复或替换缺陷标签（Open-Prompt-Injection、SycophancyEval (answer)、SycophancyEval (feedback)、AbstentionBench、MACHIAVELLI 四变体），再重算聚合；四是研究基准内 base-rate 失配的根源，测试小样本先验偏移校正、温度缩放或按生成器重校准，目标是让概率直接可当阈值；五是调查多问题同请求是否产生干扰，以及 Jev 自身是否会被注入指令或对抗样本绕过；六是设计低置信路由实验，把 Jev 不确定的决策交给法官或人类，量化在给定预算下的整体精度-成本曲线；七是测量延迟与吞吐的规模表现，而不只是标价成本；八是开展自适应攻击，检验攻击者能否针对 Jev 的软概率读数搜索规避样本；九是若可能，请求或训练一个开放 RLCD 检查点，做训练目标消融，区分“校准决策训练”与普通分类器校准的差异。

本文提出 X-Planner，一个面向具身智能的任务规划前端（planning front-end）：它不直接输出底层动作，而是以高层指令与当前多视角观测为输入，产出事件结构化表示，并条件化一个下游世界-动作模型。其核心立场是把“语义事件”作为规划单元——即行为发生变化、可执行的连续时间跨度（如伸手、抓取、抬起、放置），以此显式化长程操作中常被 VLA 隐式处理的中间结构。论文把贡献概括为三点：多源分层规划监督（Ego、UMI、遥操作，加上接管时刻与人工设计失败）；共享 VLM 骨干上的离散事件状态与连续潜 CoT 双接口，并用 Staircase Decoding 减少潜规划内部的串行解码；以及离线规划文本与真实机器人两级评估。整体定位是模块化前端而非端到端 VLA，评估也相应分为“规划文本质量”与“条件化系统的物理执行”两个层面。

具身基础模型的主流范式是把视觉观测与自然语言指令直接映射为可执行动作；这对短技能有效，但长程任务需要在发出底层命令之前选择并排序接地子目标。许多 VLA 模型把这一中间结构留为隐式，因此规划既是一个规划问题，也是一个多模态表示问题。已有工作开始引入 CoT：语言式方法（如 Embodied CoT）输出文本子目标或推理轨迹，视觉式方法（如 CoT-VLA）预测子目标图像或稠密运动线索；二者在语义可读性与空间特异性、生成成本之间权衡。潜推理研究（Coconut、LaDiR 及具身变体）把中间思考压缩为连续表示，但很多仍保留潜步骤之间的自回归依赖。数据侧，互联网视频与自我中心语料提供视觉动力学先验，机器人数据集配对示范与控制动作；但回合级任务字符串会掩盖子目标结构，时序接地 caption 与原子动作分割则指向更细的监督。论文据此总结三个缺口：规划监督常缺少事件边界与执行错误标注，且单一策略收集的失败会过度代表该策略的典型错误；推理规划器常固守单一、外部强加的粒度；传统 CoT 逐 token 自回归解码形成串行关键路径并易传播错误。X-Planner 的回应是：用 Ego、UMI、遥操作三类来源、按来源分层标注（L3 Task/L2 Subtask/L1 Action/L0 Segment）构建事件接地监督；用接管时刻与人工设计失败监督执行中的错误识别；并在同一 VLM 骨干上同时暴露显式事件状态与连续潜 CoT 状态。

总体结构。输入为高层指令 ℓ、可用多视角观测 {V0^(v)}（v 为视角索引）与可选历史 h。Qwen 系列 VLM 骨干提供视觉-语言特征，用于场景接地、事件分解与进度估计。下游世界-动作模型全程冻结；X-Planner 只作为条件化前端，不替换下游文本通路。 事件结构化数据。共享层级 L3 Task（回合目标）、L2 Subtask（语义阶段）、L1 Action（可执行原语）、L0 Segment（最细时间跨度）。Ego 与 UMI 只保留 L1–L3，遥操作支持全部四级；原因是前两者运动更快，L0 边界难以可靠标注，故 Action 是其最细标注层。视觉与动作流同步并筛除缺失观测、时间戳不一致和不可用记录。失败感知监督来自两类：干预回合中标注接管时刻，给出执行中错误识别的时序监督；另有人工执行的、故意设计的失败模式，用于扩大错误覆盖并降低对单一策略失败分布的依赖。管道在优化前物化三类事件状态：Initial plan（执行开始→有序初始事件计划）、Ongoing（执行中→当前/下一事件、归一化进度、continuation state、在标注失败样本上的错误识别）、Episode end（最后可用媒体帧→最终事件状态与 episode-end 标记）。Episode-end 标记只表示录制媒体边界，不等于任务成功证明。 双计划形式。离散形式：VLM 输出紧凑事件状态而非孤立 caption；启动时给出有序初始计划，rollout 中结构化响应覆盖归一化进度、当前事件、下一事件（若可用）、continuation state 与错误识别。事件描述是下游世界-动作模型的文本接口，且可被人类或上游代理检查与编辑。潜形式：计划表示为 K_c 个连续推理状态 ŷ_{1:K_c}；staircase 分支并行生成这些状态并直接注入下游 cross-attention 通路。两种形式共享 VLM 骨干与事件语义，区别只在暴露为文本还是保留为连续状态。 文本条件接口。设 H_q 为 VLM 隐状态，边界掩码 m_txt 选出文本 token 状态；经可学习投影 P_Q 后，再经下游骨干原生文本 MLP M_T，得到 c_ℓ = M_T(P_Q(H_q[m_txt]))（式1）。该序列与图像 token 一起进入世界-动作 cross-attention 层。式5 的对齐目标鼓励投影后的 VLM 状态匹配固定下游模型期望的文本特征几何，从而在不替换下游文本通路的前提下，加入场景消歧、任务分解与进度感知的事件上下文。 Staircase Latent CoT。推理分支从微调 VLM 初始化，实现为耦合冻结骨干的轻量 Mixture-of-Transformers (MoT)。Transformer 在 relay depth N_r 处被划分：下层编码共享的视觉-语言上下文，上层按推理步骤特化。第一个潜在位置穿过下层，产生被所有推理位置共享的 relay 表示；上层块随后并行更新各潜在状态，每个位置维护独立因果 cache。式2：ŷ_{1:K_c} = F_stair(x; N_r)，其中 x = ({V0^(v)}_v, ℓ, h)。直觉是：相比完全自回归 rollout（每个潜状态都依赖前一状态并走完整栈），该调度在推理状态之间复用下层视觉-语言特征，缩短串行关键路径。论文明确提醒：这种架构层面的串行计算减少本身不等于端到端控制延迟下降，后者还取决于整个执行与调度栈。 冻结潜到文本重建。为保证紧凑潜状态保留事件语义，前缀投影器 P_pref 把 ŷ_{1:K_c} 映射为冻结轻量语言模型嵌入空间中的软前缀 z_{1:K_c} = P_pref(ŷ_{1:K_c})。以该前缀为条件，冻结语言模型自回归重建对应文本 CoT trace r_{1:M_r}：式3 P_φ(r_{1:M_r} | z_{1:K_c})，损失 L_CoT = -Σ_m log P_φ(r_m | z, r_<m)。只有 staircase 推理分支与 P_pref 被优化，重建模型冻结。目标是让潜序列保留高层语义而非复制某条 token 级隐轨迹；冻结解码器也可把潜计划渲染为文本供定性检查。 训练。每个样本组合可用视觉观测、任务指令、可选历史与完整 compact JSON 目标。SFT 对助手 token 全集自回归监督（式4）：L_SFT = -Σ_{m∈A} log p_θ(y_m | x, y_<m)，其中 A 为助手位置索引；captions、progress、continuation state 与标注错误在结构化响应内联合学习，而不是只优化下一事件 caption 或把 progress 作为独立标量回归。监督只使用各来源支持的层级；缺失层级不提供监督，Ego/UMI 无 L0 并非负 Segment 标签。特征对齐损失（式5）L_align = λ_align || c_ℓ^VLM − c_ℓ^ref ||²，其中 c_ℓ^ref 是原始文本编码器对同一指令的表示；它是模型侧损失，不是替代助手目标。Staircase 蒸馏中，MoT 分支从预训练 VLM 权重初始化以迁移视觉-语言表示；P_pref 把潜序列映射为软前缀，冻结 LM 重建标注派生的 CoT trace（式6）；L_CoT 只更新 staircase 分支与 P_pref。该重建阶段与 compact-JSON SFT 不同：两条路径共享骨干与语义接地，但目标与读出不同。论文说明这些角色被分开报告，是因为当前系统级实验未隔离各组件因果贡献。 推理部署。event mode：启动时发出初始计划，随新观测更新结构化事件状态；事件描述条件化世界-动作模型，错误识别支持执行监控，执行系统决定何时刷新/提交状态。unified mode：staircase 解码器产生 K_c 个连续 CoT 状态，通过同一 cross-attention 接口条件化定长 action-chunk 推理。共同接口因此支持可读事件计划或连续潜条件化。

评估分两层：离线两步规划文本质量，与真实机器人物理执行。离线层用语义匹配分和法官综合分比较多个模型，X-Planner 的语义匹配与综合质量处于中上水平，高于多数对照、低于表现最好的对照；论文明确这些是聚合文本/法官分数，不构成物理成功或统计显著性。真实机器人层在桌面双臂上进行推理操作与泛化两个套件，以事件模式接入世界-动作模型的完整系统在两个套件上都取得最高的平均任务进度。但现有记录没有 trial 级分数或不确定性统计，因此图中无误差条，只能按报告均值比较；机器人结果刻画的是完整事件模式系统，未隔离错误监督数据、离散表示、潜形式、staircase 调度或任一训练目标的单独贡献，也未建立端到端延迟优势。具体数值均见下方 claim+quote 对。

1. 离线两步规划文本评估中，X-Planner 在 BERTScore-F1 与 Doubao Judge Overall 两个指标上都排在四个被评模型的第二位；其 BERTScore-F1 为 0.9011，比 Qwen 与 Doubao 分别高 0.0133 和 0.0165，比 kimi3 低 0.0097。

   Table 2 shows that X-Planner ranks second among the four evaluated models on both metrics. Its BERTScore-F1 of 0.9011 0.9011 exceeds Qwen and Doubao by 0.0133 0.0133 and 0.0165 0.0165 , respectively, while remaining 0.0097 0.0097 below kimi3.

2. 离线 Overall 评分排序一致：X-Planner 为 1.411，Qwen 为 1.367，Doubao 为 1.366，kimi3 为 1.434。

   The Overall rating follows the same ordering: X-Planner scores 1.411 1.411 , compared with 1.367 1.367 for Qwen, 1.366 1.366 for Doubao, and 1.434 1.434 for kimi3.

3. 推理操作套件中，X-Planner 条件的策略取得最高平均 Task Progress，为 71.60。

   In Fig. 5 A and Table 3 , the X-Planner -conditioned policy achieves the highest average Task Progress, 71.60 71.60 .

4. 推理操作套件中，X-Planner 比最强已报告基线 U-Scratch 高 12.10 个百分点。

   Thus, X-Planner exceeds the strongest reported baseline in this suite, U-Scratch , by 12.10 12.10 percentage points.

5. 推理操作套件任务级得分中，X-Planner 在 Sort Headphone/Classify Items as Shape/Press Button in Order/Pair Up Items/Pick Fruits into Basket 上分别为 84%、78%、64%、36%、96%，平均 71.60%。

   X-Planner | 84% | 78% | 64% | 36% | 96% | 71.60%

6. 泛化套件中，X-Planner 的平均 Task Progress 为 53.75。

   Figure 5 B reports average Task Progress of 53.75 53.75 for X-Planner

7. 泛化套件中，X-Planner 比最强可用基线 DreamZero 高 25.25 个百分点。

   The margin over the strongest available baseline, DreamZero, is 25.25 25.25 percentage points.

8. 泛化套件中 LingBot-VA 不可用，记为 N/A。

   LingBot-VA was not available in the Generalization setting and is marked N/A .

9. 现有记录没有 trial 级分数或不确定性统计，因此图 5 无误差条，只能按报告均值比较，不能做方差或显著性分析。

   The available records contain neither trial-level scores nor a reported uncertainty statistic, so the figure intentionally shows no error bars; it should be read as a comparison of reported means rather than a variance or significance analysis.

10. 真实机器人评估中，完整事件模式系统在推理与泛化两个套件上取得最高平均 Task Progress。

    In the reported real-robot evaluation, the complete event-mode system achieves the highest average Task Progress among the evaluated methods on both reasoning and generalization suites.

Novelty：新颖性中等。单点来看，事件/子目标监督、潜 CoT、以及冻结潜到文本重建都不是全新概念：相关工作已有关联（Embodied CoT、CoT-VLA、Coconut、LaDiR、时序接地 caption 与原子动作分割）。论文的新意主要在组合与表述：把“语义事件”作为规划单元并以来源依赖的四级层级组织标注；用接管时刻与人工设计失败补充错误识别监督，降低对单一策略失败分布的依赖；在同一 VLM 骨干上并行暴露离散与潜两种接口；以及 Staircase Decoding 用 relay depth 把下层接地计算共享、上层潜状态并行更新，区别于仍保留潜步骤间自回归依赖的既有潜推理方法。但关键新颖机制的因果价值未被实验证明：论文自己承认没有对两种计划形式做对照、也没有隔离 staircase、错误监督或对齐目标的贡献，因此新颖性停留在架构与数据设计层面，尚未被验证为有效改进。 Soundness：方法陈述与公式清晰，且论文在多数解释性主张上非常谨慎：明确 episode-end 标记不等于任务成功、缺少 L0 不是负标签、架构串行减少不等于端到端延迟下降、离线分数不建立物理成功或统计显著性、图中无误差条等。这些自我限定提升了可信度。但经验证据偏弱：离线评估只用 BERTScore-F1 与单一法官综合分，未报告方差/显著性；真实机器人只评估完整 event-mode 系统，无法把收益归因于事件监督、离散表示、潜形式、staircase 调度或任一训练目标；训练使用标注派生的历史与初始计划，而部署依赖滚动模型输出，存在 oracle-context 缺口；没有消融与计时。因此，系统级“有效”的证据相对充分，但“为什么有效”的证据不足。soundness 判断为：设计与公式可靠、结论克制，但机制层面的因果支撑不足。 Significance：若成立，事件结构化规划前端对具身智能有一定实用意义：离散事件状态提供可读、可编辑的接口，潜形式提供紧凑条件化，staircase 有望缩短规划串行路径；其模块化设计（冻结下游世界-动作模型）也便于集成。但当前证据局限于桌面双臂、两个套件与文本/法官指标；离线文本质量并非最优（低于 kimi3）；缺少消融、计时、统计显著性与 trial 级数据，使其难以作为可复用的强基线或组件贡献。意义中等：方向有潜力，但需要后续控制实验与更广泛平台验证来兑现。

论文自身承认并可从全文归纳出以下局限。第一，离线聚合文本/法官分数不建立物理成功或统计显著性；真实机器人结果只评估完整 event-mode 系统，未隔离错误监督数据、离散计划表示、潜形式、staircase 调度或任一训练目标的单独因果贡献。第二，没有建立端到端延迟优势：架构层面的串行计算减少不等于端到端控制延迟下降，且缺少计时测量。第三，没有误差条或 trial 级分数，图 5 只能按报告均值解读，不能做方差/显著性分析。第四，训练中使用标注派生的历史与可选初始计划，而部署条件化滚动模型输出，存在 oracle-context 缺口，需要 rollout-aligned 监督。第五，episode-end 标记只表示同步媒体边界，不独立证明任务成功。第六，Ego 与 UMI 缺少 L0 层级，标注深度来源依赖；确定性分析子集只描述被分析池，不是完整三来源训练混合及其来源比例。第七，没有对离散与潜两种计划形式做受控对照，也未在移动或人形平台上评估。第八，泛化套件中 LingBot-VA 无结果，对照不完整。第九，离线文本质量低于 kimi3，说明该前端并非在所有文本指标上占优。

后续工作可从以下方向跟进。一是逐组件消融：分别关闭错误监督数据、离散事件表示、潜形式、staircase 调度、特征对齐与潜到文本重建，估计各自因果贡献。二是端到端计时与延迟测量，比较 Staircase Decoding 与串行潜自回归（如 Coconut/LaDiR 风格）在真实执行栈上的关键路径。三是报告 trial 级分数与不确定性，补充统计显著性与可复现细节。四是 rollout-aligned 监督：让训练历史/初始计划来自滚动模型输出，以缩小 oracle-context 缺口。五是在线事件发现与流式计划修订，替代离线事件发现。六是离散与潜两种计划形式的受控对比，检验“可读性”与“紧凑计算”的实际权衡。七是扩展到移动或人形平台与更广泛任务，验证事件接口的泛化性。八是对 Doubao Judge 的评分可靠性做人工评估或多元评价，避免单一法官偏差。九是检验潜到文本重建是否真的保留计划语义，而非仅提升文本匹配。

本文把提示增强从“对用户请求做描述性润色”重新定位为“电影级规划”：提示不再是修饰后的说明文字，而是在像素生成之前就统筹动作、镜头运动、灯光、音频与叙事在多个镜头和时间轴上的展开。WanPE 的核心主张是，现代 30 秒级视频生成器已经具备足够强的条件跟随能力，因此提示增强应学习真实视频中已实现的电影结构，并输出与视频生成器训练分布一致的“视频接地条件”。为此，论文提出从真实视频字幕反向重建用户请求来构造 SFT 监督，并用九维语义一致性奖励的 SC-GRPO 保持长程用户约束。论文还构建了 WanPEval 人工标注测试集，覆盖不同时长与请求粒度，并以成对盲评和 Bradley–Terry 评分作为主要证据。整体上这是一项偏系统与规模化验证的工作，核心贡献在于任务重构、数据构造方式和评测基准，而不是提出全新的学习算法。

近年来文本到视频生成系统已经能够生成长达 30 秒的电影级视频，表达能力包括镜头运动、灯光和叙事连贯性。这类系统通常由两个紧密耦合的部分组成：把用户输入转换为文本条件的提示增强器，以及把条件渲染为视频的视频生成器。随着生成器上下文变长、指令跟随能力增强，文本控制逐渐接近电影导演级控制，提示增强的角色也从事后补全细节转向事前规划整个制作过程。 历史上，受限于早期视频模型的上下文长度和指令跟随能力，提示增强主要是“化妆式”的视觉描述补全。许多已有工作探索了学习式提示改写、多步 LLM 精炼、偏好优化、检索增强改写和推理期迭代改进，例如 POS、RAPO、VPO、Prompt-A-Video、VidPrompter、CAPE-T2V、PhyT2V、SCMAPR、VISTA、RAPO++ 与 PhyPrompt 等。这些方法大多围绕“前向扩展”构造监督：从用户请求出发，把它扩展为更丰富的描述。这种前向构造的天然风险是输出遵循合成改写分布，而不是视频生成器训练时使用的视频接地字幕分布。 论文指出两个核心挑战。第一，学习连贯的电影级规划需要同时组织表演、编舞、摄影、剪辑、灯光和声音等相互依赖的生产要素；单靠前向想象这些要素如何随时间协调，会与真实视频中已经实现的结构产生训练—推理失配。第二，电影级规划把语义保真升级为跨整个计划的全局一致性：用户指定的主体、动作、对话、相机指令和事件顺序必须被传播到每个相关镜头，同时保持绑定关系和时间关系；新引入的细节还要与原始请求及先前规划兼容。WanPE 正是针对这两个挑战，分别用视频接地反向 SFT 和 SC-GRPO 来回应。

WanPE 的方法可分为四部分：目标分布形式化、视频接地反向 SFT、语义一致性 GRPO，以及 WanPEval 评测协议。 一、目标分布形式化 设用户请求 x 来自用户提示分布 p_u，提示增强器 π_θ 输出文本条件 y，视频生成器 G_φ 在 y 条件下生成视频 v̂。论文不是要求 y 在字面上最像某个改写结果，而是要求它满足 x 中所有语义和指令约束。对每个 x，定义语义合法集 𝒴_sem(x)，其中的 y 必须对所有约束 c∈𝒞(x) 满足 c(y)=1，即不遗漏、不篡改、不弱化、不与后续内容矛盾。 同时，增强器的输出分布应对齐视频生成器 G_φ 的输入分布。G_φ 是在真实视频与视频接地字幕对上训练的，设视频接地字幕分布为 p_vg(y)。论文把理想增强器目标分布定义为： p*(y|x) ∝ p_vg(y) · 𝕀[y ∈ 𝒴_sem(x)] / Z(x) 也就是说，理想输出既要像真实视频接地字幕，又必须属于语义合法集。训练目标是最小化 p*(·|x) 与 π_θ(·|x) 之间的 KL 散度。这一形式化很关键：它把“分布对齐”和“语义保真”写进同一个目标。前向改写容易满足语义合法，但偏离 p_vg；直接从视频字幕采样则满足 p_vg，却可能破坏语义合法。WanPE 的后续设计分别解决这两半。 二、视频接地反向 SFT 这是论文最核心的数据构造设计。传统做法是 x→y 的前向扩展；WanPE 反过来，先从真实视频得到 y，再构造一个能由 y 满足的 x。 视频收集与过滤：从公开或授权来源收集长视频，切分为不超过 30 秒的片段，并做技术有效性、视觉质量和运动质量过滤。语料同时保留两类组织：镜头级片段提供单镜头内的主体行为、构图、摄影机、灯光和声音证据；序列级片段提供镜头之间的转场、剪辑和叙事推进。两类监督互补：镜头级负责细粒度电影实现，序列级负责长程结构。 视频接地电影化字幕：对每个片段 v_i，使用多模态视频字幕器 f_cap(v_i; s_i) 生成目标 y_i，其中 s_i 是类别专属字幕指令。y_i 被组织成层级结构：顶层是视频级摘要，概括内容、场景、视觉风格、叙事视角、节奏和音频设计；下层是带时间戳的有序镜头描述，每个镜头写构图、主体、动作、灯光、相机运动、转场、对话、音乐和音效，以及它们随时间的推进。不同内容类别采用不同字幕方案：大运动视频强调位移、速度、姿态动态和快节奏音频；音乐视频强调表演、节奏、歌词和音画同步；方言视频需要基于视觉语境的准确语音转写；动画、广告、动态图形、视效、复杂运镜和长镜头也各有侧重。字幕器使用不同系统提示，并借助视觉语言或轻量专用模型产生的预处理标签来强化相关维度。最后做质量控制：结构完整性、时间戳有效性和与源视频一致性，不合格则重新生成。这样得到的 y 天然来自 p_vg。 用户请求重建：如果直接把 y 压缩成 x，会得到“压缩版字幕”而不是自然用户请求。因此论文用 GPT-5.4 做少样本提示：对每个 y_i 所属类别，从人工撰写的请求池中采样若干演示 ℰ_i，然后让 LLM 重建 x_i = f_LM(y_i; ℰ_i)。关键约束是 x_i 只能包含 y_i 支持的需求，从而保证 y_i ∈ 𝒴_sem(x_i)。演示的作用是把 x_i 拉向自然用户请求的语言和颗粒度，而不是字幕腔。这样构造出的 (x_i, y_i) 对同时满足两个条件：y_i 符合 p_vg，且 y_i 语义上合法地覆盖 x_i。 SFT：在反向构造的数据集上最小化负对数似然： ℒ_SFT(θ) = −(1/N) Σ_i log π_θ(y_i | x_i) 这个目标让增强器学会把自然用户请求映射为视频接地电影条件。与“前向改写后用改写结果做 SFT”相比，反向构造的关键在于监督目标来自真实视频的已实现电影结构，而不是改写程序想象的合成分布。 三、SC-GRPO：语义一致性 GRPO 仅靠 SFT 还不足以保证长程语义保真。SC-GRPO 在 GRPO 框架中加入九维语义一致性奖励。 训练数据构造：人工撰写 T2V 请求，先用 SFT 增强器输出条件，再交给 Wan3.0 视频生成器生成视频；人工检查视频是否充分实现了请求内容，把实现不佳的困难案例挑出来，与多样人工提示合并成强化学习提示集。这样数据既有自然分布，又有容易暴露遗漏、篡改和绑定错误的困难样本。 语义一致性奖励：使用 Qwen3.7-Max 作为文本级裁判，对 (x, y) 给出 r_sem(x,y)，得分越高表示需求保留越好。评估覆盖九个维度：风格、主体、动作、对话、声音、相机、灯光、空间关系和场景。裁判检查遗漏、弱化、篡改、矛盾需求，检查主体—属性绑定、说话人—对话绑定、动作顺序、镜头顺序和跨镜头冲突。语义等价的转述和兼容细化被接受；语义偏差按严重程度扣分。奖励完全在文本层计算，不需要生成视频，训练成本低。 策略优化：从冻结的 SFT 参考策略初始化 π_θ。对每个 x 采样 G 条候选 y^(g)，把它们的语义奖励在组内标准化为优势 Â_g。优化目标为： 𝒥_SC-GRPO(θ) = E[ (1/G) Σ_g (1/T_g) Σ_t ( min{ρ_{g,t} Â_g, clip(ρ_{g,t}, 1−ε, 1+ε) Â_g} − β 𝒦_{g,t} ) ] 其中 ρ_{g,t} 是当前策略与旧策略在 token 级别的概率比，clip 限制更新幅度，𝒦_{g,t} 是与 SFT 参考策略的 KL 惩罚。组内标准化的直觉是：每条输出只和同一请求的其他候选比较，从而减少不同请求难度带来的奖励尺度差异；KL 项防止为刷语义分而破坏已经学会的电影化结构。 四、WanPEval 与评估 测试集包含人工整理的请求，覆盖多种内容类别、时长、宽高比和三种请求粒度：意图级、场景级、镜头级。意图级只给高层场景；场景级描述事件推进但缺少逐镜头指令；镜头级明确组织镜头并指定景别、运镜、焦点、动作和对话。测试集还统计镜头数规格、音频成分和电影语言使用。 文本级评估直接复用 r_sem。视频级评估采用匿名成对偏好，遵循 Artificial Analysis Video Arena 的协议：每个方法对每条请求生成视频，构造所有配对；专家来自编剧、导演、摄影等相关领域；每对显示请求但隐藏方法身份，左右顺序随机；专家选择 A 更好、B 更好、都好或都差。对方法 k，计算下界 S_lower = 胜场/有效比较，上界 S_upper = (胜场+都好)/有效比较，总体 S = (胜场 + 0.5×都好)/有效比较。之后用 Bradley–Terry 模型拟合强度 b，把都好/都差视为平局，p_kj = σ(b_k − b_j)，并报告 BT^k = 100σ(b_k)，即相对平均强度对手的偏好分。 模型侧由 Qwen3.5 系列初始化多个规模变体，主评测把 WanPE 输出接到 Wan3.0 视频生成器上。

论文在 WanPEval 上对多个商用系统和无增强基线做匿名成对专家盲评，并分别按生成时长和请求粒度报告偏好分。结果显示，WanPE 随模型规模增大而一致改善，且增强收益随时长增长，尤其在长时程子集上从很低的原始请求基线大幅回升。在 5–15 秒区间，WanPE 在多个对比系统中领先；在 30 秒子集上与 Seedance 2.5 相当，且在动画和语音类别表现突出。消融部分比较了反向构造监督与两种前向改写基线，证明视频接地反向监督更强；SC-GRPO 消融显示其在所有模型规模上都提升语义一致性，并且同时提升下游视频偏好。跨生成器实验表明，经过格式适配后 WanPE 输出仍能超过两个下游生成器的原生增强器。

1. WanPE-397B 相对原始用户提示的人类偏好提升随时长增大，30 秒场景提升最显著。

   WanPE-397B boosts human preference over raw user prompts by 10.66 10.66 - 18.84 18.84 points at 5 5 - 15 15 seconds, and by a dramatic 50.86 50.86 points in the 30 30 -second arena.

2. 在同一 Wan3.0 生成器下，WanPE-397B 在 5、10、15 秒均提升原始请求基线，并在 30 秒子集上把偏好分从低位拉高到接近 Seedance 2.5 的水平。

   Under the same Wan3.0 video generator, WanPE-397B improves over the original-request baseline by 10.66 10.66 , 16.28 16.28 , and 18.84 18.84 points at 5, 10, and 15 seconds. On the 30-second subset, it raises S S from 9.38 9.38 to 60.24 60.24 .

3. 在 5–15 秒子集上，WanPE-397B 在所有时长的 S 与 BT 指标上都排第一，并明显超过 Seedance 2.0。

   As shown in Table 1 , it ranks first in both S S and BT at every duration on the 5–15-second subset, with overall scores of 50.61 50.61 and 61.85 61.85 , and outperforms Seedance 2.0 by 7.19 7.19 points in S S .

4. 在 30 秒子集上，WanPE-397B 与 Seedance 2.5 保持竞争力，动画和语音类别得分突出。

   As shown in Table 2 , it remains competitive with Seedance 2.5 on the 30-second subset, especially on animation and speech, where it scores 81.25 81.25 and 73.68 73.68 .

5. WanPE-397B 在意图级、场景级和镜头级请求上均排名第一。

   WanPE-397B ranks first on intent-, scene-, and shot-level requests, with scores of 52.44 52.44 , 49.26 49.26 , and 49.32 49.32 .

6. 相比不使用提示增强，WanPE-397B 在三种请求粒度上都带来两位数的人类偏好提升。

   Compared with using no prompt enhancement, WanPE-397B delivers substantial gains of 18.55 18.55 , 16.97 16.97 , and 13.45 13.45 points across the three request granularities.

7. 视频接地反向构造监督明显优于前向改写和前向目标 SFT 两种基线。

   As shown in Table 2 , WanPE-397B-SFT attains an overall S S of 49.86 49.86 , outperforming Forward Rewriting by 10.37 10.37 points and Forward-target SFT by 14.69 14.69 points.

8. 格式适配后，WanPE-397B 在 LTX-2.5-Base 和 MiniMax-H3-Base 两个下游生成器上均超过原生增强器。

   After format adaptation, WanPE-397B outperforms the native enhancers on both generators (Table 2 , Exp3), improving S S by 14.45 14.45 points on LTX-2.5-Base and 5.17 5.17 on MiniMax-H3-Base.

9. SC-GRPO 在四个模型规模上都提升整体语义一致性分数，且所有时长一致受益。

   As shown in Table 3 , SC-GRPO improves the overall semantic-consistency score by 18.6 18.6 – 23.3 23.3 points across four model sizes, as evaluated by gemini-3.1-pro-preview , with consistent gains at every evaluated duration.

10. SC-GRPO 不仅改善文本语义一致性，也提升下游视频偏好，并覆盖全部七个内容类别。

    As shown in Table 3 , SC-GRPO increases the overall preference score from 42.70 to 49.69 and improves performance across all seven content categories, with larger gains in knowledge, singing and dance, and speech.

11. WanPEval 是一个包含 249 条人工整理请求的测试集。

    The curated WanPEval contains 249 requests.

12. 视频评测由 60 名电影相关领域专家盲评完成。

    Evaluation involves 60 60 experts in screenwriting, directing, cinematography, and related film disciplines.

Novelty：论文的新颖性主要体现在任务重构和数据结构，而不是提出全新学习算法。把提示增强从“描述性改写”升级为“电影级规划”是一个清晰的立场转变，能解释为什么现代长时程视频生成器需要更强的文本条件。最值得注意的设计是反向视频接地监督：不是从请求出发前向扩写，而是先从真实视频生成电影化字幕，再反向重建用户请求。这个反转直接回应了增强器输出分布与视频生成器输入分布之间的训练—推理失配，比多数已有方法更简洁。SC-GRPO 把长程语义保真拆成九维文本奖励并放入 GRPO，组件本身是已有技术，但九维约束覆盖了主体、动作、对话、绑定、镜头顺序和跨镜头冲突，和电影级规划目标匹配。WanPEval 以下游成对专家盲评加 Bradley–Terry 作为主证据，也比只报文本指标更有说服力。总体而言，方法新颖性中等偏上：概念重构和反向数据构造有新意，但底层学习机制多为既有组件。 Soundness：论文的方法论总体自洽。目标分布把语义合法集与视频接地字幕分布相乘，逻辑清晰；反向 SFT 通过“x 只能包含 y 支持的需求”来保证 y∈𝒴_sem(x)，从构造上避免训练对破坏语义。实验设计也较完整：有与商用系统的盲评对比、按时长和请求粒度细分、反向与前向消融、SC-GRPO 跨规模消融、跨生成器迁移测试。匿名、左右随机、平局处理和 Bradley–Terry 控制对手强度，使偏好分比简单胜率更可信。主要保留在于：主对比中 WanPE 接 Wan3.0 生成器，而商用系统是端到端 API 或不同生成器，比较并非完全控制变量；语义一致性奖励来自 LLM 裁判，可能与真实视频质量不完全一致；跨生成器迁移依赖另一个 LLM 做格式转换，可能把格式转换能力混入“电影规划迁移能力”的结论；部分子集样本量较小，且未见置信区间或显著性检验，某些类别上的优势可能不稳定。总体 soundness 较好，但证据链仍依赖闭源模型和人类偏好协议，可复现性受限。 Significance：如果结论稳健，这项工作对工业级长时程文本到视频生成有直接意义。它说明提示增强已经不只是锦上添花，而可能是解锁 30 秒级电影生成的关键前端：论文中原始请求在长时程下表现很差，而电影级增强能大幅拉回，这支持“文本条件质量成为瓶颈”的判断。跨生成器迁移实验进一步表明，学习到的电影组织结构具有一定通用性，不局限于 Wan3.0。对后续研究而言，WanPEval 提供了一个覆盖意图粒度、时长和内容类别的下游视频评测模板，SC-GRPO 的九维语义奖励也可以作为语义保真的参考设计。其局限性在于，方法和评测与特定闭源模型、生成器和人工评估资源绑定，开源社区难以直接复现或公平比较。整体上，这是一项偏系统与工程的重要工作，对提示增强范式的转变有推动意义。

第一，数据和训练细节披露不足。视频来源、过滤阈值、字幕器具体实现、九维奖励的裁判提示、SFT 与 GRPO 的超参、失败样本定义等均未完全公开；请求重建依赖闭源 GPT-5.4，语义奖励依赖 Qwen3.7-Max，复现和审计困难。 第二，主评测的控制变量不够严格。WanPE 主要接 Wan3.0 视频生成器，而 Seedance、Kling、HappyHorse、MiniMax 等商用系统是端到端 API 或不同生成器，因此“增强器更好”和“生成器更好”没有被完全分离。论文虽然在部分系统上做了格式适配迁移，但格式转换又引入另一个 LLM 的能力变量。 第三，评测规模和统计严谨性有限。测试集和部分类别的请求数量较少，长时程子集尤其如此；论文未报告置信区间、显著性检验或多次生成方差，某些 S 与 BT 差异可能不稳定。人类偏好虽经过盲评和 BT 校正，但仍受专家群体、展示方式和生成随机性影响。 第四，SC-GRPO 的奖励是文本级 LLM 裁判，而不是视频级反馈。论文展示了下游视频偏好提升，但“文本语义分提高”到“视频质量提高”的因果链并未完全拆解；裁判本身可能存在偏差，且与用户真实关注点未必一致。 第五，论文没有深入讨论计算成本、推理延迟、版权与数据许可、安全与滥用、对用户原始风格和创意的保留程度，以及失败模式。30 秒子集也只是与 Seedance 2.5 相当而非绝对领先，说明该方法在更长时程下仍非全面最优。

后续工作可以在几个方向展开。一是公开数据、字幕器和奖励裁判配方，或至少提供开源小规模模型，以支持社区复现和审计；也可以在多个生成器上做原生格式的联合训练或适配，消除“GPT 格式转换”这一混淆变量。 二是加强评测。扩大 WanPEval 的请求数、类别和时长覆盖，加入重复生成、置信区间和显著性检验，报告按内容类别、镜头数、粒度和音频成分的细粒度诊断；同时引入更多自动指标与视频级奖励模型，降低对人类盲评和闭源 LLM 裁判的依赖。 三是把视频级或生成反馈直接纳入强化学习。当前 SC-GRPO 只优化文本语义分，未来可以用下游视频偏好、身份保持、动作正确性、跨镜头一致性和音频同步等信号作为奖励，形成闭环优化。 四是更细粒度地追踪长程约束。可以显式建模主体身份、物体永久性、说话人—对话绑定、镜头顺序和因果链，研究如何把用户需求解析成可验证的符号或结构化约束，再用于奖励和监督。 五是探索规划与生成分离的结构，例如先产出分镜脚本、时间轴和声音设计，再逐步条件化视频生成；或将电影规划与参考图、首尾帧、运动控制和相机轨迹等条件结合。 六是研究效率与蒸馏。397B 级增强器推理成本高，后续可蒸馏到小模型、做投机式规划或缓存复用；同时需要评估安全、版权和滥用风险，尤其是对话、方言和真实人物相关内容的生成。

本文是腾讯混元团队发布的 Hunyuan-A13B 技术报告，核心定位是"以稀疏激活换效率"的开源 MoE 大模型：总参数 80B、每 token 激活 13B，试图在保持推理能力的同时大幅降低部署成本。相对于 GPT-4o、o1、o3、Gemini 2.5、DeepSeek-R1、Qwen3 等旗舰系统，它的卖点不是绝对最优，而是单位激活参数下的能力密度与推理吞吐。报告围绕预训练数据、MoE 结构、分阶段 SFT/RL、双模式 CoT 与推理优化五条线索组织论证，并特别强调 agent 工具调用、长上下文稳定性和可量化部署。

近年来 LLM 能力持续逼近通用智能，但旗舰模型推理需要大量算力，带来高延迟与硬件成本，限制广泛可及性。缓解路径之一是稀疏 MoE：保持较大总参数以容纳知识与专家分工，每 token 只激活部分参数，使计算量低于同规模稠密模型。Hunyuan 系列前作 Hunyuan-Large（389B/52B 激活）与 Hunyuan-TurboS 已探索该路线；DeepSeekMoE 提出 fine-grained 专家与共享专家，Qwen3-A22B 等也在百亿级激活的 MoE 上验证。推理侧，o1 与 DeepSeek-R1 表明长 CoT 加 RL（如 GRPO）能显著提升复杂推理，但长 CoT 带来额外 token 开销；Qwen3 等则引入可切换的思考/非思考模式以平衡成本。本报告在这一脉络中，把"小激活参数 + 强推理 + 可调 CoT + 高吞吐"整合为开源模型，并强调 STEM 语料质量、agent 数据工程与长上下文稳定性。

核心机制可分四层：稀疏路由架构、预训练数据与三阶段课程、后训练奖励与数据工程、双模式 CoT 推理控制。 一、稀疏路由架构。模型采用 fine-grained MoE：1 个共享专家与 64 个非共享专家使用相同中间维度，共享专家始终激活，每 token 再从 64 个非共享专家中激活 8 个，因此总参数 80B、激活 13B。报告称"1 共享 + 64 专用 + 8 激活"的配置来自对 MoE 缩放律的试验：没有共享专家时性能明显变差，而共享专家超过 1 个后收益递减、甚至出现波动，于是选择恰好一个共享专家作为效率与性能折中。直觉上，共享专家承载跨 token 的通用特征，路由专家负责专业化分工，避免所有输入都被强制分摊到某一路由路径。激活函数沿用 SwiGLU；注意力采用 GQA（32 个 Q 头、8 个 KV 头）压缩 KV Cache；词表 128K、32 层、hidden 4096、FFN hidden 3072，与 Hunyuan-Large/TurboS 保持兼容。推理侧支持 vLLM、SGLang、TensorRT-LLM，并可用 TP、EP、FusedMoE 及 Auto Prefix Caching、Chunk Prefill 加速，另支持 Weight Only INT8、W8A8、KV Cache FP8 等无损量化。 二、预训练数据与三阶段课程。数据管线复用 Hunyuan-TurboS：预处理（去重、低质过滤、去噪、话题标注）→ 基于模型的文本抽取 → 后处理（低质过滤、语义级去重）。针对 STEM 增强采集与清洗，得到 250B 高质量 STEM 语料；并设计知识标签体系与多维难度分级，用于筛选多领域语料。预训练分三阶段：基础阶段处理 20T token，warmup 从 0 线性升至 3e-4，再经余弦衰减到 3e-5（跨 13.5T），随后保持最低学习率，窗口固定 4096；快退火阶段从 3e-5 经 300B token 余弦衰减到 8e-6，窗口提升到 8192；长上下文阶段分两步扩到 32K、256K，采用 NTK-aware 位置编码，alpha 分别为 50 与 1000。设计意图是：先大规模建立通识，再以退火清理损失面，最后通过旋转位置外推降低长程困惑度。 三、后训练的"推理导向 → 全场景"两段式。第一段只强化推理：SFT 使用显式 CoT 的指令-回复对，按四域构建——数学来自教材/标准化考试/竞赛，用生成式奖励模型与自动验证迭代筛选，只保留严格验证对；代码来自 GitHub 经数据生成管线转为结构化指令对，并用 critic 模型与沙箱执行做多级验证；逻辑来自谜题集并采用 ZebraLogic 式自动合成，常规样本用自动 CoT 评估、复杂样本人工审；科学覆盖物理/化学/生物，LLM 评估难度质量，高级验证器纠正单位、近似与化学式，最后经拒绝采样收录。RL 采用 GRPO，奖励来自两类信号：Outcome Reward Model 是轻量 LM 验证器，输出二值 1/0，并归一化格式、单位、同义词以降低假阴性；代码用多语言沙箱（36 种语言、>1000 并发、分布式 CPU、文件与网络隔离）执行反馈。RL 从 SFT 表现不稳定的 prompt 中采样，共 150K 条，数学:代码:逻辑:科学 = 2:2:1:1，10% 与 SFT 重叠、90% 为新题，并排除选择/判断/证明题以避免奖励猜测。训练分 24K→32K 两个上下文长度阶段逐级加长推理链，并移除 KL 约束以放宽策略更新；同时采用 on-policy、大批量、更多 rollout、采样温度 0.6–0.8。 第二段全场景微调把能力泛化到语言理解、创意写作、多语言、复杂指令、角色交互、知识 QA、多轮对话与 agent 八类任务。agent 数据工程较有特色：构建五角色（user/planner/tool/agent/checker）多轮合成引擎；工具反馈来自沙箱、MCP 与合成工具三类；为平衡快/慢思考数据，优化提示并训练专用模型生成思考过程；设计 30+ 种 agent 系统指令与 2 万种格式组合以提升泛化；并针对 Excel 处理、深度搜索等高频任务强化。全场景 RL 的核心是生成式奖励模型（GRM）：以参考答案为语义锚（开放任务）或以 ground-truth 判定（封闭 QA），可选择性摄入 CoT、调用外部工具、报告长度统计、检查任务约束，从而在确定性与开放式任务间统一发奖励。报告称该阶段覆盖 16 个子主题、30+ 评分服务，并给出各域专属奖励：文本理解用一致性模型 + 比较式 GRM；长上下文额外加幻觉奖励与在线 RL；创意写作用成对 GRM 防奖励黑客；agent 用格式奖励（正确特殊标记与顺序为 1，否则 0）加工具/参数/值一致性；安全用分类器与拒绝启发式并入偏好数据等。 四、双模式 CoT。在统一训练结构下同时优化两种输出：快思考的 <think> 块保持为空，慢思考在 <think> 块内包含逐步推理（反思、回溯）。用户以控制标签选择模式：/no_think 进入快思考，/think 进入慢思考，缺省为慢思考。算法直觉是把推理预算显式化：简单查询走短 CoT 降低延迟，复杂多步任务走长 CoT 提升精度，两种模式共享同一套权重，避免训练两个独立模型；这与推理期 compute scaling 的思路一致，只是以离散两档实现。

报告在四个层面评估：基座模型在通用、代码、数学与 STEM、多语言的多项公开基准上与 Hunyuan-Large、Qwen2.5-72B、Qwen3-A22B 对比；后训练模型在数学、科学、代码、推理、指令遵循、文本生成、自然语言理解与 agent 的公开及内部基准上与 o1、DeepSeek-R1、Qwen3 等对比；长上下文用 PenguinScrolls、LongBench-v2、FRAMES、RULER；效率用不同 batch 与输出长度下的吞吐。总体结论是：以更少激活参数在数学、agent 与长上下文任务上达到领先或接近领先，代码能力稍弱但可用，吞吐随 batch 增大而明显提升。需要指出，表 3 与表 4 的对比协议（慢思考与快思考）未在正文中清晰标注，且部分基准为内部或新引入、尚缺独立验证。

1. 基座模型相较 Hunyuan-Large 在 14 项基准中 12 项更好，且激活参数仅为其四分之一、总参数约五分之一。

   Hunyuan-A13B performs better on 12 of 14 evaluation benchmarks with only 1/4 activated parameters and about 1/5 total parameters.

2. 基座模型相较总参数相近的 Qwen2.5-72B 在几乎所有公开基准上得分更高。

   Compared with Qwen2.5-72B, which has similar total parameter size, Hunyuan-A13B acheieves higher scores on almost all the evaluation benchmarks.

3. 相较总参数约三倍、激活参数约两倍的 Qwen3-A22B，基座模型在 12 项基准中 7 项占优。

   Compared with Qwen3-A22B, the recently released MoE model with about 3 times the total of parameters and about 2 times activated parameters, Hunyuan-A13B outperforms the latter on 7 of 12 evaluation benchmarks, exhibitting comparable capabilities across multiple dimensions.

4. 基座模型在 EvalPlus 上取得 78.64，高于表中 Hunyuan-Large、Qwen2.5-72B 与 Qwen3-A22B。

   EvalPlus | 75.69 | 65.93 | 77.60 | 78.64

5. 后训练模型在 AIME2024 上取得 87.3，为 o1、DeepSeek-R1、Qwen3-A22B 中最高。

   AIME2024 | 74.3 | 79.8 | 85.7 | 87.3

6. 后训练模型在 BBH 上取得 89.1，高于对比模型。

   BBH | 80.4 | 83.7 | 88.9 | 89.1

7. 后训练模型在 ZebraLogic 上取得 84.7，高于对比模型。

   ZebraLogic | 81 | 78.7 | 80.3 | 84.7

8. Hunyuan-A13B 在 BFCL-v3、τ-Bench、ComplexFuncBench 与 C3-Bench 四项 agent 基准上整体领先。

   Besides, Hunyuan-A13B demonstrated a leading performance on BFCL-v3, τ \tau -Bench, ComplexFuncbench and C 3 C^{3} -Bench.

9. 长上下文方面，PenguinScrolls 87.7、LongBench-v2 55.0、FRAMES 81.1，分别与 Gemini 2.5 Pro 接近、仅次于 Gemini、低于 DeepSeek R1 与 Qwen3-A22B。

   PenguinScrolls | 88.3 | 87.5 | 87.1 | 87.7 LongBench-v2 | 60.9 | 53.8 | 48.4 | 55.0 FRAMES | 80.1 | 85.7 | 84.0 | 81.1

10. 在 RULER 的 64K-128K 区间，Hunyuan-A13B 保持 73.9，显著高于 DeepSeek R1 的 65.6 与 Qwen3-A22B 的 66.6，长程衰减更平缓。

    as the context length increased to 64K-128K, Hunyuan-A13B maintained a strong performance of 73.9, significantly outperforming DeepSeek R1 (65.6) and Qwen3-A22B (66.6).

11. 在 A16W16C16 精度下，吞吐随 batch 增大而提升，batch 32、输出 14336 时达到 1981.99 tokens/s；输出加长到 22528 时降至 1725.95 tokens/s。

    1 | 2048 | 14336 | 190.84 16 | 2048 | 14336 | 1246.54 32 | 2048 | 14336 | 1981.99 32 | 2048 | 22528 | 1725.95

12. 推理导向 RL 使用 150K 样本，四域比例为数学:代码:逻辑:科学 = 2:2:1:1，其中 10% 与 SFT 重叠、90% 为新题。

    The dataset includes 150K samples (Mathematics : Coding : Logic : Science ratio 2:2:1:1), with 10% overlapping with SFT training data and 90% novel cases.

Novelty：以技术报告的标准看，方法学新颖性属中等偏低，更多是工程与配方层面的增量。fine-grained MoE、共享专家、GQA、SWiGLU、GRPO、GRM、outcome reward 均来自已有工作；双模式 CoT 与 Qwen3 的思考/非思考切换高度相似。相对原创的部分主要是：共享专家数量的缩放律观察（无共享专家明显变差、超过一个收益递减）；STEM 语料的增强清洗与多维难度分级；全场景 RL 的 16 子主题、30+ 评分服务编排；agent 数据引擎（五角色合成、三种工具源、2 万格式组合）；以及新基准 ArtifactsBench。这些贡献对复现与落地有价值，但不构成新范式或新算法。 Soundness：证据覆盖较广，但严谨性中等。优点是比较对象明确、基准覆盖维度多、并声明用内部测试集降低污染偏差。主要问题是：缺少消融实验与训练曲线，无法判断各设计（共享专家、移除 KL、STEM 增强、双 CoT）各自贡献；RL 超参、奖励模型细节、数据配比披露不足；表 3 与表 4 未清晰标注慢思考/快思考协议，可能混用不同提示与解码设置；多个内部基准（LengthCtrl、InsCtrl、ComplexNLU、Word-Task、ArtifactsBench）未公开或未经独立验证；没有误差条、多次采样或统计显著性检验；表中存在缺测值，正文也有拼写与排版错误。因此"以小得多的激活参数接近更大模型"的总体判断有支持，但 agent 领先、长上下文稳定性等最强主张需独立复现。 Significance：作为开源模型发布，其实用意义大于学术意义。对资源受限部署、agent 工具调用、长上下文应用与高吞吐服务场景，它提供了一个工程上可参考的完整配方（数据管线、分阶段后训练、双模式 CoT、推理优化与量化兼容）。若权重与 ArtifactsBench 如期开源，能降低社区复现与二次开发门槛。但相对旗舰模型，它未引入新能力边界或新方法，主要价值集中在效率、可部署性与工程可复现性。

其一，架构与训练细节披露不完整：未给出专家路由机制细节、负载均衡损失、中间维度具体数值、数据领域配比、SFT 与 RL 的完整超参、训练基础设施与成本，外部难以精确复现。其二，评估严谨性不足：表 3 与表 4 未明确标注慢思考/快思考协议，内部基准未公开、无法核验，缺少多次采样与统计检验，且不同模型是否使用一致提示、是否带 CoT、是否同为 base/instruct 对齐不清晰；这削弱了跨模型排名的可信度。其三，缺少消融：共享专家缩放律只以文字叙述，无曲线；双模式 CoT 没有快/慢模式的延迟-精度权衡对比；移除 KL 约束、STEM 语料增强、agent 格式组合等均无单独对照。其四，能力短板被轻描淡写：代码整体略弱，FRAMES 落后于 DeepSeek R1 与 Qwen3-A22B，快思考表中的数学绝对值明显低于慢思考表，报告未解释模式间差距。其五，安全只提到奖励管线，未报告红队、有害性、偏见或价值观对齐的系统评估。其六，文中存在拼写错误（如"Architechture""acheieves""exhibitting""lyiabeling"）与表格缺测值，影响严谨观感。

后续工作可分五条线。第一，完整开源与复现：发布权重、数据处理代码、RL 配置、奖励模型与 ArtifactsBench，并补充训练曲线、消融与成本报告。第二，做关键消融：共享专家数量（0/1/2/4）的缩放曲线、双模式 CoT 在延迟-精度平面上的帕累托前沿、移除 KL 约束对 GRPO 稳定性的影响、STEM 语料增强对 GPQA/MATH 的边际收益、agent 格式组合与工具源的作用。第三，统一评估协议：明确区分快/慢思考、base/instruct、CoT 与非 CoT，固定提示与解码参数，报告多次采样与置信区间，并做数据污染审计与内部基准的独立验证。第四，效率与推理继续优化：结合投机解码、自适应专家选择、更细粒度量化与 kernel 级 FusedMoE，量化在真实长上下文与并发负载下的延迟分布。第五，能力补强：针对代码与 RAG 长上下文短板做定向数据与 RL，并系统开展安全红队与对齐评估，使"高效、安全、可部署"的定位更完整。

本文定位于"自主数学发现"这一新问题：现有 LLM 形式化证明系统大多解决人类提出的固定目标，而本文要回答"哪些定理值得提出"。作者不从人类趣味标注出发，而是从 Lean 4 与 mathlib 的机器可验证结构中提炼一个可计算的"内在有趣性"指标——条件证明难度与条件描述长度之比，并把它同时用作强化学习奖励与推理期剪枝信号。论文先训练一个 27B 的条件证明难度预测器，声称优于通用前沿模型；再用该指标训练猜想器，并以迭代方式把"最有意思"的已证定理回填为下一轮前提。因此其定位介于形式化证明、LLM 后训练与自动化理论生成之间，核心卖点是把"有趣性"从审美/哲学问题转化为可在形式库中优化的目标。

背景有三条线索。第一，LLM 近年已能解决大量高级数学问题乃至数十年的开放问题，且在输出经 Lean 4 等证明助手验证时尤为可靠；但常见批评是它们只解决"现有数学凸包"内的问题，仍是在完成人类指定的目标。第二，长期目标是自主数学发现：从初始前提出发，自主提出新问题、判断哪些值得做、构造并验证证明、并在此知识上继续构建；核心障碍是没有量化"有趣性"的信号。作者用庞加莱"事实之堆不是科学"与博尔赫斯"巴别图书馆"类比说明：所有真命题的空间近乎无用，真正数学需要价值判据。第三，相关工作：Poesia et al. 与 Tsoukalas et al. 关注内在动机/理论形成，但多在小型公理域；Mishra et al. 指出 LLM 不能稳健复现人类的趣味判断；Graffiti/TxGraffiti 在特定图论领域做过猜想生成；Bengio 与 Malkin 提出信息论式趣味观（小描述长度、靠近大量可证陈述）；Kolmogorov 复杂度与资源受限复杂度提供了理论参照。本文把上述思想落到 mathlib 规模，区分"内在有趣性"（易陈述、难证明）与"外在效用"（作为可复用抽象压缩后续证明），并用形式化证明行数作为有限语料代理。

整体机制分五步：提取 mathlib 依赖图 → 训练条件证明难度预测器 Vθ → 定义有趣性与效用 → 用 Vθ 作为奖励训练猜想器 → 推理期递归发现与剪枝。 一、条件证明难度作为价值函数。令 C_D(T|P) 为代码库 D 中在前提集 P 下证明定理 T 所需代码行数的 ground truth。估计器 V(T|P) 被要求满足三条公理：(A1) grounding，V(T|P)=C_D(T|P)（当 C_D 良定义时）；(A2) premise monotonicity，若 P⊆Q 则 V(T|Q)≤V(T|P)；(A3) composition，V(T|P)≤V(L|P)+V(T|P∪{L})。若 L 是证明 T 所必经的中间引理，则取等号，得到 Bellman 型关系 V(T|P)=V(L|P)+V(T|P∪{L})。直觉是把证明看成最短路径成本：加入引理 L 可缩短目标证明，但自身要付出证明代价；删除前提只会使证明不变或变难。这一公理化同时暗示了训练损失的设计。 二、数据构造与 premise expansion。直接按 mathlib 依赖图训练会失败，因为该库被极度原子化（论文称中位证明长度仅 3 行、每个前提中位使用次数为 1）。为此设计 premise expansion：若 L 是 T 的直接前提，一次展开把 L 从 P 中移除、加入 L 自身的前提 P(L)，并把 L 的证明行数累加到 T 的标签上；迭代展开使可见前沿沿依赖 DAG 后退。具体地，每个 root 从 P=deps(T)、c=lines(T) 出发做三次随机游走；每步采样 L~Unif(P)，生成 P^-=(P\{L})∪deps(L)，以及随机稀疏集 P^.8（每个前提独立以 0.8 概率保留）。一条边产出六种 prompt/标签对：base 是 (T|D,P^-)↦c+ℓ，即不给 L、必须沿途重证它；remaining_keep 是 (T|D,P^-∪{L})↦c，即把 L 还回前提；remaining_remove 是 (T|D_pre,P)↦c；lemma_context 是 (L|D,P^-)↦ℓ；lemma_native 是 (L|D(L),deps(L))↦ℓ；base_drop 是 (T|D,P^.8)↦无标签，只用于单调性单边惩罚。六行保持在同一组内，使 truth/Bellman/drop 三个损失可在组内计算而无需跨 batch 记账。数据划分以 root 为单位，防止同一定理的变体跨训练/验证边界。Prompt 中假设名被位置归一化为 h1、h2 等，目标改名 target，":= by" 后的证明体被剥离；模型先看文件局部定义，再看前提，最后看目标。 三、Vθ 训练。以 Qwen3.6-27B 为基座，用 GRPO 微调 350 步。奖励为三项之和：ℒ_truth=-|log Vθ(T|P)-log C_D(T|P)|；ℒ_Bellman=-|log Vθ(T|P)-log(Vθ(L|P)+Vθ(T|P∪{L}))|；ℒ_drop=-max{0, log Vθ(T|P)-log Vθ(T|P\Q)}，其中 Q⊊P。truth 项在 log 空间对齐 ground truth；Bellman 项强制路径分解一致性；drop 项是单边 hinge，只惩罚"删前提后反而预测更短"的违反。附录以角色均值的完成样本给出逐样本奖励算法。关键超参：全局 batch 384、rollout batch 48、每 prompt 8 样本、温度 1.0、上下文 131072、prompt 上限 65536、响应上限 8192、Adam、学习率 1e-6 常数、GRPO clip 0.20/0.28、KL 系数 0.01。评估用贪心解码与 8192 token 响应上限，指标为 MAE、中位绝对误差、log 空间 R² 与 Spearman ρ，只统计可解析的非负输出。 四、有趣性度量。S(X) 为 Lean 声明 X 的陈述字符数；C(X) 为递归陈述 X 所需的全部定义集合。条件描述长度 L(T|P)=S(T)+Σ_{d∈C(T)\C(P)}S(d)，即"在已掌握 P 的词汇后，为陈述 T 还需补写的定义字符总量"。有趣性 I(T|P)=100·V(T|P)/L(T|P)，乘 100 仅为让数值量级接近 1。归一化的关键是防平凡的"拼合膨胀"：若 T1,…,Tn 不相关且证明长度固定，合取 T̂_n=T1∧…∧Tn 有 V=O(n)、L=O(n)，故 I=O(1)，不会被误判为更有趣。P=∅ 时得到绝对尺度 I0(T)=I(T|∅)，分母为 T 及其全部定义词汇的字符和，分子可由 mathlib 经 premise expansion 确定性展开。 五、效用与相关性。D(T) 为直接引用/使用 T 的定理集，U0(T)=|D(T)|·V(T|∅)，解释为"免费获得 T 后，其直接使用者无需从头重证所节省的行数"。尽管 U0 是外在度量、依赖 T 与周围理论的关系，I0 是仅依赖 T 及其证明的内在度量，二者在 mathlib 上表现出强正相关；作者由此论证有趣性可在提案时刻作为效用的实用代理。 六、猜想器训练。定理提案数据从 base_drop 行重建，只保留前提，去掉少于 16 个前提或超过 12288 token 的上下文。模型只看到定义与前提陈述，永远看不到源定理或其证明。奖励 R(T,P)=0.25+log(1+Vθ(T|P)/L(T|P))=0.25+log(1+Iθ(T|P)/100)，Vθ 冻结，L 由全局定义图减去前提暴露的词汇计算；log 抑制离群点、保持有趣性排序，常数 0.25 给有效、相关、非平凡陈述一个基线。解析失败给 -0.5；Lean 编译失败或与前提无关给 -0.25；可被 assumption、rfl、simp、tauto、simp_all 等简单自动化关闭的给 0。编译由 Pantograph 对 mathlib 环境完成，只允许定理，拒绝声明、定义、证明命令、":=" 与 sorry；相关性要求提案与前提/定义上下文共享至少一个非泛型标识符。猜想器也是 Qwen3.6-27B，75 步 GRPO，每 prompt 8 样本、温度 1.0、batch 192/24、上下文 12800、响应上限 512、Adam、学习率 1e-6、KL penalty 0。 七、评估与推理期递归发现。评估层从八个领域（代数、分析、数论、测度/概率、几何/拓扑、组合、范畴/代数几何、基础）采样前提，用 Claude Code（Opus 4.6）证明代理对生成的陈述求精确证明或受约束的边际修复；修复必须编译、保持 ∀/∃/↔/∧/∨/¬ 计数、通过反空性检查、且 token 集 Jaccard ≥0.70。最终以编译后的声明与证明重算证明行数与条件长度，得到 ground-truth 有趣性。递归循环：从图论 80 个前提的 P0 出发，每轮给猜想器 20 个前提（5 个来自最新轮新增、15 个来自旧池），生成 400 候选；语义过滤器去重并强制多样性；幸存者由 Claude Code 在 Lean 中独立证明；已证陈述按 ground-truth 有趣性（证明行数/归一化陈述字符数）排序，取前 10 提升为下一轮前提。消融固定猜想器、过滤器与证明器，只改变提升规则：不剪枝、随机、按最长证明、按最高有趣性，并用隐藏来源的 LLM 法官评质量、多样性与四选一有趣性排名。

论文实验分三层递进。第一层检验条件证明难度预测器：在 mathlib 派生的留出集上，以 MAE 与 Spearman 相关比较其与 GPT-5.5、Claude Opus 4.6 的表现，发现三者都倾向低估证明难度，但本文模型显著更准、校准更好。第二层验证有趣性度量的有效性：先展示有趣性与效用强正相关，再以冻结的难度预测器为奖励训练猜想器，用 Lean 证明代理对生成陈述做地面真实验证，发现训练显著提升真实有趣性，并大幅降低与 mathlib 的重合度。第三层做推理期剪枝消融：在递归发现循环中固定猜想器与证明器、只改变提升规则，发现按有趣性剪枝在运行均值有趣性、法官排名、质量与多样性上均最强，且优于单纯按证明长度剪枝。所有具体数值见下方 claim 与逐字引文。

1. 难度预测器相较 GPT-5.5 与 Claude Opus 4.6，在三个模型都倾向低估的背景下更准确、校准更好。

   We find that while all three models tend to underestimate the difficulty of proofs, ours is substantially more accurate and better calibrated than the others.

2. 在 mathlib 上，忽略无下游用户的陈述后，效用 U0 与有趣性 I0 的 Spearman 相关为 0.756。

   In Figure 3 , we see a strong positive correlation between U 0 U_{0} and I 0 I_{0} on mathlib , giving a Spearman correlation of 0.756 0.756 if we disregard statements with no downstream users.

3. 训练后猜想器的汇总有趣性均值从基座模型的 1.76 提升到 7.58，约为四倍。

   Pooled across areas, mean I ( ⋅ ∣ P ) I(\cdot\mid P) rises from 1.76 1.76 for the Qwen 3.6 27B base model, to 7.58 7.58 for our trained model.

4. 训练模型在全部八个领域的均值都高于基座模型，领域级比值从组合学的 2.10× 到数论的 8.72×。

   The trained model's mean is higher than the base model's in all eight areas, with area-level ratios ranging from 2.10 × 2.10\times in combinatorics to 8.72 × 8.72\times in number theory.

5. 训练模型生成陈述中"实质或完全包含于 mathlib"的比例从基座的 91.9% 与 Claude 的 92.5% 降到 30.6%。

   Only 30.6 % 30.6\% of statements from the trained model are substantially or fully contained (scores 4–5), compared with 91.9 % 91.9\% for Base and 92.5 % 92.5\% for Claude.

6. 已证陈述评估队列为每个模型每个领域保留 20 条、共 8 个领域，即每模型 160 条。

   We retain 20 20 proven statements per model and area, across 8 areas of mathematics, resulting in 160 160 total statements per model.

7. 难度模型最终数据含 18,318 个训练组（109,908 prompts）与 923 个验证组（5,538 prompts）；grounded 标签均值 92.3、中位 49、90 分位 245、最大 500 行。

   The final dataset contains 18,318 training groups (109,908 prompts) and 923 validation groups (5,538 prompts). Grounded labels have mean 92.3, median 49, 90th percentile 245, and maximum 500 proof lines.

8. 在 4,615 个验证 prompt 中，Claude 与 Vθ 全部可解析，GPT-5.5 产生 6 个无效输出。

   Every row from Claude and the trained model V θ V_{\theta} is successfully parsed, whereas GPT-5.5 produced 6 invalid outputs across all 4,615 prompts.

9. 推理期剪枝消融中，按有趣性提升的已证陈述均值/中位有趣性为 3.899/3.380，高于按证明长度提升的 3.259/2.480 等规则。

   Interestingness | 3.899 | 3.380 | 7.41

10. 法官四选一排名中，有趣性剪枝 60% 排第一、73% 进前二、平均排名 1.80，显著优于其他规则。

    Interestingness | 60% | 73% | 1.80

11. 群体法官评分中，有趣性剪枝的质量、多样性、每十个家族数、冗余率分别为 3.40、2.10、3.50、28.0%，均为四规则中最优。

    Interestingness | 3.40 ± 0.52 \mathbf{3.40\pm 0.52} | 2.10 ± 0.32 \mathbf{2.10\pm 0.32} | 3.50 ± 0.71 \mathbf{3.50\pm 0.71} | 28.0 % ± 7.9 % \mathbf{28.0\%\pm 7.9\%}

12. 猜想器训练数据随机选取 10,000 组前提用于训练、512 组用于验证，每组中位包含 77 个前提。

    From this we randomly select 10,000 sets of premises for training and an additional 512 for validation, each set containing a median of 77 premises.

Novelty：新颖性中等偏上。"有趣性=证明长度/陈述长度"本身与 Kolmogorov 复杂度、Bengio–Malkin 的信息论视角及 Graffiti/TxGraffiti 的启发式过滤有渊源，并非全新概念。本文的实际增量在于：在 mathlib 这一大规模形式化库上把该思想落地为可计算目标；引入条件描述长度以刻画"给定前提后陈述目标的成本"；用公理化的 V(T|P) 加 Bellman 一致性与单调性约束训练难度价值函数；并把同一信号同时用于强化学习奖励和推理期剪枝，形成"猜想—证明—回填"闭环。相比 Poesia et al.、Tsoukalas et al. 的小域理论形成，形式库规模与形式验证是主要增量；但核心度量仍较朴素，理论创新有限。 Soundness：可靠性总体中等。优势：生成定理均经 Lean 验证，有趣性按最终编译声明与证明重算，避免只用训练奖励自证；难度模型有明确的 ground-truth 标签与公理约束；推理期消融固定猜想器和证明器，能隔离剪枝规则的效果；法官对来源信息隐藏，降低了部分主观偏差。弱项：证明行数受编码风格和 aesop/grind 等自动化策略影响，不是难度的一致度量；效用只按直接引用数乘难度估算，未建模间接压缩传播；LLM-as-judge 仍是主观信号且未报告一致性；与前沿模型的对比可能对提示敏感；边际修复允许修改陈述，可能改变难度与含义；且未证明生成定理对未来证明有实际效用。样本规模与领域覆盖也有限。 Significance：意义较大但属于概念验证。它把"哪些数学值得做"从人类审美转化为可在形式库中优化的量化信号，为自扩展、机器验证的数学库提供了一条无需人工指定目标的路径。对形式化数学社区、LLM 后训练与自动化猜想系统有直接借鉴价值；有趣性与效用的相关性也给出了一个有说服力的经验依据。不过，其影响受限于指标只捕捉内在结构、依赖 mathlib 与 Lean 证明能力，且尚未展示生成结果能反哺后续证明；要成为通用发现引擎，还需解决定义生成、多样性维护与长期效用闭环。

作者自述的局限包括：证明行数是风格化产物，自动化策略常以运行时间换行数，Levin 复杂度等更丰富信号可能更优；有趣性只捕捉部分数学价值，忽略"连接不同对象/统一子领域"等维度；效用只捕捉弱形式的连接性；未考虑新定义的生成；难度预测未随前提库扩展而在线更新；还不清楚新定理对后续证明是否有用；需要更长期的多样性/去重机制。可补充的审稿视角：U0=|D(T)|·V(T|∅) 忽略间接引用与压缩传播，可能高估或低估效用；I0 与 U0 的相关仅在 mathlib 上展示，外部效度未知；证明行数对 tactics 的敏感性会直接影响 I 的分子与分母；LLM-as-judge 的评分标准宽泛且未报告判定一致性；递归实验只展示少数领域与有限轮数，规模有限。

后续方向包括：以 Levin 复杂度/资源受限复杂度替代行数，或把证明搜索的计算预算纳入 V；把发现扩展到新定义，而不只是定理陈述；让难度预测器随前提库扩展在线更新；研究长期发现的去重、多样性与记忆机制；直接检验生成定理是否压缩后续证明（真正的效用闭环）；跨库、跨领域的泛化测试；把有趣性与其他外在信号（物理应用、历史重要性、跨域连接）结合；以及更严格地评估 LLM 法官的一致性与校准。

本文把自己定位为一次面向真实移动规划智能体的“AI-for-AI”闭环工程实践：不是单纯训练一个规划模型，而是把执行反馈组织成可扩展、反馈驱动的发展生命周期，同时改进数据生产、模型训练与部署运行时。其核心产物是 Qwen-Planner-Agent——由经过训练的 Planner Model 与统一 Harness 组成的完整系统；模型负责可泛化的任务分解、工具使用与失败恢复，Harness 负责技能、记忆与执行反馈等随部署变化的运行时支持。相较既有智能体工作，本文的差异化在于强调“模型–Harness 协同演化”与“能力感知的奖励与优势工程（CARE）”，并以移动规划作为具体验证场景，兼顾性能、泛化与输出成本。

移动规划智能体要完成高层用户目标，需要在多个应用之间协调动作、随状态变化维护上下文、从失败中恢复并验证结果，因而需要多样交互数据、有效策略学习和适应任务与资源变化的运行时支持。真实设备交互成本高、难以并行，限制开发与评估规模；而任务专用验证器可从执行轨迹与可观测结果中获取证据，为定向改进提供反馈。这一背景与“用 AI 帮助构建和改进 AI”的长期愿景相连：图灵曾提出通过教育“儿童机器”并迭代实验改进机器智能，如今语言模型智能体让 AI 不仅是被开发系统，也参与开发过程。本文据此把执行经验用于协调数据生产、模型训练与部署。相关工作涉及多步智能体工作流（Wang 等）、移动设备评估（Bai 等、Tang 等）、GRPO 式优势归一化（Shao 等）、GDPO 组件分项归一化（Liu 等）以及 PPO 式裁剪目标（Schulman 等、Yu 等）。评估使用 MobilePA-Bench，以及 LoCoMo、LongMemEval、BEAM、Claw-Eval、BFCL-v4、MCP-Atlas、Tau-3、Toolathlon、SWE-Multilingual、SWE-Pro、MMLU-Redux、C-Eval、IFEval 等。

总体闭环与任务形式化。系统由三阶段组成闭环：AI for Data 将执行反馈转化为任务与轨迹；AI for Training 用冷启动与在线 RL 学习策略；AI for Harness 在部署侧提供技能、记忆与执行反馈。中间评估使用 held-out 开发集而非最终基准测试集，开发任务及其轨迹不直接进入训练，但其结果与诊断出的失败模式用于指导后续数据生成、训练调整与 Harness 修订。训练/开发集结果与部署轨迹共同输入 AI 辅助诊断，诊断反过来指定定向任务、数据重加权与 Harness 修订；修订后的 Harness 指令又会塑造下一轮模型训练所用的上下文与轨迹，形成跨轮次互反馈。 任务形式化采用部分可观测交互：给定请求 x，底层状态 s_t 不直接暴露给策略；Harness 以指令配置 η 将动作–观测历史、检索记忆 m_t 与已加载技能 K_t 组装为上下文 c_t = H_η(x, m_t, K_t, o_{≤t}, a_{<t})，策略从当前可用结构化动作集 A_t 采样 a_t ∼ π_θ(·|c_t, A_t)。环境按 P_trans(·|s_t,a_t) 转移、按 P_obs(·|s_{t+1},a_t) 返回结构化反馈（工具结果、可观测状态变化或执行错误）。任务专用验证器 V(x, ξ_{t+1}, τ_{≤t+1}) 根据交互历史 τ 与执行证据 ξ 给出完成判定；ξ 可包含策略不可见的初始条件与后端状态记录。交互在验证完成、澄清/拒绝不安全请求或执行预算耗尽时终止。动作空间覆盖类型化工具调用、记忆访问与更新、技能选择与加载、澄清/拒绝及完成声明，主要走结构化工具而非像素 GUI 动作。不同后端可保留不同内部状态与执行机制，只要暴露兼容的任务/动作/观测/验证记录。 混合环境基础设施。三种后端以可扩展性、场景覆盖与执行保真度进行权衡。程序化沙箱按预定程序逻辑在结构化应用数据库上执行类型化工具调用，确定性转移、任务级重置与基于状态的验证支持高吞吐复现，但覆盖面限于已实现的工具与状态转移；LLM 模拟环境用语言模型生成难以用固定逻辑实现的长尾交互响应，扩大覆盖但可能与前序动作/状态不一致，轨迹须经任务级验证方可使用；真实设备环境在活体设备会话中执行，能暴露 OS 权限、认证服务、跨应用依赖与运行时变化，但交互成本高、并行受限、重置困难。任务与后端按执行需求匹配：状态变化明确可复现的任务优先沙箱，无合适固定实现的长尾交互用 LLM 模拟，依赖真实设备/服务行为的任务选择性使用真机。所有后端通过统一智能体侧接口进入同一数据与训练工作流；训练层与执行层分离，客户端–服务器环境管理层负责实例创建、调度、清理与重置。在线 rollout 中，策略 worker 经环境管理层与后端交互并逐步获得反馈；验证器判定完成，环境验证与轨迹检查决定哪些记录可进入训练；任务失败与无效执行记录被区分——不成功但有效的交互仍可提供学习与诊断证据。 数据飞轮。任务构建智能体把目标能力转为任务规格（用户目标、可用资源、初始条件、目标能力、完成准则），不预设单一参考轨迹，允许多个有效计划。构建同时覆盖场景（应用域、工具、意图、交互模式）与能力（信息获取、工具路由、参数接地、多步依赖、状态跟踪、恢复、验证完成），以便引入新的行为要求而非只增加熟悉场景样本。自动化 rollout 记录所选动作、环境反馈、中间结果、错误、重试、恢复尝试、完成证据与最终结果；成功轨迹提供规划/工具/任务闭环的候选监督，失败与未完成轨迹也被保留用于诊断。策展阶段把“完成验证”与“数据质量”分开：验证器判定完成与否，策展流程检查记录是否适合学习——归一化异构轨迹、去除畸形/重复样本、检查 schema 一致性与执行证据对结果的支撑；保留记录按能力打标签并关联失败归因。低置信、冲突、安全敏感或证据不足样本交人工审核。数据分为移动与非移动两组：移动数据覆盖跨应用规划、工具执行、状态跟踪、Memory、Skills、子代理协调、恢复与完成；非移动数据含通用智能体轨迹、编码任务与推理/指令遵循。资产分为验证交互轨迹（冷启动）与可重置任务实例（在线 RL）两类；采样权重跨移动/非移动、能力、难度与来源配置，而非按原始语料规模比例采样。反馈驱动细化在任务级与能力级进行：稳定掌握的任务降采样但保留保全集，完成不稳定的任务加权作为稳定化数据，工具路由/参数接地/状态跟踪/恢复/过早终止等失败归入定向修复集；能力级结合开发集结果与失败分布区分复发缺口与孤立错误，已有合适样本则调整采样比例，覆盖不足则让任务构建智能体生成目标能力/难度/工具组合的新任务。所有增删、权重、修复与隔离决定连同质量指标记录待人工批准，并以版本化历史链接能力缺口与数据更新。 训练：冷启动与 CARE。冷启动用策展数据做监督微调，学习任务分解、动作序列、工具使用、状态条件重规划与恢复；对轨迹中被标记为错误的模型动作轮次做掩码，最小化 L_SFT(θ) = −Z^{-1} Σ_{i,j} 1{j∉E_i} log π_θ(y_{i,j}|h_{i,j})，其中 E_i 为第 i 条轨迹的错误轮次索引集合，Z 为批次内未掩码模型 token 总数；执行反馈保留在上下文中，经验证的恢复轮次仍受监督。随后进行混合环境在线智能体 RL，把策略暴露在策略依赖的交互分布上，以强化长程规划、状态跟踪与失败恢复。 CARE 的直觉是：固定奖励设计无法同时适配不同能力组——成功稀疏的组需要可验证进度信号，结果混合的组应集中巩固任务完成，成功饱和的组可转向执行效率；而标准组内归一化在成功饱和后会过度放大微小效率差异。实现上，每组采样 G 条轨迹，规则验证器或评分式生成奖励模型给出二元成功 s_i，组成功率 s̄ 作为能力信号。三种区制按阈值分档：s̄∈[0,p_low) 为进度塑造，R_i = s_i + λ_prog R_prog,i；s̄∈[p_low,p_high) 为结果巩固，R_i = s_i；s̄∈[p_high,1] 为效率精炼，R_i = s_i − λ_eff e_i，e_i 为归一化执行成本惩罚，0≤p_low<p_high<1。LLM 控制器每 N 个策略更新步根据优化目标 P、近期训练统计 S_train 与开发集验证 M_val 配置 φ={λ_prog, λ_eff, p_low, p_high}，随后 N 步内保持固定并一致用于奖励调度与优势校准；各组仍按自身当前成功率选择区制。 优势校准的推导针对 GRPO 式标准化：效率精炼组 R_i = s_i − λ_eff e_i，组内均值与方差分别为 R̄ 与 σ_R² = s̄(1−s̄) + λ_eff²σ_e² − 2λ_eff Cov(s,e)。标准化优势 Â_i^std = (R_i−R̄)/(σ_R+ε) = [(s_i−s̄) − λ_eff(e_i−ē)]/(σ_R+ε)。当组完全成功时，成功项方差与协方差为零，σ_R = λ_eff σ_e，Â_i^std ≈ −(e_i−ē)/σ_e，λ_eff 近似抵消。也就是说，即使效率权重很小，成功饱和组的优势仍接近单位尺度，与混合成功组可比，削弱对任务成功的强调并可能鼓励过度压缩轨迹。论文拒绝分项归一化（会改变各成分在合成奖励空间中的有效权重并可能改变排序），改为保留合成奖励、用成功导出的下界锚定分母：σ_anchor = sqrt(p_high(1−p_high))，效率精炼区制用 max(σ_R, σ_anchor)+ε 归一化，其余区制仍用 σ_R+ε。成功饱和且下界生效时，校准优势的标准差为 λ_eff σ_e/(σ_anchor+ε)，保留对效率权重的依赖。最后最大化裁剪组相对目标 J_RL(θ)，对每 token 用重要性比 ρ_{i,t}(θ) 做非对称裁剪 [1−ε_low, 1+ε_high]。 Harness 与协同演化。Harness 定义模型、外部资源与执行环境之间的运行时边界：Scenario Adapter 离线编译工具 schema、完整工具-技能映射、能力域技能、路由说明与约束为版本化配置；请求时把已暴露工具视为候选集，选择对应技能、移除仅依赖不可用资源的规则、加入适用路由与多轮指令。Persistent Memory Manager 按功能组织持久状态：用户模型存稳定偏好与行为要求，情景记忆存详细观测与对话证据，长期记忆存合并事实/决定/可复用经验，前瞻记忆以显式激活条件、范围、过期与完成状态表示未来意图；不同记忆类型有不同访问与信任边界。记忆生命周期为 capture、validation、indexing、retrieval、consolidation、revision；每个记忆单元把简洁结构化摘要与来源元数据、原始证据链接；有界 AI 辅助处理用于摘要、合并、识别矛盾与生成候选更新，但须经 provenance、trust、recency、conflict 检查后才可固化，新证据以显式 supersede 旧记录。推理时检索结合语义与关键词匹配及相关性、时新性、重要性、多样性控制，并按请求结构（时序、跨会话聚合、变化事实）组织证据；检索记忆作为证据而非可执行指令，不获得调用工具或改变外部状态的权限。隐私上，私人用户记忆与共享智能体经验分离，共享前做去敏处理，来源可追踪，任务完成后清除原始处理数据。 协同演化以联合目标 J(θ,η) = E_{x∼D, τ∼p_{θ,η}(·|x)}[R_x(τ)] 表述，当前实现用交替更新逼近：θ^{(k+1)} = U_M(θ^{(k)}; B^{(k)}, η^{(k)}) 在固定 Harness 配置 η^{(k)} 下用轨迹 B^{(k)} 做 RL；更新后的模型在同一配置下于开发集评估得到反馈 F(θ^{(k+1)},η^{(k)})，LLM 编辑器 U_H 据此修订得 η^{(k+1)} 并用于下一轮训练。因此 Harness 修订不仅改变即时执行，还重塑后续模型学习的经验分布，把参数学习与上下文适配连成闭环。模型与 Harness 更新均离线审核、版本化，服务期参数固定。 规模与训练数据细节：开发两个基于 Qwen 骨干的 Planner Model（35B-A3B 与 27B）；实验命名上 Qwen-Planner-Model 为无 Harness 的纯模型，Qwen-Planner-Agent 为带 Harness 的完整系统。移动数据为训练核心，非移动数据提供补充监督，采样权重由反馈调整。

实验从移动规划性能与输出成本、长历史记忆、以及移动之外的一般智能体能力与通用能力保持三个角度评估系统。需要指出，所提供全文只包含长历史记忆评估、一般智能体能力评估与定性分析；引言与结论反复提及 MobilePA-Bench 的最高 Overall 分数与更低输出成本、以及模型–Harness 协同演化的消融支持，但对应主实验与消融表格未在本片段出现。长历史记忆评估在 LoCoMo、LongMemEval 与 BEAM 上对比无 Harness 的直接上下文推理与带 Harness 的持久记忆检索，并给出外部 Mem0 参考结果；结论是显式记忆的收益集中在更长历史设置，短历史基准变化不大、个别配对小幅回退。一般智能体评估在工具与编码基准上与同规模 Qwen 基线对比，同时报告通用能力以检查基础能力是否受损。定性分析通过执行轨迹展示记忆与实时状态协调、误导性确认下的恢复、技能先决条件、条件分支、工具失败替代与跨应用子代理交接。

1. Qwen-Planner-Agent 27B 在 MobilePA-Bench 上取得被评估模型与智能体系统中的最高 Overall 分数，且其每任务输出成本（含思维 token）低于成本比较中的商用 LLM。

   On MobilePA-Bench, Qwen-Planner-Agent 27B achieves the highest Overall score among the evaluated models and agent systems. Its estimated per-task output cost, including thinking tokens, is lower than that of the commercial LLMs in our cost comparison.

2. 在四组配对的 Qwen 模型上，Harness 在 BEAM-500K、BEAM-1M、BEAM-10M 上改善了每一个结果，均值分别从 42.18%、40.41%、23.42% 提升到 68.29%、70.27%、61.66%。

   Across all four matched Qwen model pairs reported in Table 3 , the Harness improves every result on BEAM-500K, BEAM-1M, and BEAM-10M, raising mean scores from 42.18% to 68.29%, from 40.41% to 70.27%, and from 23.42% to 61.66%, respectively.

3. 在截断协议下，没有任何直接上下文模型在 BEAM-10M 上超过 25.64；Qwen-Planner-Model 27B 在直接 256K 设置下于 LoCoMo 与 LongMemEval 分别得到 94.35% 与 95.00%。

   Under the truncation protocol described above, no direct-context model exceeds 25.64 on BEAM-10M. Qwen-Planner-Model 27B remains competitive in the direct 256K setting, scoring 94.35% on LoCoMo and 95.00% on LongMemEval.

4. 对 Qwen-Planner-Model 27B，加入 Harness 使 BEAM-500K 从 42.01% 升至 72.20%、BEAM-1M 从 40.12% 升至 73.71%、BEAM-10M 从 21.99% 升至 67.24%。

   For Qwen-Planner-Model 27B, adding the Harness raises BEAM-500K from 42.01% to 72.20%, BEAM-1M from 40.12% to 73.71%, and BEAM-10M from 21.99% to 67.24%.

5. 带 Harness 的最强结果分散在最长设置上：Qwen Baseline 27B 在 BEAM-1M 得 73.97%，Qwen-Planner-Agent 27B 在 BEAM-10M 得 67.24%、BEAM-1M 得 73.71%；直接上下文最佳为 54.84% 与 25.64%，官方 Mem0 结果为 64.10% 与 48.60%。

   The strongest with-Harness results are split across the longest settings: Qwen Baseline (27B) with the Harness achieves the best BEAM-1M score at 73.97%, while Qwen-Planner-Agent 27B achieves the best BEAM-10M score at 67.24% and scores 73.71% on BEAM-1M. For reference, the best direct-context results on BEAM-1M and BEAM-10M are 54.84% and 25.64%, and the officially reported Mem0 results are 64.10% and 48.60%.

6. Claude Opus 5 提供最强的直接上下文结果直至 BEAM-1M，在 BEAM-500K 与 BEAM-1M 上分别达到 73.63% 与 54.84%。

   Claude Opus 5 provides the strongest direct-context result through BEAM-1M, reaching 73.63% on BEAM-500K and 54.84% on BEAM-1M.

7. 在七个智能体基准上，35B-A3B 与 27B 变体分别有六个与五个相对 Qwen 基线提升。

   The 35B-A3B and 27B variants improve on six and five of these seven agentic benchmarks, respectively, demonstrating stronger capabilities across function calling, multi-tool interaction, and coding tasks, although gains are not uniform across benchmarks.

8. 通用能力方面，MMLU-Redux、C-Eval 与 IFEval 相对基线基本保持，仅出现小幅下降。

   Meanwhile, performance on MMLU-Redux ( Gema et al., 2024 ) , C-Eval ( Huang et al., 2023 ) , and IFEval ( Zhou et al., 2023 ) remains close to the baselines, with small decreases.

9. 表 4 显示：35B-A3B 的智能体平均分从 57.74 升至 62.31、通用平均分从 90.35 降至 89.92；27B 的智能体平均分从 67.91 升至 69.29、通用平均分从 90.05 降至 89.70，且 27B 在 Claw-Eval 与 SWE-Multil. 上有回退。

   Qwen Baseline | 35B-A3B | 72.83 | 60.63 | 59.40 | 67.94 | 29.30 | 65.67 | 48.43 | 57.74 | 89.67 | 90.45 | 90.94 | 90.35 Qwen-Planner-Model | 35B-A3B | 74.51 | 66.99 | 68.69 | 67.06 | 37.15 | 71.67 | 50.07 | 62.31 | 89.53 | 90.39 | 89.83 | 89.92 Qwen Baseline | 27B | 82.48 | 67.06 | 71.05 | 74.27 | 39.70 | 76.65 | 61.70 | 67.91 | 88.73 | 89.74 | 91.68 | 90.05 Qwen-Planner-Model | 27B | 79.58 | 73.60 | 73.25 | 74.95 | 44.02 | 74.89 | 64.71 | 69.29 | 88.67 | 89.30 | 91.13 | 89.70

10. 表 3 中 Qwen-Planner-Agent 27B 在带记忆 Harness 下的 LoCoMo、LongMemEval、BEAM-100K、BEAM-500K、BEAM-1M、BEAM-10M 与平均分分别为 94.93、96.60、75.35、72.20、73.71、67.24 与 80.01。

    Qwen-Planner-Agent | 27B | 94.93 | 96.60 | 75.35 | 72.20 | 73.71 | 67.24 | 80.01

Novelty：新意集中在中层机制而非底层模型。CARE 的“成功下界锚定”优势校准是对 GRPO 类组内归一化在成功饱和时放大微小效率差异这一具体缺陷的针对性修补，推导清晰，具有可复用价值；模型–Harness 协同演化把参数更新与运行时指令修订写成交替优化，使 Harness 修订同时改变即时行为与后续训练的经验分布，这一闭环视角比单纯“加记忆/加工具”更有方法意味。数据飞轮、混合环境与 SFT+RL 流水线本身多为已知组件（监督微调、PPO/GRPO 式目标、LLM 模拟环境、持久记忆）的工程集成，“AI-for-AI”更多是组织与流程层面的包装。因此整体 novelty 为中等：技术增量有限但定位明确，工程闭环的完整性是其主要新意。 Soundness：形式化与推导层面较扎实：任务形式化、CARE 的区制定义与优势校准推导自洽，冷启动掩码损失与裁剪替代目标表述清楚。评估设计上，长记忆实验用同 checkpoint 配对的 with/without Harness 对比，能隔离记忆机制的作用；一般智能体评估同时报告通用能力下降，诚实呈现非均匀增益。但可信度受限于：本片段未包含引言反复强调的 MobilePA-Bench 主实验与“模型–Harness 协同演化”消融表格，最高 Overall 与低成本结论无法在此核查；多处结果无方差/显著性检验，提升幅度（尤其短历史与通用能力上的回退）是否在噪声范围内未说明；Mem0 为外部参考，非同一 Harness 协议下的实测；LLM 控制器与 LLM 模拟环境的引入本身带来不确定性，但文中未给出其稳定性或成本消融。综合看，内部逻辑连贯、披露相对诚实，但关键证据缺失使 soundness 只能判为中等。 Significance：作为面向真实移动规划的规模化工程报告，其实践意义明显：给出从数据生产、训练到部署运行时的可运行闭环，说明如何用执行反馈驱动持续改进，并对成本与泛化有实证关注；对移动智能体与“模型+记忆/工具 Harness”的产业落地有参考价值。方法学意义上，CARE 的优势校准问题具有一般性，可迁移到其他以成功率分组的 GRPO 类在线 RL；协同演化视角也提示部署上下文与训练分布应联合考虑。不过，由于缺少主实验与消融细节、依赖内部/自报基准与特定模型规模，其对学界的可复现贡献暂时受限；其最大价值可能在于工程经验与问题刻画，而非可严格外推的科学结论。

一是文本完整性：所给全文从第 3 节直接进入长历史记忆评估，缺少 MobilePA-Bench 主结果与对应小节，且引言、结论所称消融研究支持模型–Harness 协同演化的证据不在可见范围内，导致性能、成本与协同演化收益无法独立核验。二是统计严格性：所有表格均无置信区间或多次运行方差；长记忆实验中短历史基准个别配对回退、一般智能体 27B 在 Claw-Eval 与 SWE-Multil. 的回退，未判断是否显著。三是比较公平性：Mem0 官方结果是外部参考而非同一 Harness 协议实测；商用 LLM 的成本比较细节与输出 token 口径未给出。四是自动化与人工依赖：数据细化、训练调整与 Harness 修订仍多处需要人工审核，LLM 控制器的行为边界与失效模式未评估；未来工作也承认要减少人工干预。五是环境保真度：LLM 模拟环境可能不一致，真实设备样本少，混合环境与真实部署之间的性能差距未被系统量化。六是隐私与安全主张：Memory 安全机制只做了设计描述，没有攻击/泄漏评估或红队实验。七是范围：仅验证 35B-A3B 与 27B 两个规模，CARE 各组件（进度塑造、锚定校准、控制器频率）缺少单独消融，难以归因。八是形式化假设：任务专用验证器与可靠完成准则在真实开放任务中不一定可得，框架对此的依赖较强。

建议后续工作：其一，补全并公开 MobilePA-Bench 主实验、CARE 对标准 GRPO/GDPO 的受控消融（同预算、多种子、报告方差），以及模型–Harness 协同演化多轮曲线，说明收益是否递减或需要更多轮次。其二，对 CARE 做组件级消融：仅进度塑造、仅锚定校准、不同 p_low/p_high 与控制器更新频率 N 的影响，并测试锚定下界在其他成功饱和任务中的泛化。其三，把 LLM 控制器的调用成本、失败率与配置稳定性纳入评估，研究更便宜的程序化控制器或贝叶斯调参替代。其四，在更小与更大模型规模上验证训练配方与 Harness 收益的可扩展性，避免结论局限于两个模型。其五，对 Memory 做安全/隐私红队：记忆注入、跨用户泄漏、过期数据复用、去敏不彻底等攻击面，并量化误检索与错误记忆对下游任务的影响。其六，建立统一协议下与 Mem0 及更多外部记忆系统的公平比较，区分“检索机制收益”与“底层模型能力”。其七，探索减少人工审核的自动化机制（如基于置信度与可追溯证据的自动批准、冲突检测的自动升级），并保留安全关键决策的人类控制。其八，检验 AI-for-AI 闭环在非移动域（如企业工具、浏览器、代码代理）的可迁移性，报告数据飞轮与 CARE 在域外是否同样成立。

Reinforcement learning has become a central component of large language model (LLM) post-training, yet token-level credit lacks a generally accepted mathematical definition, leaving its relationship to commonly used training signals unclear. We formulate three regularity conditions, namely Completeness, Prefix Consistency, and Neutrality, and prove that they uniquely determine token-level credit. This characterization provides a unified basis for explaining phenomena across existing algorithms and guides the development of an improved actor-critic training procedure. Through this lens, an ideal teacher in On-Policy Distillation (OPD) acts as an implicit critic, yielding an expected policy gradient proportional to that induced by token-level credit. Response-level REINFORCE Leave-One-Out (RLOO) signals match the expected policy-gradient contribution of token-level credit despite their coarser granularity. We further establish approximate credit sparsity under bounded outcome rewards and

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。