2026-10-04

X-Tree 把 agent 轨迹当作文本字符流来“分词”：它从轨迹池中确定性挖掘一棵可复用的 eXperience 树，节点是高频且成功承载的动作组合，全程不调用 LLM。论文的核心主张是，flat SFT/RLVR 把每个 token 同等加权，浪费了跨任务反复出现的子过程层级；X-Tree 恢复这一层级，并把它作为数据、奖励和上下文三种形态注入训练：offline RL（节点作为训练实例）、online RLVR（自适应技能奖励）、OPSD（自教师的特权上下文）。作者在 WebArena、ScienceWorld、WebShop 三个环境、三个模型规模上，以匹配数据与预算的对照，声称 X-Tree 稳定超过标准配方，并宣称收益来自树结构与三种集成设计。

多步 agent 通常在 flat action stream 上训练：SFT 和 RLVR 对每个 token 均匀加权，忽略了跨任务反复出现的子过程（如 browse-and-select、pick-up-and-move）和人类自上而下规划所用的层级结构。轨迹数据里存在这种层级，但训练目标没有利用它，导致每条稀缺轨迹被利用得不充分。经验本身很稀缺：轨迹由人类收集或模型合成并验证，环境要搭建、任务要编写、验证器要可信，这些都无法像 web text 一样规模化。已有工作有两种路线但都有缺陷：OpenClaw 等 harness 让 LLM 把过去经验总结为自然语言 workflow 并在上下文中回放，但知识没有压进权重，无法超越检索泛化；on-policy self-distillation（OPSD）把 LLM 写的技能作为自教师的特权上下文引入训练，但仍依赖 LLM 撰写抽象，昂贵、不可控且无法从数据本身复现。语言模型在文本上早已解决类似问题：基于共现的 BPE tokenizer 递归合并相邻字符对，构建结构化词表。本文把这一思想迁移到经验上，但做两处改造：先对动作做 canonicalization 以消除噪声，再用“可复用性”而非纯频率选择合并。相关工作包括 WebArena（Zhou et al., 2023）、ScienceWorld（Wang et al., 2022）、WebShop（Yao et al., 2022）、GRPO（Shao et al., 2024）、OPSD（Zhao et al., 2026; Lu et al., 2026）以及 ScienceWorld 泛化 fold（Zhang et al., 2025）。论文的空白是：没有方法能在零 LLM 调用下从轨迹池本身恢复层级并用它指导训练。

核心机制分两部分：X-Tree 挖掘（§3.1）和三种训练集成（§3.2–3.4）。 【X-Tree 挖掘】设轨迹 τ = a1…aT，带 episode 级成功标签，D 为目标域轨迹池。类比 BPE：文本 tokenizer 递归合并最频繁相邻对；本文对经验做两处改造。 1) Canonicalization：把每个 raw action（排除 thought）映射为 typed token `verb⟨role⟩`，role 是动词作用的对象类别。例如 `fill(bid,'2/2/26') ↦ type⟨date⟩`；element id、object name 等值被剥离但保留在 slots 中，做到确定性、完备、信息不丢失；Chain-of-Thought 从不进入字母表。ScienceWorld 上 object class c(·) 用九类关键词词典（door/instrument/paint/container/device/plant/animal/substance/location），因此“move thermometer to metal pot”和“move thermometer to ceramic cup”都成为 `put⟨container⟩`，而区别于“move thermometer to stove”。结构化相同的动作共享符号，使复发可见。 2) 𝒳-Score：衡量合并出的技能的可复用性。设 u、v 为相邻符号（各为 canonicalized action 或早先合并出的节点），候选 uv 合并二者。f_uv 是相邻出现次数，ℓu 是符号 u 展开成的 primitive action 数，succ(uv) 是 f_uv 中落在成功 episode 的比例。定义 𝒳(u,v) = f_uv · (ℓu+ℓv)^pℓ · (succ(uv)+ε)^ps pℓ、ps 默认取 1，ε=0.001 平滑成功率。因此“长、可靠、复发”的结构会超过“频繁但短或易失败”的 pair，这是纯文本 tokenizer 无法区分的。同时合并必须压缩语料：仅当 f_uv − 1 > η(ℓu+ℓv) 才合并，η 防止语料塌缩成少数巨大符号（WebArena 0.3，ScienceWorld/WebShop 0.5）。递归选择 𝒳-Score 最高的 pair 合并，直到没有 pair 通过压缩条件或达到技能 cap。结果是一棵确定性、可审计的树：叶子是 canonicalized action，内部节点是技能（skill），深度 d_v 比其较深子节点深一层。把 X-Tree 施加到一条轨迹得到 top-level tiling：分割成极大已挖掘技能，未覆盖位置保留为 primitive。X-Tree 因此是“reuse prior”：标记轨迹中哪些部分是复发、组合且成功承载的。 【集成一：Offline RL，每个节点一个 RL 实例】只有 D 没有环境，唯一信号是与 gold 轨迹一致。设节点 v 在标注轨迹位置 t 实例化，长度 ℓv、深度 dv。条件于 t 之前的 gold 动作与观测（prefix s_<t），策略最多生成 ℓv 步。match_j∈{0,1} 表示第 j 步是否复现 gold 动作（同 action 且同 element）；若 match_j=1，拼接 gold 轨迹中第 j 步的观测，否则 rollout 停止，因此从不虚构观测。c_v = ∏ match_j，仅当节点每一步都匹配时为 1。GRPO 奖励为 r = (1−α)·(1/ℓv)·Σ_j match_j + α·(1+γ·d_v)·c_v α=0.3、γ=0.5。第一项是 step-matching reward（rollout 在 gold 路径上走了多远），第二项是带深度缩放的 node completion bonus（完成节点的奖励）。论文例：`date filter` 节点填两个日期并点击 apply（ℓv=3，dv=2）；完整复现得满匹配分加深度缩放完成奖励，过早点击 apply 在第二步停止只拿 1/3 匹配分且无完成奖励。 【集成二：Online RLVR，自适应技能奖励】有环境和验证器。训练早期，一组 rollout 全失败时 GRPO 优势为零、无梯度；X-Tree 提供缺失的对比：执行更多已挖掘技能的 rollout 被区分出来，并在验证器自己变得有信息时下调权重。设 τi 为组 g 的第 i 个 rollout，R_out(τi) 为验证器奖励，matched(τi) 为动作序列出现在 τi 中的 X-Tree 节点（每 episode 只计一次），b_v 为执行节点 v 的奖励。w_g 是组内验证器判为成功的比例，w_ref 是阈值，λ_g 是奖励权重： r_i = R_out(τi) + λ_g·Σ_{v∈matched(τi)} b_v λ_g = λ0·clip(1 − w_g/w_ref, 0, 1) λ0=0.75；ScienceWorld w_ref=0.4、WebShop w_ref=0.85。没有 rollout 成功时 λ_g 满强度，一旦 w_g 达到 w_ref 就归零。b_v 按环境设计：ScienceWorld 用 b_v = 1 + γ·d_v，每 episode 授予一次；当两个技能嵌套时，外层只奖励其 b_v 与内部已奖励最大值的差，嵌套族贡献其最大成员的值而非求和。WebShop 用 b_v = s_v·k_v/T：语料成功率 s_v × 节点中对任务目标有帮助的步数 k_v，除以 episode 长度 T（表中 ×10）。帮助机制有三：i) λ_g 依赖组内 win rate，n=2 时取 {0,½,1}；ii) 全失败组中 outcome 项抵消，组内梯度完全由 X-Tree 节点匹配驱动，保持训练存活；iii) 退火随能力而非步数。 【集成三：OPSD 特权上下文】OPSD 训练模型在自己的 rollout 上逼近一个“同样的模型 + 特权信息”的教师。设学生为 prompt s_stu 采样响应 y，教师用同一 prompt 前置检索到的 X-Tree 技能文本 s_tea，θ̄ 为教师冻结权重。逐 token 差距 δ_t = log π_θ̄(y_t|s_tea) − log π_θ(y_t|s_stu)，置信门 g_t = σ(β·δ_t)（σ 为 logistic，β 为锐度）：教师在技能文本下更自信的 token 上接近 1，学生更自信处接近 0，因此只在这些 token 上把学生拉向教师。目标在 RL loss 上加一项： L = L_GRPO(R_out) + c·(1/|y|)·Σ_t g_t·(log π_θ̄(y_t|s_tea) − log π_θ(y_t|s_stu)) c=0.01，ScienceWorld β=5、WebShop β=0。最小化该项会提升特权上下文认为更可能的 token 的学生概率。X-Tree 渲染为纯文本：每个节点一行，带成功率和出现次数，无 LLM 调用。 【训练与数据细节】WebArena：从 7,974 条轨迹挖 256 个技能，Qwen2.5-7B-Instruct，先在一半池上 SFT，再对另一半 X-Tree 节点做 GRPO（verl），评估 694 个确定性任务。ScienceWorld：从 1,673 条轨迹挖 80 个技能，200 条轨迹 SFT warm start，GRPO n=8、100 步，评估 G0/G1/G2。WebShop：从 1,824 条轨迹挖 48 个技能，500 条轨迹 SFT warm start，GRPO n=8、150 步，512 个 held-out episode 上评估 success 与 graded score。OPSD 与 RLVR 共享 X-Tree、SFT warm start 和评估；LLM 技能库为 ScienceWorld gpt-oss-120b、WebShop GPT-o3。所有 online 运行同规模同环境从同一 warm-start checkpoint 开始。

论文在三个环境、三个模型规模上验证三种集成，全部在匹配数据与预算下与标准配方对比。WebArena 的 offline RL 实验显示，X-Tree 节点作为 RL 实例并配以 step-matching 与深度缩放完成奖励，显著超过 full-data SFT，且收益集中于过程密集站点；消融逐项替换树结构和奖励设计，表明增益同时来自 𝒳-Score 挖出的结构与 RL 方法。ScienceWorld 与 WebShop 的 online RLVR 实验显示，自适应 X-Tree 奖励在 seen 与 held-out fold、success 与 graded score 上一致领先 outcome-only GRPO，并且在验证器信号稀疏（rollout 组小）时帮助最大、信号密集时自动退火。资源匹配与少轨迹挖掘实验表明增益不是来自额外挖掘语料，少量轨迹即可。OPSD 实验显示 X-Tree 作为自教师特权上下文与 LLM 撰写的技能库相当，无需任何 LLM 调用。另有迁移性实验支持方法跨模型家族与更大规模有效。

1. WebArena 上 offline RL + X-Tree 在匹配数据与预算下取得对 Go-Browse full-data SFT 的相对收益。

   offline RL with X-Tree reaches a 24 % 24\% relative gain over Go-Browse recipe (SFT-Full) (Table 1 , 22.9 22.9 vs 18.4 18.4 ).

2. offline RL 收益集中在过程密集站点，admin、gitlab、shopping 提升最大。

   admin improves the most ( + 6.4 +6.4 SR), followed by gitlab, the most procedure-intensive site ( + 5.2 +5.2 SR), and then shopping ( + 4.9 +4.9 SR).

3. 消融表明树结构本身贡献增益：整条轨迹、随机 span、随机树均低于 X-Tree。

   Training on the whole trajectory with the same RL stage drops 3.0 3.0 . Random span matches the count and length histogram of X-Tree, which keeps the chunking but moves the boundaries, which drops 3.4 3.4 . A random tree with the same number of merges, which replaces 𝒳 \mathcal{X} -Score by random, drops 5.0 5.0 , below SFT-only ( 18.4 18.4 ).

4. offline 奖励设计同样重要：去掉深度缩放完成奖励（plain mixing 或 curriculum）会损失性能。

   Plain mixing trains without completion bonus in Eq 2 , which drops 2.2 2.2 . Curriculum also removes the completion term and trains bottom-up by d v = 1 d_{v}{=}1 then 2 2 , …, which drops 1.7 1.7 .

5. 轨迹级二值 outcome 奖励太稀疏，明显不如 X-Tree 的 step-matching + 完成奖励。

   A binary trajectory-level reward drops 4.7 4.7 , showing that the outcome signal is too sparse to learn the multi-turn reasoning.

6. ScienceWorld online RLVR 上，X-Tree 奖励在 seen 与 held-out fold 上均领先 outcome-only GRPO。

   On seen tasks (G0, G1), X-Tree integration is above outcome-only GRPO in all comparisons and scales well with model sizes (by up to 4.9 % 4.9\% SR). On held-out tasks (G2), X-Tree leads at every scale, by up to 3.9 % 3.9\% SR.

7. WebShop 上自适应 X-Tree 奖励同时提升 success 与 graded score。

   The adaptive X-Tree bonus improves success (by up to 3.6 % 3.6\% ) and graded score (by up to 4.6 % 4.6\% ).

8. 自适应奖励在验证器信号稀疏（小 rollout 组）时帮助更大，验证其设计窗口。

   Our recipe is ahead in 11 / 12 11{/}12 cells. The gain is larger at smaller rollout size (from 3.6 3.6 to 4.4 4.4 at n = 4 n{=}4 ), where outcome-only GRPO receives less reward signal.

9. 从少量轨迹挖掘的 X-Tree 仍有效，说明增益来自结构而非挖掘语料规模。

   The 100-trajectory X-Tree is already above outcome reward with 500 sample SFT warm start ( 75.2 75.2 vs. 73.8 73.8 ). Success reaches 76.5 76.5 with full corpus, not monotonically in between, showing the robustness and efficiency of building X-Tree.

10. OPSD 中 X-Tree 作为自教师特权上下文与 LLM 撰写的技能库相当。

    our rendered X-Tree is comparable to the LLM-written bank, ahead at most of the runs (by up to + 3.7 +3.7 on ScienceWorld and + 1.7 +1.7 on WebShop).

11. OPSD + X-Tree 的收益随模型规模增大，7B 上最明显。

    At 7B, OPSD reaches + 5.8 +5.8 SR on ScienceWorld and + 4.4 +4.4 graded score on WebShop, while at 1.5B and 3B the gains stay within a few points.

12. offline X-Tree 配方可迁移到更大规模和另一模型家族。

    On Qwen2.5-14B, our recipe adds + 1.6 +1.6 over full-data SFT. On GLM-4-9B, it adds + 2.0 +2.0 over the SFT-full recipe.

Novelty：核心新颖点是把 BPE“按共现合并”的思想迁移到 agent 经验，并引入成功感知的 𝒳-Score（复发 × 长度 × 成功率）与压缩门槛，得到零 LLM 调用的确定性技能层级。这比已有的 LLM 写技能库（只存在于 context）更“可训练”，比纯频率 tokenizer 更贴合强化学习信号。三种集成（作为数据、奖励、上下文）构成系统的“一次挖掘、多处使用”框架，其中离线节点即实例 + step-matching/深度完成奖励、在线自适应技能奖励的退火设计都有一定新意。但 GRPO、RLVR、OPSD 本身是借用组件，canonicalization 与技能库检索是手工模板，新意集中在前端挖掘与奖励塑形，属于方法组合式的创新而非范式突破。总体判断：novelty 中等偏上。 Soundness：实验设计大体严谨：同数据同预算对照、逐项消融（整条轨迹/随机 span/随机树/plain mixing/curriculum/二值 reward）、验证奖励窗口的 rollout 数扫描、资源匹配挖掘、held-out 语料重挖、跨模型家族与规模迁移、三 seed 均值。机制层面，λ_g 的动态分析和“全失败组中 outcome 项抵消、梯度由技能匹配驱动”的解释清楚。但仍有关切：只覆盖三个模拟环境，泛化证据有限；X-Tree 挖掘依赖 episode 级成功标签，成功标签噪声会直接进入 𝒳-Score；canonicalization 是每个环境手工编写的模板，可能把设计者先验藏进“从数据挖掘”的叙述中；WebArena 采用归一化 SR 与官方 SR 并列，二者有差异；OPSD 对 LLM 库的优势较窄，部分比较接近持平；统计检验主要在附录，正文多给点估计。总体上方法推导与消融内部一致，soundness 尚可，但外部效度与部分基线结论需要更谨慎解读。 Significance：针对“有限经验下高效训练多步 agent”这一真实瓶颈，提出不依赖 LLM、可审计、可复现的技能挖掘与三路集成，工程上可直接接入 verl/GRPO/OPSD 管线，实用性较高。若方法在更多环境成立，它有潜力降低对 LLM 撰写技能库的依赖，并让离线轨迹被更充分利用。但当前收益幅度中等，且未展示跨域复用同一棵树或三集成联合使用，限制了“通用经验 tokenizer”这一叙事的分量。对社区的意义更多是提供了一个清晰、可扩展的“经验结构化 + 训练集成”模板和一批可对照的消融结论，而非颠覆性提升。总体 significance 中等。

论文自陈的局限：X-Tree 从固定池挖掘一次，未随训练或策略自身 rollout 迭代改进；三种集成只在各自 setting 中评估，从未组合成单一模型；X-Tree 只重组已有经验，不能创造新技能；它记录哪些 pair 复发、哪些成功，从而标记语料稀薄处，可用于指导轨迹合成，但本文未做。其他可指出的局限：canonicalization 模板是每环境手工编写，跨环境需要重新设计，且剥离值（element id、object name）保留了信息但技能本体仍是类型级，实例级泛化依赖前缀与检索；挖掘需要 episode 级成功标签，失败轨迹中的潜在好子过程只能通过成功率平滑间接利用；CoT 被排除在字母表外，可能丢失可复用的推理子程序；WebArena 评估混合官方 SR 与归一化 SR，绝对数字的横向可比性需谨慎；OPSD 的增益依赖基础模型读懂技能文本，小模型上优势有限；统计显著性与误差棒主要在附录，正文结论以点估计呈现。

最直接的方向是闭环挖掘：从策略自身 rollout 中不断重挖/更新 X-Tree，让结构与策略互相提升，并验证结构是否随训练进化出更高层技能。其次是把三种集成合并到单一模型（用 X-Tree 节点做离线数据、同时加自适应奖励、再以 X-Tree 为 OPSD 特权上下文），检验信号是否叠加。第三是跨环境/跨域共享或迁移 X-Tree：一棵树能否作为多任务 agent 的通用动作原语库。第四是用 𝒳-Score 的“复发但低成功”区域反向定位语料缺口，指导轨迹合成与主动数据采集。第五是扩展 canonicalization 到含推理/思维链的 span，把可复用“思考-动作”子过程也纳入树。第六是改进 OPSD 的检索与渲染（当前为关键词规则与固定模板），引入更精细的 retriever 或可学习嵌入。最后，为 𝒳-Score 的压缩/最优合并提供理论刻画，并在更长时程、更真实的 agent 基准上做规模化验证。

本文定位在"预训练模型到底能进行多长的上下文引用追踪、以及一个微小参数编辑能否解锁这一能力"的交叉点上。它不把模型能力等同于默认输出，而是明确区分"默认短计算"与"在特定干预下可获得的计算"，并用受控的变量引用链（reference chains）作为可量化的探针。论文连接三条线索：十三个基础模型与两个循环模型族的短默认计算、单层秩-8 LoRA 带来的长链外推、以及因果机制与放置位置的前瞻性测试。它把 LoRA/ReFT 式表示干预、induction-head 式父行注意力、循环深度模型的迭代计算、多跳问答中的组合能力串成一条机制叙事，核心贡献不是新的基准分数，而是解释"为什么极小的编辑能改变序列级的计算结构"。

任务层面，论文使用"引用链"程序：一个程序含 c 条链，每条链 d 个赋值，后接查询与 Output:。根赋值存一个单 token 名词，后续每行引用前一个变量名；链长计入根赋值。例如 K=apple|M=pear，B=K|Q=M，D=B|R=Q，print(D) Output:，答案是 apple。排列方式有两种：level order（按深度分组、层内打乱）与 interleaved（随机合并但保持定义先于使用）。评估指标分为 choice accuracy（只在各链根值之间比较，chance 为 1/c）与 exact accuracy（正确根值须在整个词表排第一）；reach 定义为至少 80% 准确率下能跟随的最长链，线性插值。 模型层面，面板包括 Qwen3、Llama、OLMo-3、Gemma-3 的十三个基础模型、DeepSeek-V4-Flash（292B MoE），以及循环模型 Ouro-1.4B/2.6B（每循环 24/48 层，训练时四个循环）和 Huginn-0125（四层循环核心，平均 32 次递归）。文献背景上，Sanford 等与 Saunshi 等表明 transformer 原则上能实现更长的引用跟随计算；Meng 等的因果追踪、Olsson 等的 induction heads、Hu 等的 LoRA、Wu 等的 ReFT、Jin 等的 FLAS 提供了方法与概念工具；循环深度模型与多跳 QA（Press 等、Yang 等）提供了外推与组合能力的讨论语境。论文的关键问题是：默认行为停止得早，是否意味着权重本身不具备该能力，还是缺少一个启动条件。

核心设计是一个施加在残差流上的低秩表示编辑，即 DiReFT 形式的干预。设隐藏宽度为 n，在某层输入处对隐藏状态 h 施加： h ← M(h) = s·h + B·A·h， 其中 A∈R^{8×n}、B∈R^{n×8}，s 是标量，无偏置；实现中的 RMS 因子相互抵消，因此等价于 (sI + BA)h。该映射逐 token 独立作用，完全不跨 token 通信，跨 token 的信息传递全部由冻结的注意力与 MLP 层承担。这是机制叙事的关键：LoRA 本身并不"执行"链式推理，它只改写程序 token 的表示，使冻结层中已经存在的计算被启动并延长。学习到的 s 通常极接近 1（标准 Qwen 与 Ouro LoRA 分别为 1.0006 与 1.004），说明干预主要是低秩部分 BA 在起作用。 训练与数据细节：Qwen 的 LoRA 进入第 14 层，训练链长到 20；Ouro 的进入第 6 层并用四个循环训练；更长训练版本看到至多 40 行与更大的名字词表；Huginn 看到至多 24。初始化 A 为独立正态 N(0, n^{-1/2})，B=0，s=1。AdamW 学习率 1e-3，无权重衰减，梯度裁剪为 1。标准配方 1200 步、batch 16 条双链 level-order 程序；长版本 2000 步。每步在答案交叉熵之外，对 8 段 160-token 的 WikiText-103 训练段落加权 1 地加上 KL(p0‖pM) 文本惩罚，用作对通用行为的受控度量（WikiText 困惑度变化极小）。 默认计算为什么短：因果恢复显示根值在其源 token 处保留到很晚，直到查询 token 在很靠后的层（Qwen3-8B 约第 32/36 层）接管并复制根值；指针效应离开源 token 的区间很窄，跨 16–64 层模型的 W80 宽度约为 7.1±1.4 层，且几乎不随深度增加。程序侧的"中继"（对每个赋值行用线性读出预测其链身份，75% 准确率视为可读）在冻结模型中只推进到第 3–5 行就停止；查询只能再解析一两个最近的指针。换言之，网络在指针读取结束后继续计算，但不再延长链。 LoRA 如何改变机制：施加 LoRA 后，中继在一个短而集中的中间层窗口内推进——Qwen3-8B 在层 16–22 的输出处，可读行数依次扩展到 5、6、6、8、9、13、16；对重定向指针做因果恢复，其效应先出现在越来越靠后的程序行，再于约层 25 起出现在查询 token。注意力测量显示，冻结模型只有"父行"注意力稳定区分自身链；有 LoRA 后，注意力逐层读到更早的 2、3、4、6、7 行，且是渐进增长而非指针翻倍式的跳跃。承担长读的注意力头在冻结模型中就已存在：原本只读父行的头接管了更长距离的读取。父行注意力是必要条件：在层 14–22 移除每个指针对其父行的注意力，长链答案回落到随机水平；在层 23–29（中继完成之后）移除同样边则几乎无影响。 链身份如何被传递：线性探针显示，名字信息在 LoRA 后能沿链向下传播到更早的行；阻断父行注意力会削弱远处名字的解码。这支持一种算法直觉——父行注意力把"名字集合"带下来，长距离注意力用这些名字找到本链更早的行；一旦某行的链被解析，名字信号就消退。关键控制是：LoRA 自身不跨 token 交换信息，只施加于程序 token 就保留增益，只施加于查询 token 只增加很少的行数；且链身份后来占据更宽的残差流，而非仅 rank-8 子空间。在循环模型中，该中继在每循环的层 7–15 内推进，第一循环单独施加 LoRA 就能让后续未修改的循环继续推进约 25 行，说明冻结循环体自身承接了延长的计算。 放置位置的机制解释：干预必须发生在"有用的中间层计算仍能跟随它"的时点。Qwen 的 LoRA 从第 20 层移到第 21 层，reach 出现陡降（20.5→5.2 行）；循环模型中，只在最后一循环施加于层 6 有效、施加于层 20 无效，即便层 20 之后仍有大量层，说明关键不是剩余总层数，而是后续是否还有可承接中继的中间层窗口。冻结模型上的 cutoff 定义为：在三行三链程序上，恢复某指针自身 token 能恢复其效应小于一半的首个层（对第 2、3 行指针取平均）。该测量试图在不训练的情况下预测放置上限。预训练检查点对照与从头训练的循环小模型进一步表明，这一能力随训练逐步解锁，LoRA 只是"提前启动"了权重中已具备的长读取潜力。

论文实验分阶段推进。第一阶段测量默认行为：跨模型面板与循环模型族评估引用链追踪，发现层数增加与循环次数增加并不自动延长可靠追踪，程序侧的中继在很短的中间层窗口内停止，查询只能多解析一两个指针。第二阶段评估干预效果：在单层施加低秩表示编辑并冻结其余全部权重，显著提升长链准确率，循环模型可外推到训练链长的数倍，重入中间层与多种表示干预在同一位置有效，而较晚位置接近随机。第三阶段验证机制与放置：用因果恢复、线性读出、注意力差分、父行注意力消融与匹配随机对照，证明中继由冻结层承载、父行注意力必要、链身份在残差流中传递；放置存在陡峭界限，冻结模型测量可大致预测该界限；最后在虚构多跳与 MuSiQue 上验证任务迁移与早层偏好，且早层投影 LoRA 保留大部分全层增益。

1. 十三个基础模型可靠跟随的链长很窄，中位数为 2.2 行，说明深度本身不自动带来长引用追踪。

   Thirteen pretrained base models reliably follow only 1.4–3.6 lines (median 2.2).

2. 在 Qwen3-8B 上，一个只增加 65,537 个参数（不足模型 0.01%）的单层秩-8 LoRA 把 24 行链的精确准确率从 15.5% 提升到 99%。

   In Qwen3-8B, this trains 65,537 added parameters, under 0.01% of the model, and raises exact accuracy on 24-line chains from 15.5% to 99%.

3. 在更长链上训练的 LoRA 能把 Qwen3-8B 的单次前向可达长度推到 50 行，并在 40 与 48 行链上大幅超过冻结模型。

   A longer-trained LoRA answers 40-line chains at 98% and 48-line chains at 88%, versus 4% and 9% frozen, reaching 50 lines.

4. Ouro-1.4B 的长训练 LoRA 在四个循环后达到 60 行、八个循环后至少 160 行，且 160 行准确率为 87%，达到最长训练链的四倍。

   Its longer-trained LoRA reaches 60 after four loops, about 146 after six, and at least 160 after eight (Fig. 3 ); 160-line accuracy is 87%, at four times the longest training chain.

5. 冻结的 Ouro-1.4B 即使增加循环次数也几乎不延长追踪，一到五个循环后的 reach 都很低。

   Ouro-1.4B's three-chain reach is 0, 1.6, 2.3, 2.2, and 2.2 lines after one through five loops.

6. 施加 LoRA 后，Qwen3-8B 的链身份中继在层 16–22 输出处逐层推进，最终使 16 行全部可读。

   With the LoRA, Qwen3-8B's relay reaches lines 5, 6, 6, 8, 9, 13, and 16 at the outputs of layers 16–22 (Fig. 4 ).

7. 在中继层窗内移除父行注意力使六、八、十二行链回到随机水平，而在中继完成后移除同样边则几乎不损害答案。

   Removing each Qwen pointer's attention to its parent in layers 14–22 returns six-, eight-, and twelve-line chains to chance (53%, 48%, and 55%). Removing the same edges after the relay, in layers 23–29, leaves 100%, 100%, and 98%.

8. 在交错十六行链上，删除十个父行读取头显著降低选择准确率，而删除匹配随机头几乎无影响；删除八个长读取头也有明显损害。

   In Qwen3-8B on interleaved sixteen-line chains, removing ten parent-reading heads lowers choice accuracy from 89% to 53%, versus 83% after removing ten random heads matched by layer. Removing eight longer-reading heads leaves 65%, versus 90% for eight matched random heads.

9. 放置位置存在陡峭限制：把 Qwen3-8B 的 LoRA 从第 20 层移到第 21 层，reach 从 20.5 行骤降到 5.2 行。

   Holding LoRA rank, data, and optimization fixed, moving the Qwen3-8B LoRA from layer 20 to 21 lowers reach from 20.5 to 5.2 lines (Fig. 6 ).

10. 冻结模型 cutoff 预测的平均绝对误差为 2.25 层，优于 45% 深度与值复制层减 11.5 两个基线，但事后规则基本与之持平。

    Its mean absolute error was 2.25 layers, versus 3.45 for 45% of depth and 3.37 for the value-copy layer minus 11.5.

11. 在虚构实体的两到五跳问题上，Qwen3-8B 的 LoRA 把精确匹配从 41.2% 提升到 97.4%，并外推到未见过的六跳问题。

    A Qwen3-8B LoRA trained on two- to five-hop questions raises exact match from 41.2% to 97.4% over 500 paired questions, a gain of 56.2 points [51.8, 60.6].

12. 在 MuSiQue 开发集上，最早测试层的 LoRA 在三个模型上分别带来两位数的精确匹配提升，支持早层放置偏好。

    On 900 development questions, LoRAs at the earliest tested layers add 11.4, 9.4, and 17.9 exact-match points in Qwen3-8B, OLMo-3-7B, and Llama-3.1-8B (Fig. 7 ).

Novelty：新颖性偏正面。单个低秩表示编辑提升长链外推本身并不全新（LoRA、ReFT、FLAS 都已有），但本文的新意在于把"默认短计算"和"可通过微编辑获得的长计算"作为明确对比对象，并给出一个可操作的机制解释：父行注意力头被启动为长读取、链身份经中间层中继传递。更具新意的是"放置位置的陡峭限制 + 从冻结模型预测 cutoff"这一前瞻性视角，以及循环模型中"第一循环 LoRA 即可让后续未修改循环继续中继"的发现。它把能力解锁问题从"权重有没有能力"转化为"干预是否发生在中继仍可跟随时"，为表征干预文献提供了一个因果定位框架。 Soundness：严谨性总体较好。受控任务定义清楚，指标、样本量、置信区间、种子与文本 KL 控制都有交代；机制结论有因果恢复、线性读出、注意力差分、父行注意力消融、匹配随机头对照、预训练检查点与从头训练对照等多方支撑。主要弱点是：放置预测在五个开发模型上选择后，再在四个留出模型上检验，且事后规则"48% 深度"与之几乎持平，削弱了"前瞻测试优于相对深度"的说法；MuSiQue 的层选择没有留出划分；最长链的循环结果使用 level order 且 LoRA 每循环都施加；因果测试约束了计算但并未唯一确定算法。这些问题不影响主体结论，但应收敛若干过强表述。 Significance：显著性中高。对评估实践的直接启示是：默认的差答案或对循环次数的弱扩展并不证明权重不能组合引用，评估应区分默认行为与特定干预下可获得的计算。对高效适配而言，"放置比参数数量更重要"与"早层投影 LoRA 保留大部分全层增益"具有实用价值；对循环模型而言，指出循环重复的是承载中继的中间层、且存在过度思考的回落点，也有实际含义。局限在于任务偏合成，MuSiQue 只提供放置位置证据而非同一机制的直接证据，因此其对真实世界推理的迁移强度仍需独立验证。

论文自述的局限包括：机制任务为合成且完全在上下文中，MuSiQue 主设置只提供放置证据而非同一机制证据；详细追踪集中在 Qwen3-8B 与 Ouro-1.4B，循环模型只覆盖两个家族（Ouro-2.6B 由 Ouro-1.4B 增长而来）；LoRA 按任务格式单独训练；文本惩罚只是受控度量而非泛化保证；放置预测精度有限；第一循环单独施加的充分性只验证到约 25 行；最长链循环结果使用 level order 且每循环都施加 LoRA；学习到的路由方向与最小充分秩未识别。 审稿视角的额外局限：第一，cutoff 预测的"前瞻性"被事后基线削弱，需要更大规模、真正留出的跨家族校准来证明其优于相对深度。第二，因果证据多为必要性（父行注意力、放置位置）而非充分性，算法身份仍是"约束下的解释"，无法排除其他等价实现。第三，关键比较（如 LoRA 位置扫描、头消融）的随机对照匹配方式对层分布敏感，统计检验以置信区间为主，未见多重比较修正。第四，文本 KL 控制只测 WikiText 困惑度，不能排除对其它行为分布的漂移。第五，长链外推主要在同分布合成程序上，跨格式迁移（code/English）虽有展示但规模有限。

可跟进方向如下。一，机制精化：通过更细的稀疏化、秩消融与子空间投影，识别 LoRA 实际写入的路由方向与最小充分秩，判定中继是逐行串行传递还是并行聚合；用 head 级别的 patching 构建完整回路图。二，放置预测改进：把 cutoff 与相对深度、冻结线性读出、注意力距离等特征联合，做跨家族校准与留出验证，检验其是否真正超越"48% 深度"这类简单规则。三，真实任务迁移：在自然文本的实体追踪、共指消解、长上下文多跳推理与代码追踪上测试同一中继是否被激活，并检验早层 LoRA 的放置偏好是否保持。四，循环模型动态：建模 reach 随循环次数先升后降的转折点，开发按计算量动态停止或按循环调度 LoRA 的策略；把第一循环 LoRA 的充分性扩展到更长链，确认后续循环到底复用了哪个子电路。五，训练与初始化理论：研究为什么近乎恒等的标量与 rank-8 低秩项足以"启动"冻结回路，以及 LoRA 初始化和正则如何避免覆盖而非启动。六，应用层面：把该干预形式推广到多语言、多任务与开源模型，并评估对通用行为的影响是否仍可由轻量文本惩罚控制。

本文提出 RLE-Bench，一个面向编码智能体的“机器人学习工程师资格考试”。它不把机器人能力窄化为单一策略或控制器，而是把评测对象扩展为编码智能体在交互控制、策略学习、感知与估计、机械设计四类工作流中提交的可执行工件。相对 SWE/MLE 基准，RLE-Bench 的关键差异在于物理接地：智能体必须从多模态反馈中理解空间关系、物理后果与不可逆动作。相对 LIBERO、RoboTwin、RoboDojo 等以 VLA 或控制器为中心的机器人基准，以及只测 code-as-policy 的 CaP-X，RLE-Bench 更接近“机器人开发全栈”的工程能力测量。论文以 RLE Index 为总指标，并给出工作流能力画像与案例研究。

编码智能体已从代码补全演进到能够浏览陌生仓库、执行程序、解释测试失败并长程修订工件。SWE-bench、Terminal-Bench 让仓库级与终端交互能力可测，MLAgentBench、MLE-Bench、MLE-Dojo 进一步测试训练、评估与改进机器学习系统的能力。与此同时，机器人领域的传统基准主要服务策略原型：RLBench、CALVIN、LIBERO、RoboSuite、RoboCasa、RoboTwin、RoboDojo、IsaacLab、ManiSkill 等提供仿真器、任务环境与评估协议，但评估的是控制器或 VLA 等单个工件。CaP-X 把编码智能体作为控制器生成器来测，仍停留在“写策略代码”这一层。现实机器人工程还包含机械设计、软硬件标定、闭环控制、故障诊断、感知系统构建与策略配方工程，这要求智能体在资源约束下构建、集成、诊断并改进异构工件。RLE-Bench 的问题设定因此是：前沿编码智能体能否把数字工程能力迁移到物理任务，并完成这些更完整的机器人学习工作流。论文通过九族任务、四类工作流、可信隐藏评估和资源核算来回答这一问题。

RLE-Bench 将每个任务定义为一个元组 τ=(I, E_dev, B, A, E_eval, M)：I 是文本指令；E_dev 是开发环境，如连接 RoboCasa 的草稿工作区；B 是资源预算，包括墙钟时间、交互步数、算力等；A 是可执行工件契约；E_eval 是验证器控制的评估环境；M 是验证器。任务被分为开发阶段与评估阶段：开发阶段智能体在 E_dev 中、在预算 B 下构建并提交工件 a；评估阶段由验证器在 E_eval 中运行 a。为防止信息泄露，隐藏种子、特权状态与参考资产只存在于验证器侧，验证器在沙箱或受限子进程中执行物理 rollout，并给出唯一权威奖励报告。所有任务以 Harbor 环境发布。 任务总量为 51 个，按目标、提交物与指标分为 9 个家族，归入 4 个工作流。前四族（Family01、02、04、05）复用现有开源仿真器、数据集与任务定义并赋予新目标；后五族（Family03、06、07、08、09）由作者从日常机器人工程实践中手工设计。 交互控制工作流（Family01–03）强调物理接地最直接的环节：观测部分可观察、动作不可撤销、进展依赖正确读取多模态反馈。Family01 是 RoboCasa 速通，五个厨房任务在三级脚手架下评测。L1 提供 RGB 相机、可选深度与本体感知；L2 增加相机几何、坐标变换、点云工具、运动原语、SAM3 分割与 Contact-GraspNet 抓取提议；L3 进一步给出世界系物体/夹具位姿与抓取相关状态。智能体提交控制器与工具代码，输出 12 维闭动作（臂 6、夹爪 1、移动底座 3、躯干 1、模式 1），评分由成功率主导并加入交互效率项，缺失或不可验证账本记零。Family02 是 RoboCasa 工具迁移：智能体不直接解决留出任务，而是留下可复用的 agent_harness/，包括感知函数、闭环控制器与使用手册；新智能体只能用这些遗产一次性尝试留出任务，评分依据满足的合取条件数相对基线与满分的归一化。Family03 是桌面物理推理，包括塔、悬臂、天平找重块、双臂解 2×2×2 魔方、密封盒重心象限判断，要求通过主动交互获取证据而非静态视觉问答。 策略学习工作流（Family04–05）面向直接控制难以扩展的高频或灵巧任务，考察训练配方而非单次控制。Family04 给出来自 LAFAN1 的重定向动作片段，要求训练 Unitree G1 全身跟踪策略；智能体在 GPU 并行 MuJoCo-Warp 中训练，导出 ONNX 后在 CPU MuJoCo-C 中评估，隐藏种子会扰动动力学、传感器、地形、延迟并施加推搡。提交物限制为 policy.onnx 与 policy_meta.json，参数不超过一千万，验证器只运行导出图。评分公式为 0.7T+0.3U−0.15 min(J/J_max,1)−0.05F，其中 T 为全身跟踪项、U 为存活比例、J 为动作 jerk、F 为摔倒指示。Family05 名为 nanoVLA，灵感来自 nanoGPT 的小规模快速迭代思想：在 LIBERO 与 RoboTwin 及其配对数据上，只允许 DINOv2-base 或给定编码器作为预训练组件，其余架构、语言处理、优化器、训练与 serving 均由智能体决定；只提交一个 UTF-8 的 solution.py，由验证器在固定预算内重新训练并产出 ckpt.pt。开放设计与鲁棒性轨道分离，鲁棒轨道包含从未展示的测试期扰动，开发期评估服务可被查询但无法覆盖这些扰动。 感知与估计工作流（Family06–07）考察通过传感器理解物理世界。Family06 是盲态平面位姿估计：固定斜相机观察三个红色不对称块（T/C/F），在旋转与遮挡下估计 (x,y,θ,shape_id)。四种轨道分别为仅 RGB、RGB-D、从零训练的 RGB-D 模型、方法不限，但最终推理必须在 CPU 上运行。评分 g 由平移误差与角度误差的高斯衰减组成，形状 ID 错则整组记零，另有帧率惩罚 D。Family07 是接触密集清箱：Panda 工作单元配备电磁铁、双 RGB-D 与力/力矩传感器，须把 U 形金属件逐个送入传送带巢，同时避免地板掉落、损坏与硬撞箱；评分由完整清空指示、清理比例非线性项、吞吐项与惩罚项组成，缺失/不可加载策略记零，冒烟失败封顶。 机械设计工作流（Family08–09）把硬件与支撑软件作为耦合系统评估。Family08 要求设计一个共用的麦克纳姆移动机械臂底座，同一底盘、电池、轮子与 arm_mount_site 必须不变地兼容 Franka Panda、UR5e、xArm7 三种臂，并提交 controller.py 完成货架进入与带载保持。评分按三臂最小值计算，权重分配给结构有效性、设计/资源、静态稳定、动态稳定与货架集成，负载或结构检查失败会把奖励封顶。Family09 要求为三个机器人匹配的 GELLO 主臂设计重力补偿：修改 lead.xml 中的弹簧、质量、支撑与配重，并实现 trim.py 的模型前馈与基于 16 个静置探针的逐设备自适应；评分由运动间隙、被动残差/保持/反驱、自适应保持/反驱、伺服余量与推恢复等十项等权检查点构成。 聚合上，每个任务 τ_i 属于家族 F_j 与工作流 G_k，原生分数 S_{i,j,k}∈[0,1]。家族分数为家族内任务平均，工作流分数为工作流内家族平均，RLE Index 为四个工作流分数的等权平均：S^{RLE}=1/4∑_{k=1}^{4} S_k。这样每个工作流在总榜中权重相同，同时保留逐家族、逐任务的原生指标。开发与评估协议还包含账本机制：例如 Family01 中重置与执行动作各计一步，观测免费，评估动作不进入效率统计，库生成动作也被计量，以防止通过隐藏控制流规避预算。这一套机制使 RLE-Bench 既能给出可排序的标量，也能诊断智能体在不同工程能力上的相对强弱。

实验评估了多个前沿模型与编码脚手架组合，以 RLE-Index 为主指标，同时报告四个工作流的分数画像与资源使用。总体看，旗舰模型在需要多模态观测和反复环境反馈的交互控制与感知估计中领先；在更接近传统机器学习工程的策略开发上，模型间差距收窄；机械设计对所有模型都仍然困难。案例研究揭示：外部机器人脚手架通常有益，但强模型可能受益减少甚至受损；开发期评估反馈能带来可测量的改进，却无法弥合鲁棒性缺口；深度信息能提升感知，但多传感器融合仍难；智能体能满足可见设计目标，却常忽略耦合的物理后果。附录还给出原生物理诊断与逐任务结果。

1. GPT-6 Astra 与 Claude Fable 5.1 在总榜上大幅领先其他模型，且优势主要集中在需要多模态观测与反复环境反馈的交互控制和感知估计工作流。

   GPT-6 Astra and Claude Fable 5.1 outperform the other open- and closed-source models by a substantial margin. Their advantage is most pronounced in Interactive Control and Perception and Estimation , both of which require interpreting multimodal observations and acting on repeated environment feedback.

2. 在策略开发工作流上，模型之间的性能差距明显小于其他工作流。

   In Policy Development , which more closely resembles traditional machine learning engineering tasks, the performance gap between models is substantially smaller.

3. 机械设计任务上模型差距更小，且没有模型能稳定做出合理设计决策，尤其当实现选择带来延迟或间接的物理后果时。

   On tasks from Mechanical Design , performance gaps are much smaller, and no model consistently makes sound design decisions, particularly when implementation choices have delayed or indirect physical consequences.

4. 在 Family08 移动底座设计中，所有九个模型在静态稳定裕度的最差臂项上都得到零分。

   However, these designs often fail physical evaluation: all nine models receive zero worst-arm credit for static stability margin.

5. 更丰富的外部机器人脚手架通常提高任务分数并降低成本，但 GPT-6 Astra 在基础 L1 下已很强，额外支持收益很小甚至偶尔有损。

   Figure 4 shows that richer scaffolding generally improves task scores and reduces costs for most models, including GPT-5.6, the Opus series, and Gemini-3.7-Flash. GPT-6-Astra, however, performs strongly with L1 , gaining little or occasionally losing performance with additional support.

6. 在 Family05 的 36 个开发会话中，有 29 个会话的最终提交版本优于智能体第一次开发期评估。

   In 29 of 36 sessions, the submitted version outperforms the agent’s first development-time evaluation.

7. 开发期反馈带来的改进受反馈可测量范围限制：在鲁棒性子任务上，官方分数相对开发分数在 LIBERO 上低 19 分、在 RoboTwin 上低 41 分，且没有智能体弥合该差距。

   On robustness subtasks, however, whose test-time perturbations are never shown to the agent, the official score falls 19 (LIBERO) and 41 (RoboTwin) points below the development score. Several agents construct their own perturbation proxies, but none closes the gap, indicating that building robust policies remains a difficult challenge.

8. 高表现模型使用深度信息判断二值遮挡掩码，而不是仅仅恢复表面或三维位置。

   High-performing models use depth to judge the binary occlusion masks rather than only recover the surface or 3D positions.

9. GPT-6 Astra 在方法不限任务中是唯一实际使用 GPU 的智能体，它训练一个小型卷积神经网络作为深度不可靠时的回退。

   GPT-6 Astra trains a small convolutional neural network as a fallback when depth information is not reliable, making it the only agent that actually uses the GPU in the method-agnostic task.

10. 原生物理诊断显示 GPT-6 Astra 的 MPJPE 为 32.62 mm、存活率 98.71%、清空率 100%、吞吐 9.22 parts/min；Claude Fable 5.1 的存活率为 100%、吞吐为 14.58 parts/min。

    System | MPJPE (mm) | Survival (%) | Clearance (%) | Parts/min GPT-6 Astra | 32.62 | 98.71 | 100.00 | 9.22 Claude Fable 5.1 | 40.42 | 100.00 | 86.90 | 14.58

11. 在资源使用表中，DeepSeek-V4.1-Flash 平均成本最低（0.40 美元）且覆盖全部 51 个任务；GLM-5.3 Flash 的失败运行数最多（7 次）。

    DeepSeek-V4.1-Flash | 0.40 | 39.34 | 51/51 | 2.31 | 3372.05 | 3357.09 | 23.19 | 0 GLM-5.3 Flash | 1.16 | 118.52 | 51/51 | 4.93 | 2994.11 | 2891.37 | 32.74 | 7

Novelty：新颖性主要在于评测对象的迁移与整合，而非提出新算法。RLE-Bench 把编码智能体评测从“写代码/训练模型”扩展到机器人学习工程全栈，首次以可执行工件和隐藏验证器覆盖交互控制、策略配方、感知估计与机械设计四类工作流，并用等权 RLE Index 与能力画像进行系统比较。相比仅测控制器的 CaP-X 和只测策略工件的机器人基准，这是一种有意义的基准设计创新。不过，其仿真器、数据集和脚手架大多复用现有系统，任务设计在方法论上并未引入新的学习或推理机制，因此新颖性集中在任务构造、契约化提交与可信评估协议层面。 Soundness：总体设计较扎实：开发/评估分离、验证器私有隐藏资产、账本计量与工件契约能降低作弊和泄漏风险；四工作流等权聚合和原生指标报告比单一标量更可诊断。但存在明显可质疑处。部分家族只有 1 个任务或少量实例，统计稳定性不足；多个评分权重、阈值与封顶规则是手工设定的，且文中承认部分阈值仍为临时值。鲁棒性子任务相对开发分数大幅下降，说明开发期反馈与最终评测之间存在分布外裂缝，也提示基于查询的评估服务可能被过拟合。评测没有人类专家基线，也未给出重复运行或置信区间，难以判断模型间差距是否显著。资源成本以 API 花费与墙钟时间报告，无法公平比较不同模型架构与推理成本。整体上，它适合作为排序与诊断工具，但不宜把单个 RLE Index 视作严格的“资格”判定。 Significance：该工作对“编码智能体进入物理世界”这一方向有较高参考价值。它为社区提供了一个可复现的、跨工作流的机器人工程智能体评测协议，能够暴露旗舰模型在视觉接地、鲁棒策略训练和机械-控制耦合设计上的短板，也可能作为未来智能体训练与课程学习的信号来源。能力画像和案例研究比纯排行榜更有工程指导意义。其现实影响取决于两点：一是任务覆盖能否继续扩展并保持隐藏评测不被污染；二是从仿真评测到真实机器人部署之间仍存在巨大鸿沟，因此它更应被视为筛选与研究方向定位工具，而非真实安全或可靠性的替代指标。

作者明确承认的局限包括：其一，仿真性能不构成真实世界可靠性或安全性，仿真场景的规模与多样性不足以覆盖所有部署条件；其二，四个代表性工作流只覆盖机器人学习工程师的部分工作，现实还需要更广泛能力；其三，计划公开会带来训练数据污染风险，可能损害后续评测有效性。除此之外，还有若干方法论局限：部分任务家族实例数很少，尤其 Family07–09 只有单实例，统计稳健性有限；多个评分函数中的权重、阈值、封顶与临时阈值依赖人工选择，缺少敏感性分析；鲁棒性分数显著低于开发分数，说明隐藏扰动有效，但也意味着开发期反馈容易被过拟合；缺少人类专家基线与重复运行方差，无法确定分数的可靠分辨率；资源核算偏重 API 费用与墙钟时间，未充分控制模型规模、推理成本与预训练差异；可信验证器与 Harbor 基础设施虽降低泄漏，但其实现细节、隔离强度与防侧信道能力仍需独立审计；最后，机械设计任务显示智能体只满足可见目标却忽略耦合物理后果，说明当前指标可能低估了隐性约束。

后续工作可以沿多条线展开。第一，加入人类机器人学习工程师基线，在同一预算与提交契约下比较智能体与专家的差距，校准 RLE Index 的绝对意义。第二，扩展工作流覆盖，例如硬件在环测试、标定与装配、故障恢复、多机器人协作、真实传感器延迟与带宽约束、能耗与热管理，使“机器人学习工程师”的定义更完整。第三，针对数据污染风险，保持私密 held-out 任务、定期轮换场景与参考资产，并采用加密验证或隔离执行，减少公开后的过拟合。第四，把 RLE-Bench 从评测转向训练，利用其开发期反馈和隐藏验证信号做强化学习或课程学习，同时研究外部脚手架何时帮助、何时干扰模型自身感知与推理。第五，开展 sim-to-real 验证，将同一工件契约迁移到真实机器人或高保真硬件在环平台，测试仿真结论的外推边界。第六，改进计量方法，报告更细粒度的算力、内存、能耗与失败模式，而不是只给 API 成本与墙钟时间。第七，加强安全与可靠性评估，在机械设计与控制器任务中显式加入伤害、碰撞、载荷失效与可解释性约束，避免智能体通过满足可见指标而忽略延迟物理后果。

本文提出 Multimodal Flow（实例为 MF-1），试图在“全离散”与“混合离散-连续”两种统一多模态范式之外，建立第三种“全连续”范式：语言和视觉都在各自连续嵌入空间中被建模，共享同一个 Flow Matching 目标与 chunk-causal 主干。作者把文本块与图像组织成有序 hyperchunk，分别保留 token 顺序和视觉空间结构；同一主干学习单一向量场，通过 joint attention 做跨模态交互，并通过模态特化 FFN 处理不同表示统计。相比全离散模型，它避免视觉量化瓶颈；相比 Transfusion、JanusFlow 等混合模型，它不依赖离散语言损失与连续图像损失两套目标。其核心主张是：因果因子化的连续 chunk 序列，配合 text-only、image-only、双向 paired 数据的混合预训练，能够同时发展语言建模、图像描述与文生图能力。定位上属于“连续嵌入空间统一多模态生成”的新探索，主要证据来自基准对比、控制变量架构比较和迁移实验。

统一多模态模型通常把文本和图像都作为生成目标。早期全离散模型把图像量化成 visual token，与文本组成共享类别序列，便于复用语言模型训练范式，但视觉保真度受 tokenizer 瓶颈限制，量化丢失的细节无法被下游主干恢复。混合离散-连续模型保留连续视觉状态，同时用自回归或离散扩散处理语言、用扩散/流处理图像；它避免视觉量化，却需要在同一系统内协调不同训练目标、扰动调度和采样流程。因此一个自然问题是：语言与视觉能否共享同一连续生成过程，同时保留各自所需的结构。 连续生成的技术条件近年已经成熟：视觉扩散/流模型广泛在 VAE 潜在空间工作；Embedded Language Flows（ELF）显示上下文文本嵌入可以直接用 Flow Matching 建模；Representation Autoencoder 进一步把预训练视觉编码器引入连续生成状态，得到更具语义和空间结构的表示。已有连续多模态工作多围绕联合去噪或预定义跨模态路径，缺少一种按任务定义的多模态序列做因果因子化、并用同一连续目标做混合预训练的方法。 Multimodal Flow 的直接动机是：若只把连续文本和视觉嵌入拼接后交给共享流模型，仍需回答三个问题——每模态的生成单元是什么、这些单元如何形成有序条件过程、如何共享跨模态交互又不破坏模态特有统计。本文用 hyperchunk、chunk-causal 因子化和“共享 attention + 模态特化 FFN”分别回应这三个问题。

Multimodal Flow 的数据流可拆成表示构造、chunk-causal 流建模、并行训练、序列推理与混合预训练五部分。 一、连续表示与 hyperchunk 构造。文本先被划分为长度为 B 的连续块（主模型 B=8），每块由冻结 T5-small 独立编码为 512 维 latent，并做维度共享归一化：h̃_text=(h_text−μ_text)/σ_text，其中 μ_text=0、σ_text=0.2，EOS 同样处理，padding 置零并从目标中排除。图像由冻结 SigLIP2-so400m（patch size 14）编码，224×224 输入得到 256 个 patch embedding，维度 1152，并按每个位置-通道估计的均值和方差归一化。文本块形成保留 token 顺序的 text chunk，图像形成保留 16×16 空间网格的 visual chunk；二者再经模态特化输入投影映射到公共隐空间（主模型宽度 1600）。这种“异构但同接口”的 hyperchunk 是后续所有任务序列的基本单元。 解码侧同样冻结：视觉由预训练 representation decoder 从生成的 SigLIP2 嵌入重建图像；文本由单独训练的六层双向 Transformer（宽度 512）在每 8-token 块内并行预测离散 token。文本 decoder 训练时对每个 token 独立采样 z～N(0,1)，令 λ=σ(0.8+0.8z)，用 h̃=λh+(1−λ)sε 扰动干净 latent，再最小化目标 token 的交叉熵。该 decoder 训练完成后冻结，供流模型生成 text latent 后逐块还原文本。 二、chunk-causal 流模型。给定 chunk 序列 C=(c_1,…,c_K)，模型把联合分布按 chunk 顺序因子化：p_θ(C)=∏_k p_θ(c_k|c_<k)。预测第 k 个 chunk 时，所有前序 chunk 可见、未来 chunk 隐藏，而当前 chunk 内部位置联合建模。对目标 chunk 的干净表示 x^(k)，构造线性概率路径 z_t^(k)=t x^(k)+(1−t)ε^(k)，ε～N(0,I)，t=0 为噪声、t=1 为干净数据。主干 f_θ^{m_k}(z_t^(k),t|c_<k) 预测干净端点 x̂_θ^(k)，再转换为速度：目标速度 v^(k)=x^(k)−ε^(k)，预测速度 v̂_θ^(k)=(x̂_θ^(k)−z_t^(k))/(1−t)。训练损失为所有并行目标 chunk 的有效位置上速度差的平方均值，并用 valid-position mask 排除 padding。直觉上，线性路径把去噪任务变成“从当前插值点指向干净数据”的向量回归；用速度而非噪声预测，数值上对 t 接近 1 时更稳定（实现中用 max(1−t,0.05) 截断）。 主干配置为 32 层、隐宽 1600、25 个注意力头、头维 64、FFN 隐宽 4224。视觉和文本状态经模态特化输入投影后，加上模态嵌入与 timestep 嵌入，并用 MRoPE 同时编码 chunk 顺序和 chunk 内位置。随后进入 chunk-causal mask 下的 joint self-attention，使所有前序视觉/文本 chunk 都能贡献于目标预测；attention 输出再经模态特化 FFN，最后投影回各自表示空间。这样共享的是交互与时间演化机制，模态特有统计则由 FFN 和输入/输出投影承担。 三、并行训练与 packing。chunk-causal mask 允许一次前向同时预测多个目标 chunk：被扰动的目标块可看到所有前序干净 chunk 和自己的扰动状态，但不能看到自己的干净版本或未来块。每个目标 chunk 独立采样 flow timestep；图像目标一个 256-token chunk 采样一次，文本目标每 8-token 块采样一次。timestep 来自 shifted logit-normal：z～N(0,1)，u=sigmoid(z)，q=αu/[1+(α−1)u]，t=1−q；图像 α=8、文本 α=6。为处理变长多模态序列，训练把多个逻辑 chunk 序列 pack 进最长 32,768 个 model positions 的物理序列，并用 sequence identifier 在 chunk-causal mask 中阻断跨样本注意力。 四、顺序推理与 CFG。推理时按任务指定顺序逐个生成 chunk：给定干净前缀，下一目标 chunk 从高斯噪声初始化，模型在条件 c_<k 下从 t=0 积分到 t=1，生成后把干净 chunk 追加为上下文再生成下一块。由于 chunk-causal 注意力保证已完成 chunk 的隐状态不依赖未来 chunk，可对各层 KV 缓存；采样时只需重算当前目标 chunk。条件生成用 classifier-free guidance：x̂_{θ,γ}=x̂_{θ,∅}+γ(x̂_{θ,c}−x̂_{θ,∅})。评估中 VQA 用 SDE、16 步、CFG=3；文生图用 ODE、64 步、CFG=5。 五、混合预训练与下游微调。同一主干在任务混合上学习。text-only 数据中，连续文本块构成 chunk 序列，每块都是以前缀为条件的生成目标，首块无条件；image-only 数据只有一个无条件的视觉目标；paired 数据使用两种顺序：文本块在前、视觉目标在后构成文生图，以及视觉块在前、文本目标在后构成图生文。目标统一为对任务 τ 和数据样本 s 的期望损失 L_pre=E_{τ～π,s～D_τ}[L_flow(G_τ(s))]。主模型混合比例为 70% text-only、20% image understanding、9% text-to-image、1% image-only；数据源为 Ultra-FineWeb-L3、LLaVA-OneVision-1.5、GPIC 及无配对文本的 GPIC 图像。下游微调只改变任务序列和数据，不改变接口与目标：VQA 以视觉 chunk 和问题 chunk 为前缀、答案 chunk 为目标；文生图以 prompt chunk 为前缀、图像为视觉目标。文生图微调数据包括 BLIP3o-60k、LAION DALL-E 3 Discord 和 ShareGPT-4o-Image；VQA 微调主要使用 LLaVA-v1.5 instruction-tuning 数据。这种“任务规格与生成建模分离”是方法的核心：任务定义了 chunk 顺序与目标模态，而表示、因果因子化和连续流目标保持不变。

实验覆盖语言建模、图像描述、多模态理解和图像生成四类能力。主模型为从零预训练的多模态流主干，之后进行少量联合微调，并在同一 checkpoint 上报告生成与理解结果。比较分两层：一是与公开的纯生成、纯理解及统一模型对比，报告 GenEval、DPG-Bench 与多个 VQA/理解基准；二是与全离散和混合架构在相同数据、优化和可训练参数量预算下做控制变量比较。此外还报告了多规模训练曲线、混合预训练迁移收益，以及视觉表示空间、attention/FFN 参数化和双向 CFG 三个消融。总体结论是：全连续 chunk 流建模能同时发展语言、图像描述和文生图能力，混合预训练带来明显下游迁移，且受控比较中优于离散和混合基线。具体数值见下。

1. 在150B预训练token下，MF-1在GenEval与DPG-Bench的平均分为82.8，在VQAv2、MMBench与POPE的平均分为75.3，作者称其与使用更多数据训练的统一下游模型保持竞争力。

   With only 150B pretraining tokens, MF-1 achieves an average score of 82.8 across GenEval and DPG-Bench and 75.3 across VQAv2, MMBench, and POPE, remaining competitive with unified models trained on substantially more data.

2. 同一1.6B主模型在GenEval得0.821，在DPG-Bench得83.44，三个理解基准平均75.3。

   With 150B pretraining tokens, the 1.6B MF-1 achieves competitive generation and understanding performance against established unified models, scoring 0.821 on GenEval, 83.44 on DPG-Bench, and an average of 75.3 across VQAv2, MMBench and POPE.

3. GenEval细分上，MF-1的single/two/counting/colors/position/color-attribute分别为0.99、0.92、0.73、0.90、0.81、0.58，总体0.82。

   MF-1 | 1.6B | 0.99 | 0.92 | 0.73 | 0.90 | 0.81 | 0.58 | 0.82

4. 在匹配预算的控制变量比较中，Multimodal Flow的GenEval、GQA、VQAv2、MMBench、SEEDB分别为0.7134、55.60、69.03、46.74、51.85，高于Transfusion式混合模型和Chameleon式全离散模型。

   Architecture | Architecture Type | GenEval ↑ \uparrow | GQA ↑ \uparrow | VQAv2 ↑ \uparrow | MMBench ↑ \uparrow | SEEDB ↑ \uparrow Multimodal Flow | Fully Continuous | 0.7134 | 55.60 | 69.03 | 46.74 | 51.85 Transfusion-Style | Discrete–Continuous Hybrid | 0.6693 | 52.81 | 68.49 | 33.68 | 31.31 Chameleon-Style | Fully discrete | 0.3744 | 45.83 | 56.37 | 38.40 | 42.40

5. 在无预训练LLM初始化的理解基准中，MF-1（1.6B，150B token）的POPE、MMB、SEEDB、VQAv2、GQA、OK-VQA分别为86.1、67.2、62.4、72.6、58.3、39.1。

   Continuous | MF-1 | 1.6B | 150B | 86.1 | 67.2 | 62.4 | 72.6 | 58.3 | 39.1

6. 0.6B、1.2B、1.6B三个规模在训练过程中一致改善：Flow Matching目标与语言PPL下降，GenEval与CLIPScore上升。

   All three variants show consistent overall improvement: the Flow Matching objective and language PPL decrease, while GenEval and CLIPScore increase as training proceeds.

7. 迁移实验中，混合预训练把SeedBench从31.6提升到62.4、MMBench从36.0提升到67.2。

   mixed pretraining raises SeedBench from 31.6 to 62.4 and MMBench from 36.0 to 67.2 relative to a randomly initialized flow backbone, demonstrating MF-1’s ability to transfer learned multimodal representations to downstream tasks.

8. 视觉表示消融中，DINOv2取得最高图像生成分；SigLIP2在生成与图像描述之间更均衡，CIDEr与CLIPScore更高但GenEval与DPG-Bench更低；重构型VAE和raw pixel表示较弱。

   DINOv2 achieves the highest image-generation scores, whereas SigLIP2 provides a better balance between generation and captioning, yielding higher CIDEr and CLIPScore despite lower GenEval and DPG-Bench scores.

9. 共享与模态特化attention投影总体相近，但共享FFN会损害性能，尤其是图像条件文本生成。

   Shared and modality-specific attention projections perform similarly overall, whereas sharing FFNs degrades performance, particularly on image-conditioned text generation.

10. 同一CFG机制对图像captioning在尺度3最佳，对text-to-image在尺度5最佳，继续增大尺度则下降。

    image captioning performs best at a guidance scale of 3, while text-to-image generation reaches its strongest performance at a scale of 5 and begins to decline as the scale increases further.

Novelty：新颖性中等偏上。单看每个组件——Flow Matching、连续视觉/文本嵌入、chunk 级因果注意力、CFG——都不是新发明；把文本嵌入做流建模已有 ELF，把语义视觉嵌入做生成也已有 Representation Autoencoder。本文的新意在于系统层面的组合：用统一的 hyperchunk 接口把文本块与空间图像块组织成任务定义的有序序列，并在同一 chunk-causal Flow Matching 目标下做 text-only、image-only、双向 paired 的混合预训练。这种“连续嵌入空间中的统一多模态预训练”此前确实较少被系统验证，尤其是从零训练、并在受控预算下与离散/混合架构直接对比。因此它不是单点算法突破，而是架构与训练范式层面的整合创新。 Soundness：方法设计与实验总体合理。公式推导清晰：线性概率路径、端点预测与速度转换、mask 损失、chunk-causal 并行训练和 KV 缓存推理都有明确交代。控制变量比较尤其有价值，因为匹配了数据、优化和可训练参数量，缓解了与公开模型对比时数据/初始化不公平的问题。消融覆盖表示空间、参数共享和 CFG，支撑了主要设计选择。但存在若干薄弱点：主对比中的“竞争力”基于不同数据与参数预算，只能作为参考；没有报告模型自身的似然/NLL，语言流畅度用外部 GPT-2 PPL 而非模型概率；图像质量主要依赖 GenEval/DPG-Bench，缺少人类评估；冻结 codec 使性能上限受外部组件约束；混合比例等关键训练配置没有消融。综合看，结论“可行且受控优于代表性基线”有证据支撑，但“建立新范式”的强表述需要更大规模和更严格评估。 Significance：若该方向成立，意义较大：它提供了一种摆脱视觉 tokenizer 瓶颈、同时避免双目标系统复杂性的统一范式，可能简化多模态预训练与推理。其 hyperchunk 和 chunk-causal 分解也便于扩展到更长的 interleaved 文档、视频和其他结构化模态。但目前影响力受限于规模：150B token 与冻结 codec 的设定仍属中等验证，性能尚未显著超越更大规模混合/离散模型；T5-small 文本表示也限制语言质量。因此意义更偏向“打开一个有前景的设计空间”，而非立即可替代现有统一模型的成熟方案。后续若能在更大规模、更强文本表示、更高质量视觉 decoder 上验证，并展示更复杂交错任务上的泛化，其范式价值会显著上升。

第一，模态 codec 全部冻结。文本侧依赖 T5-small 的 512 维表示和单独训练的解码器，语言质量上限明显低于现代 LLM；图像侧依赖 SigLIP2 嵌入和预训练 representation decoder，分辨率仅 224×224，且重建/美学质量受外部 decoder 限制。第二，文本以 8-token chunk 为单位顺序生成，虽然比 token 级快，但仍不是真正的并行文本解码；长文本和强推理能力未验证。第三，主基准模型只用 150B token 从零训练，且与公开模型比较存在数据、优化和参数不匹配，因此“competitive”的结论需要谨慎解释；论文也未报告自身流模型的 NLL，语言流畅度依赖外部 GPT-2 PPL，缺少人类评估。第四，训练混合比例 70/20/9/1、B=8、图像表示选择等关键配置没有单独消融，难以判断结果对这些超参的敏感度。第五，所有评估集中在英文图像-文本任务，未涉及长 interleaved 文档、视频、音频或其他结构化模态，也未讨论 CFG 对文本生成的更广泛影响。第六，推理仍需多步 ODE/SDE 积分，实际部署成本、批处理效率和与自回归文本模型的吞吐对比未分析。第七，潜在安全与对齐问题未讨论，例如生成图像/文本的可控性、版权数据与有害内容风险。

最直接的后续工作是规模化：使用更强文本编码器/解码器（如更大 T5 或 LLM 嵌入）、更高质量视觉 representation decoder、更高分辨率图像，并扩大预训练 token 与模型规模，检验连续流范式在更大尺度下是否仍与离散/混合模型竞争。第二，可以逐步解冻或联合训练 codec，减少外部瓶颈，但需研究如何保持表示稳定和生成质量。第三，把 hyperchunk 分解扩展到任意交错图文、视频、音频和网页/文档结构，验证统一流目标在多模态长上下文中的泛化。第四，改进文本解码：研究可变 chunk 长度、层级 chunk、并行解码或与离散 token 混合的轻量方案，以提升长文本生成效率与质量。第五，增加严格评估：报告模型 NLL/ELBO、人类偏好评估、更多语言和视觉质量指标，并消融数据混合比例、chunk 大小、timestep 分布和 CFG 策略。第六，理论或经验分析连续嵌入流模型与离散 token 模型在表达力、采样复杂度和误差累积上的差异，可能帮助解释何时应选择全连续范式。第七，探索安全对齐、可控生成、版权与有害内容缓解，使该范式具备实际部署条件。

本文提出 Argo-Bench，一个面向企业级数据智能体（data agents）的评测框架。它不再沿袭 text-to-SQL 的"查询正确性"范式，而是构建一个 2024 年纽约市外卖平台的大规模模拟世界，将其投影为 Oracle EBS 格式的 235 表企业仓库，并要求智能体通过提交行动（封禁账户、分配预算、发布数据源、回薪）来完成任务，再由评分器依据模拟器隐藏状态按"行动的后果"打分。在文献谱系中，它填补了 BIRD/Spider 2.0/BEAVER 等 SQL 基准与 τ-bench、TheAgentCompany、CRMArena-Pro 等智能体评测之间的空白：前者缺乏企业仓库的一致性与端到端行动，后者缺乏大规模、相互约束、以 ERP 为原型的真实数据组织。其核心定位是"求解比验证更难"（harder to solve than verify）的评测设计，用公开可验证的 EBS 数据字典支撑 schema 可信度，用潜状态 ground truth 支撑后果评分的客观性。

论文指出既有数据基准与企业智能体工作流之间存在三重脱节。第一，数据是公共数据的拼凑。Spider 2.0-Snow 的 547 个问题稀疏覆盖 152 个数据库，三分之一以上数据库仅被一个问题使用，三分之二问题用 BigQuery 公共数据集，表之间大量是日期/地理/版本分片副本；而企业仓库中不同模块必须对同一数字保持一致，一个业务事件可能触及十张以上表。第二，评测不是端到端的。最有价值的企业任务（需求预测、欺诈建模、骑手排班优化）无法只用 SQL 完成，且真实决策最终按投资回报判断，而"金答案"无法区分一个高兑换率但亏损的促销与真正盈利的促销。第三，答案不可验证。近期审计发现 Spider 2.0-Snow 发布金查询 62.8%、BIRD Mini-Dev 52.8% 存在错误，且最有价值任务（未被发现的欺诈、被拒绝决策的后果）的答案可能根本不在数据中。企业把财务规划、预测与欺诈检测所需记录保存在 ERP 系统（Oracle EBS、SAP S/4HANA、Oracle Fusion Cloud）中，由于同时承载账本、薪资与客户记录而访问受限，因此 ERP 数据在基准中几乎未被探索；匿名化又会破坏关系结构。作者因此转向"模拟一个企业并对照模拟 ground truth 评分"的路线：模拟环境在多个领域已有先例（TPC 系列合成仓库、τ-bench 的目标状态评分等），但本文声称是首个把"表间必须互相一致的企业级仓库"与"按潜状态对智能体行动后果评分"结合起来的基准。

Argo-Bench 的整体机制是"模拟世界 → 企业仓库 → 智能体行动 → 后果评分"的闭环。与 text-to-SQL 不同，智能体不返回查询，而是运行在 sandbox 内 Python 环境（预装统计、机器学习与优化库），通过 mission_control 库提交 filing；评分器掌握模拟器潜状态，按行动后果打分。其设计目标直接呼应"求解比验证更难"：智能体必须从仓库重建事实，而评分器直接从状态读出事实。 【世界模拟】模拟对象是 2024 年纽约市外卖平台的三方市场（消费者、骑手、商户），类似 DoorDash/Grubhub/Uber Eats。世界由 34 个公开数据集与报告构建，每个贡献一个机制（如 Uber/Lyft 行程给出两区间某小时驾驶时间，MenuStat 给出连锁餐厅菜单）。数据源分三类 donor：identity donor 是城市真实实体记录（45,834 家餐厅、1.07M 地址、260 个出租车区），原样进入世界（发布版对部分店名改名）；shape donor 是在别处测量、只贡献分布的形态；anchor 是已发布总量，世界被校准到能复现它们但从不采样其记录。校准依据是 NYC DCWP 季度报告（月度订单、消费、商户费、骑手收入、生产力、工时）与 DoorDash/Grubhub 10-K 的资产负债表形态，方法沿袭 Walonoski et al. (2018)。结果世界包含约 8,100 万订单（约为 DCWP 2024 年报告 1.48 亿配送的 55%）与 340 万活跃客户。2024 年被选中是因为存在真实外生冲击：纽约市 2023 年 12 月起对餐馆配送工人执行每小时 $17.96 的税前最低工资，2024 年 4 月 1 日提高到 $19.56；模拟平台用一个在当日启用的新骑手调度器响应，使骑手支付高于锚点 6–9%。欺诈模式也被注入：骑手偷单、GPS 伪造、机器人抢单、账户出租，顾客侧新账户刷促销、盗卡账户接管与 bust-out，门店壳店、与骑手/顾客勾结退款、篡改收款银行账户。每个模式按两个量校准：与真实卡欺诈的可分性，以及诚实顾客共享设备/地址/卡片的频率（后者决定检测器的精度，即避免误伤）。 【仓库设计】模拟器最后一步把世界投影为 Oracle EBS 12.2 实例的"分析导出"：235 张表、约 75 亿行，订单会分解为派单决策、骑手支付、商户结算与平衡的总账日记账。选 EBS 是因为其数据模型公开、可对照参考验证。schema 由三位有 14–31 年经验的 ERP 顾问共同设计：每张标准表与列都存在于 Oracle EBS 12.2 Vision 实例的数据字典，但平均只保留 52% 的列，省略未用 flexfield（占省略列三分之一）以及航运、库存、外币、预扣税等。仓库刻意不含数据漂移或跨表不一致：作者承认这是顾问眼中与现实系统最显著的差异，但选择保留，因为若 legacy 表与 active 表冲突，正确答案将依赖未成文约定，破坏 ground truth 的无歧义性；成熟仓库靠语义层与制度知识补偿这类杂乱，而提供语义层会把评测焦点从"探索企业数据组织"转向"使用策展层"。另有两个省略：无外币交易（无 donor 覆盖游客支付币种），资产负债表只有 43 个科目。 【任务设计】210 个任务分五个业务域：Trust & Safety（执法）、FP&A（单位经济预测与财务看板）、Marketplace（骑手供应预测与预算分配，如骑手奖金）、Accounting（事后报告）、Growth（促销/会员的度量、预测与发布）。每个任务四部分：prompt 以利益相关者口吻陈述问题；scope 设定智能体可见的 2024 年最后月份；expectations 列出评分器要求的 filing（各含 action、keys、grading mode）；answer key 在任何运行前冻结，来自潜表上的 SQL 或模拟器自身的标签（如哪些骑手偷单）。其中 178 个任务要求对账户采取行动/提交预测/分配预算/发布看板数据源，99 个只看到截止月、预测用未见过月份评分。行动式 filing 有四个优势：允许 ML/OR/优化库完成高级数据科学任务；支持端到端工作流；filing 是明确意图声明，避免把中间结果误当最终答案，使 partial credit 定义良好；评分客观，不用 LLM-as-a-judge。 【评分机制】每个 expectation 按 0–100（预测为 -200 到 100）由九种评分模式之一打分。预测采用加权区间得分（weighted interval score，Bracher et al. 2021）：对不同分位水平取区间端点与真值偏差的加权和，尺度由结果前冻结的参考预测设定；由于这是 proper scoring rule，提交自己的真实中位数与区间在期望上最优，惩罚过度自信。封禁列表按"相对不封任何人/封所有人所节省的成本"评分（Elkan 2001 的成本敏感思想），即净欺诈损失减少减去误封收入损失。预算分配按"模拟器实现的可达节省份额"评分。数据源与报告值按数值核对。任务得分是各 expectation 得分的加权平均；什么都不提交则各项得 0（预测得 -200）。关键是 grader 知道潜状态，因此能对决策按后果评分——例如封禁列表按防止的欺诈损失净值评分，包括平台从未检测到的欺诈。 【数据与训练细节】没有记录由语言模型生成，仓库每个值都来自模拟器，唯一例外是发布仓库中被改名的欺诈门店的虚构店名由 LLM 起草。LLM 只用于编码辅助、参数调优、donor 清洗、部分 prompt 起草与文字编辑。实验在 BigQuery 上运行（941 GB 未压缩），发布仓库为 1,219 个 Parquet 文件（76.5 GB），配套 DuckDB/Snowflake/Trino/Delta/Iceberg 设置说明。双世界设计：公开一个世界的仓库（CC BY 4.0），另一个私有种子世界用于官方评分；两世界共享模拟器与校准，但所有 ID、客户、餐厅、骑手均不同，因此无法靠记忆发布仓库得分。

作者在十余个前沿与开源模型上评测 Argo-Bench，报告总体解决率、平均分、各业务域得分、每任务模型调用步数与成本；通过分档推理努力、逐任务配对的置信区间，以及"错误记录、错误目标、错误数量"三类案例研究分析失败模式；同时报告预测区间覆盖率、数据源取值通过率，以及同一任务在不同提示措辞下的配对分数变化。评测运行于 Inspect AI，每个智能体在无外网的 gVisor sandbox 中、以固定模型调用轮数为上限。总体结论是：即便最强模型也只在少数任务上达到高分，多数模型平均分很低，失败多源于方法正确但读了错误记录、优化了错误目标或度量了错误数量，提示措辞对结果有显著影响。

1. 最强模型 Claude Opus 5.5 解决 34.8% 任务、平均 59.5 分，14 个模型中 9 个平均分低于 35。

   The strongest, Claude Opus 5.5, solves 34.8% of tasks and averages 59.5 points. Nine of the fourteen average below 35.

2. 基准规模为 235 张相互约束的表、8100 万订单、340 万活跃客户、75 亿行，订单分解为派单、骑手支付、商户结算与平衡总账。

   A synthetic, large-scale public ERP dataset in Oracle EBS format for a 2024 New York City food delivery platform, comprising 235 mutually constraining tables, 81 million orders, 3.4 million active customers, and 7.5 billion rows, in which an order resolves into dispatch decisions, courier pay, merchant payouts, and balanced general-ledger journals.

3. 校准质量：单均经济指标在 16 次季度比较中有 13 次与 DCWP 数据误差在 5% 以内。

   Its per-delivery economics stay within 5% of the DCWP’s figures in 13 of 16 quarterly comparisons (Figure 2 a).

4. 推理努力对 GPT-6 与 Claude 系列每步都有帮助；Opus 从低到中努力 +17.0 分、中到高 +5.9、高到超高 +4.0，Sonnet 5.5 最后两步 +14.9 与 +11.5。

   More reasoning effort helps the GPT-6 and Claude models at every step, with diminishing returns for Opus, which gains 17.0 points from low to medium effort, 5.9 from medium to high, and 4.0 from high to extra-high, while Claude Sonnet 5.5 gains 14.9 and 11.5 over the last two steps.

5. 预测过度自信：4553 条预测序列中名义 80% 区间实际覆盖率仅 44.8%。

   Across 4,553 forecast series from 3,346 runs on 72 tasks, nominal 80% intervals contain the realized value only 44.8% of the time.

6. 看板任务中 66.9% 通过结构契约的数据源在取值上得 0 分。

   Across the dashboard tasks, 66.9% of the data sources that pass their structural contract score zero on their values.

7. 错误目标案例：Astra 的方案亏损 $86,281 而统一削减可省 $0.40M（得 0 分）；同提示下 Opus 识别任务对 surge pay 的替代、节省 $3.09M（可达 $3.12M，得 99 分）。

   The platform pays for quests to avoid surge pay; however, under the simulator’s response model, the plan loses $86,281 where a uniform cut would save $0.40 million, and it scores 0. From the same prompt, Claude Opus 5.5 at extra-high effort finds that quests substitute for surge pay, cuts where they save the least surge per bonus dollar, and saves $3.09 million of an attainable $3.12 million (score 99).

8. 提示敏感性：说明任务目的与存在留出集使所有设置均值从 18.5 升至 61.7。

   Stating what quests are for and that a holdout exists raises the mean over all settings from 18.5 to 61.7.

9. 错误数量案例：47 次完成运行中 29 次返回 13,575,751 而关键是 14,541,453（保留数），多因只数了每小时而非每半小时的空闲签到。

   Of the 47 completed runs, 29 return exactly 13,575,751 reports for January against 14,541,453 in the key, which is the retained count.

10. 错误记录案例：正确表仅来自 Opus 5.5、GPT-6 Astra、GPT-6.1 Sol 在 extra-high effort 的 3 个设定；30 个发布正确行的运行中 28 个正确计数发送窗口，10 个在最高 $327,727 的总额上把每 offer 的 booked contribution 做到与键差 $2.30 以内。

    The three right tables come from Claude Opus 5.5, GPT-6 Astra, and GPT-6.1 Sol at extra-high effort, and the same three models fail at low, medium, and high effort. Most of the work is right in many more runs. Of the 30 that publish the right rows, 28 count how many windows each offer was sent to correctly in total, and ten get every offer's booked contribution within $2.30 of the key, on totals of up to $327,727

11. 欺诈任务提示敏感性：更短提示使 47 个匹配设置均值从 8.8 升至 32.0（37 个改善、6 个恶化、4 个持平）。

    Over 47 matched settings, the shorter prompt raises the mean score from 8.8 to 32.0, with 37 settings improving, six worsening, and four tied.

12. 95% 置信区间：Opus 5.5 得分为 59.5 [52.0, 67.1]，解决率为 34.8% [27.3, 43.3]。

    Claude Opus 5.5 | 59.5 [52.0, 67.1] | 34.8 [27.3, 43.3]

Novelty：新颖性中等偏高，核心贡献在于组合而非单一组件。合成仓库（TPC 系列）、模拟环境评测（τ-bench 等）、后果式目标状态评分都不新，但本文是首个（作者声称）把"表间必须相互一致的企业级 ERP 仓库"与"按模拟器潜状态对智能体行动的后果评分"结合起来的基准。具体的新颖点包括：用 Oracle EBS 公开数据字典保证 schema 可验证性、双世界设计（公开仓库+私有种子）防止记忆得分、对"求解比验证更难"的显式利用（仓库隐藏潜状态但 grader 可直接读状态）、以及把预测/封禁/预算分配分别用 proper scoring rule、成本敏感基线、可达节省份额来客观评分。它不是 text-to-SQL 的增量修补，而是把评测对象从"查询"转移到"理解—导航—行动"的智能体能力，这一视角转移具有新意。不过各评分模式的数学工具均来自既有文献，创新主要体现在工程整合与任务/数据规模。 Soundness：整体较为扎实，但在统计与因果推断上存在明显脆弱点。扎实之处：世界校准到公开总量、schema 由资深 ERP 顾问对照 EBS Vision 数据字典核验、answer key 运行前冻结、评分器基于潜状态、置信区间按任务家族聚类重采样、附录披露了 98 家门店恰好是被注入退款的门店这一"捷径"。主要问题：(1) 每个模型×努力档位每任务只有一次运行，置信区间只反映任务抽样、不反映运行间方差，无法区分模型能力与随机性；(2) 所有任务共享一个模拟世界，任务内序列高度相关，覆盖率的统计解释有限；(3) 分数对参考预测敏感——同一预测在不同参考下可从高分跌至极低分，说明绝对分数尺度不稳定；(4) 提示措辞敏感性被报告但未做消融，是捆绑修改而非孤立变量；(5) 模拟器作者假设与受评系统共享简化假设的问题虽被承认，却无法从内部消除；(6) 某些"成功"运行依赖注入退款留下的可识别捷径，作者自己也声明不能外推为真实欺诈能力。这些削弱了从分数到真实企业表现的推断力，但作者大多已在限制中坦诚披露。 Significance：对数据智能体社区意义较高。它正面回应了当前基准的三个公认缺陷（公共数据拼凑、非端到端、不可验证），并提供一个大规模、公开、可复现的 ERP 数据组织评测对象，有望成为连接 SQL 能力与真实企业工作的中间基准。其"按后果评分"的设计把研究注意力引向企业真正关心的目标（欺诈损失、投资回报、预算节省），而非查询串匹配，对推动智能体从"会写 SQL"走向"能理解并行动"有示范作用。公开的仓库、任务、参考智能体与 harness 降低了复现门槛；私有评分世界则保护了排行榜可信度。但意义受限于单一城市、单一年份、单一 ERP 格式与无杂乱数据的"绿地"仓库，它衡量的是对理想化企业数据组织的理解，而非对真实遗留系统的鲁棒性；作者对此定位清楚，因此它更接近一个被仔细限制的能力探针，而非企业部署表现的代理。

论文第 5 节与附录承认四类主要限制。其一，数据与真实最复杂 ERP 部署仍有差距：只覆盖单一城市，因此没有外币及其交易/本位/报告货币的多重表示；复杂仓库常合并多个业务（如外卖+杂货配送）共享账户，混合到单一余额；只模拟一年，缺乏 2017–2026 更长历史与 2020–2022 的市场冲击；只支持 Oracle EBS，未覆盖 SAP S/4HANA。其二，模拟器本身的局限：仅验证 23 个指标，公共数据未约束的行为被排除在任务之外；世界内会员计划尤其依赖弱支撑假设；模拟器编码作者假设，若生成器与被评系统共享简化假设会使任务比真实更易；校准到聚合目标不保证尾部真实。因此 Argo-Bench 只能比较数据智能体，不能估计其在真实公司仓库上的表现。其三，统计稳健性：每个模型×努力档位每任务仅一次运行，所有任务共享一个模拟世界，置信区间只反映任务选择而非运行间方差；部分任务分数对提示措辞敏感；plan 任务在冻结的响应模型下评分。其四，评分尺度：分数依赖参考预测的尺度，同一预测在不同参考下分数剧烈变化，所以需同时报告区间覆盖率与绝对误差；部分欺诈搜索存在注入退款留下的捷径（98 家门店正是注入对象），作者声明不把成功运行外推为真实欺诈能力。此外模拟器与评分器不公开（防答案记忆），使第三方无法独立审计 ground truth 的生成过程，只能在 best-effort 下复现"兄弟世界"而非精确数字。

可跟进的方向分四类。(1) 环境丰富化：增加 SAP S/4HANA 格式；引入多业务合并仓库（外卖+杂货等共享账户）；延长历史到 2017–2026 以纳入 2020–2022 冲击；加入外币与多币种表示；逐步引入"杂乱"元素（legacy 表重叠、跨表不一致）并配套语义层，以分离"探索数据组织"与"使用策展层"两种能力。(2) 统计与实验设计：对每任务做多次运行以区分模型能力与随机性；生成多个模拟世界种子以估计世界间方差；对提示措辞做单变量消融而非捆绑修改；把评分参考从"冻结参考预测"改为对参考不敏感或参考无关的尺度，或至少同时报告多个 proper scores 与绝对误差；发布模拟器或至少发布可审计的 ground truth 生成协议。(3) 方法学延伸：研究如何在长上下文多工具调用中保持任务目标（当前高 effort 模型调用多但得分不升，可能与上下文被数据淹没有关）；开发"先核对定义、再行动"的元认知策略；研究如何让智能体利用双世界/留出集做因果推断而非只用相关证据。(4) 评测扩展：加入人类专家基线以标定"可解性"上限；加入多智能体协作与持久记忆（跨任务复用已发现的表组合）；把评分从冻结响应模型扩展到 live 部署结果；跟踪排行榜随时间饱和情况，检验该基准是否像 Spider 一样快速被攻克，从而判断其难度设计的长期有效性。

Video generation models are increasingly being explored as world simulators for embodied planning and learning. To do so effectively, these models must not only generate visually appealing frames, but also predict how environments dynamically evolve when executing goal-directed actions. While evaluating these capabilities is crucial, existing benchmarks focus mainly on single short actions or step-by-step instructions. This leaves multi-step physical reasoning underexplored, especially in egocentric video generation that requires planning to simulate proper execution to accomplish high-level goals by carrying out multiple real-world manipulations. We introduce Ego2Act, a goal-directed benchmark featuring 2,640 videos from 110 real-world tasks across day-to-day settings, varying object clutter and multi-step complexity. Given an initial scene image and a high-level goal, Ego2Act evaluates whether video generation models can produce realistic egocentric videos of a hand manipulating obje

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文把"学会如何动"与"决定去做什么"分开：一个固定的全身人形机器人控制器一次性学会运动与接触交互，任务知识则存放在控制器权重之外、可由语言模型读改写并通过执行验证的"奖励程序"中。论文的定位是把任务专用的计算从训练期移到测试期（test-time evolution）：不重训控制器，而是在给定尝试预算内，由LLM代理结合执行反馈与已验证程序的技能库，反复修订奖励程序的结构，CMA-ES校准其常数，使同一控制器被诱导、复用并组合既有运动能力来解未见过任务。与运动参考、目标状态、技能标签等接口相比，奖励程序更善于表达接触丰富、多阶段交互，且能指出失败之处；与"每改一次奖励就重训策略"的惯例相比，本文用对象感知的前向-后向（FB）行为基础模型在测试期直接把奖励映射为潜变量提示，无需重训。其核心贡献是提出InterEvolve框架、对象感知的FB电机模型，以及关于奖励设计、结构/常数协同搜索与技能库积累如何影响参考跟踪和目标条件任务的评估。

背景分两条线。第一条是人形控制与行为基础模型。学习的人形控制器已能提供广泛的全身运动与接触丰富操作，训练常来自人类数据；但开放环境中总会遇到训练未枚举的任务与场景，例如能推、抬、搬箱子的控制器被要求"把箱子翻到另一面"，所需动作其实已在既有技能之内，却缺少对应演示或策略。FB行为基础模型（Touati & Ollivier；Tirinzoni；Li et al. 的BFM-Zero）把策略索引为潜变量z，并将折扣未来状态占有分解为F(s,a,z)^T B(s')ρ(ds')，因此任意奖励r都能积分出Q_r≈F(s,a,z)^T z̃_r，其中z̃_r=E_ρ[r(s')B(s')]：新奖励只需新的潜变量提示，不必重训策略。这是"奖励程序可在测试期执行"的理论基础。第二条是任务接口与奖励设计。常用接口（运动参考、目标状态、技能标签）要求把"翻箱子"这类微妙目标翻译成参考动作或新技能，难以设计；奖励更具表达力且能指示失败来源，但传统上每次修改奖励都要重训策略，迭代缓慢。已有的人形FB模型只观测身体，导致"仅目标物体位置不同"的奖励坍缩为同一行为，因此需要对象感知扩展。同时，接触丰富、多阶段的任务对奖励公式化要求高：手写奖励往往远低于控制器实际能力。论文还借鉴了语言模型测试时扩展（inference-time scaling）的思想，把"更多推理算力→更好解"迁移到"更多演化算力→更好的奖励程序"。最后，为了长期复用，论文引入技能库：把成功奖励程序及其验证结果文本化，供后续组合任务检索与改编，避免每次从零开始。

机制核心是一条固定映射链：(ℓ,c)→P→z→τ→C(τ)。任务由语言请求ℓ和场景上下文c（物体位姿、障碍等）描述；固定的预训练控制器π(a_t|o_t,z)接收策略观测o_t与潜变量提示z；奖励程序P把任务翻译成分阶段的奖励；活跃阶段奖励经FB模型变为z；执行产生轨迹τ；固定验证器C={C_i}以特权身体-物体状态判定成功，并检查物理约束（如不摔倒、手不碰箱）。对语言任务，LLM辅助解析器只把(ℓ,c)实例化一次C，之后C固定，代理不能靠改写评价器降低难度。适应问题因此被严格限定为"只演化P"，在K轮预算内找到使C更好的程序。 奖励程序P=(θ,{(r_j,g_j)})是可直接编辑的策略表示：有序的J个阶段，每阶段有奖励代码r_j（通过声明特征给身体-物体状态打分）和完成条件g_j（读取物体位姿、接触状态、阶段时间等实时rollout上下文，返回是否完成）；执行停留在阶段j直到g_j成立再进入j+1，末阶段跑完episode。常数θ是r_j、g_j读取的权重、容差、核宽、阶段阈值。这种表示给了演化三个显式把手：奖励什么（r_j）、何时切换（g_j）、如何标定（θ），并把"结构"（阶段、奖励项、完成条件）与"常数"分开，交给不同搜索器。 FB执行的直觉：由M^{π_z}(ds'|s,a)≈F(s,a,z)^T B(s')ρ(ds')，对任意可积状态奖励r有Q_r^{π_z}(s,a)=∫r(s')M^{π_z}(ds'|s,a)≈F(s,a,z)^T E_{s'~ρ}[r(s')B(s')]，即z̃_r=E_ρ[r(s')B(s')]。新奖励只改提示不改策略。为估计z̃_r，论文在电机模型训练后、演化开始前，从多任务多物体训练replay中一次性采样奖励推断银行B={s_n}，缓存每个状态的B(s_n)和奖励代码所读特征；银行在演化期间保持固定。阶段j在时刻t对银行状态s_n的奖励r̂_{j,n,t}用实时rollout上下文评估，提示为 z_{j,t}=proj(Σ_n α_{j,n,t}B(s_n))，α_{j,n,t}∝r̂_{j,n,t}exp(β r̂_{j,n,t})（式1）。β>0把估计向高奖励状态倾斜（如踢箱子阶段0的脚击箱状态），其余银行状态保持广覆盖以支持其他已学行为。proj把非零结果按预训练用的球半径逐块重缩放，因此整体正比例缩放奖励不改变提示——只有相对权重有意义。均匀聚合是β=0；倾斜版为w_n=exp(βr_n)/Σ_k exp(βr_k)，z_r=proj(Σ_n w_n r_n B(s_n))（式5），β越大越集中，是偏置启发式，奖励尺度与β共同决定集中度。由于阶段奖励读实时上下文，提示每个控制步重算并驱动π(a_t|o_t,z_{j,t})。 对象感知表示解决"仅身体观测导致目标物体位置不同的奖励坍缩"。BFM-Zero的三个网络（actor、F、B）都保持预训练身体分支冻结，各加一个可训练对象残差。actor保留局部身体观测，增加航向帧对象特征：物体位置、六维朝向、线/角速度、以及从身体链接到最近物体表面的距离衰减向量；其均值动作为 tanh(μ_prior(o_t^body,z_{j,t})+Δ_μ(o_t,z_{j,t}))。F、B以同样方式扩展。残差分支在人类-物体交互数据上用FB目标加演示判别器训练，使模型对象感知而冻结先验保留身体行为。交互编码为105维=15维物体状态+90维链接项（30个身体链接各3维到物体表面的位移，按距离指数加权，编码接近度而非接触力）；Inspire手版本把手指链接计入，共54个链接。actor输出29个身体关节目标；Inspire手用每手一个标量抓取接口展开为手指目标，避免全手自由探索。 演化是嵌套双环。外层LLM代理改结构，内层CMA-ES调θ；两层都在并行场景上评估每个候选，使每次决策基于多次rollout。每轮代理收到一个纯文本提示：任务请求、场景上下文、验证器C、当前最优程序及其rollout反馈、技能库H。代理权重固定，只在上下文中学习，提出多个新程序；验证器在rollout前丢弃违反代码规则的程序（如读未声明特征）。内层冻结阶段与奖励项，只在代理声明的边界内演化θ，CMA-ES采样常数、并行仿真评估、采样分布移向更高分。选择上，候选先在16场景搜索网格上与当前最优共享初始条件开发，再用64场景网格对二者各重评3次，仅当改善超过运行间评估噪声才替换当前最优；最终用另一组64场景评估所选程序。这区分了幸运编辑与稳健编辑。每轮预算：一次代理调用、每个有效提案192个调参rollout（λ_ES=4、G=3、S=16）+确认64×3=192个rollout；每rollout跑满700个50Hz控制步。K轮后或当前最优在确认场景满足C全部条件时停止。 技能库H是每次放入代理提示的文本文档，每个条目记录已完成任务的场景、任务文本、验证器（各条件通过率）、实测成功率、所选程序及调好的常数；结尾总结规律（如多阶段程序以"释放阶段"收尾、抬升项总是与手接触相乘而非裸高度项，以免选中腾空状态）。八个任务约28KB全部放入提示，供后续组合/改编。 训练与数据细节：FB模型在OMOMO（大物体全身操作）与GRAB（小物体全身抓取）人类-物体交互数据上预训练，重定向到带橡胶手的Unitree G1及带Inspire手的G1；OMOMO四个箱状物体（大箱、塑料箱、小箱、行李箱），每物体留50段评估、其余3866段训练，大箱留出段构成跟踪基准。actor目标（式2）为L_π=-E[F(s,a,z)^T z+λ_D Q_D(s,a,z)+λ_A Q_A(s,a,z)]，λ_D、λ_A是标称系数乘以detached平均绝对FB值，使正则随任务价值估计自动缩放；模仿奖励是判别器对数几率（式3），辅助奖励惩罚不良运动与物理违规。LLM为DeepSeek-V4-Flash，仿真用Isaac Lab。五轮搜索一个任务族约执行6.7–14.2M环境步（平均9.5M），模拟耗时占主导，语言模型每轮1–2分钟。

实验围绕三个问题组织：能力、可达、积累。能力方面，参考跟踪显示对象感知电机模型在单一控制器上接近专用跟踪器，且演化出的对象锚定漂移校正奖励可进一步超过专用跟踪器；交互编码与残差容量的消融说明对象状态、链接几何与"冻结身体先验+残差"都不可或缺。可达方面，通用任务（推、搬、翻、踢、举、穿门、绕障等）上，手写或代理初始程序即使经CMA-ES校准也远不如结构演化；按任务族拆分，结构演化把多个困难族大幅拉起，踢箱子仍最难；组件消融显示多阶段分解与数值校准贡献最大，针对性编辑、多场景评估、场景上下文也都有帮助；轮次曲线显示成功率随测试时轮数总体上升但非单调，而tokens线性增长、模拟占主要成本。积累方面，技能库对组合任务近乎必需，且复用取决于覆盖所需接触模式而非任意历史；跨物体迁移时不变程序退化、逐物适应可恢复；此外给出仿真中的长程组合与真实Unitree G1上的自主部署作为定性证据。

1. 参考跟踪上，对象感知的InterEvolve电机模型（无演化）SR为60，接近专用跟踪器ULTRA的66；仅身体观测的BFM-Zero只有8；开启奖励演化后SR升到72、超过ULTRA，身体与对象误差也降到19.80和24.92。

   Controller | Evolving | E h ↓ E_{h}\downarrow | E o ↓ E_{o}\downarrow | SR ↑ \uparrow ULTRA | ✗ | 15.68 | 21.45 | 66 BFM-Zero | ✗ | 28.36 | 62.33 | 8 InterEvolve | ✗ | 27.20 | 30.80 | 60 InterEvolve | ✓ | 19.80 | 24.92 | 72

2. 演化出的对象锚定漂移校正奖励同时降低身体与对象误差、使成功率超过ULTRA，并几乎把根与物体的最终漂移减半。

   It reduces both errors, lifts success above ULTRA, and nearly halves the final drift of root and object (Figure 5 ).

3. 通用任务上，InterEvolve（结构+常数演化）SR为86.5、Earned为95.6，远超人类程序校准后的18.0与代理初始程序校准后的34.6；静止不动的SR为0.0、Earned为49.1，说明SR是更有代表性的主指标。

   Program | Tune | Evolving | SR ↑ \uparrow | Earned ↑ \uparrow | GPU-h ↓ \downarrow | Tokens ↓ \downarrow Inaction | – | – | 0.0 | 49.1 | n/a | n/a Human | ✗ | ✗ | 8.0 | 65.2 | n/a | n/a Agent | ✗ | ✗ | 32.2 | 73.3 | n/a | 0.03 Human | ✓ | ✗ | 18.0 | 75.2 | 0.6 | n/a Agent | ✓ | ✗ | 34.6 | 82.5 | 0.6 | 0.03 InterEvolve | ✓ | ✓ | 86.5 | 95.6 | 2.1 | 0.23

4. 由于人类程序与代理初始程序都经过CMA-ES校准，InterEvolve把最佳校准程序的成功率提高一倍以上，这部分差距来自结构改动（奖励什么、目标如何分阶段）而非权重。

   InterEvolve more than doubles the success of the best calibrated program, and because both fixed programs are calibrated, this gap comes from structural changes: what is rewarded and how objectives are staged.

5. 按任务族拆分，固定校准程序在推至标记上为96.9，但胸高搬运、翻面、绕障等为0.0或很低；演化后胸高搬运100.0、翻面95.3、穿门73.4、绕障71.9，踢至标记59.4仍最难，宏平均从18.0/34.6升到86.5。

   Task family | Human + CMA | Initial agent + CMA | InterEvolve Push to mark | 96.9 | 100.0 | 100.0 Carry at mid height | 0.0 | 40.6 | 100.0 Carry at chest height | 0.0 | 0.0 | 100.0 Tip onto a new face | 0.0 | 0.0 | 95.3 Push through a gate | 0.0 | 25.0 | 73.4 Push around an obstacle | 0.0 | 4.7 | 71.9 Kicking to mark | 17.2 | 37.5 | 59.4 Lift to support | 29.7 | 68.8 | 92.2 Macro-average | 18.0 | 34.6 | 86.5

6. 消融显示，强制单阶段使SR从86.5降到44.7（降幅最大），去掉CMA-ES调参降到51.6，去掉针对性编辑降到68.9，去掉多场景评估降到68.4，去掉场景上下文降到78.7。

   Search components | Results CMA-ES tuning | Targeted edits | Multi- scenario | Scene context | Multi- stage | SR (%) ↑ \uparrow | Earned (%) ↑ \uparrow | GPU-h ↓ \downarrow | Tokens (M) ↓ \downarrow ✓ | ✓ | ✓ | ✓ | ✓ | 86.5 | 95.6 | 2.1 | 0.23 ✗ | ✓ | ✓ | ✓ | ✓ | 51.6 | 89.9 | 1.7 | 0.27 ✓ | ✗ | ✓ | ✓ | ✓ | 68.9 | 92.3 | 2.7 | 0.20 ✓ | ✓ | ✗ | ✓ | ✓ | 68.4 | 89.9 | 1.0 | 0.17 ✓ | ✓ | ✓ | ✗ | ✓ | 78.7 | 93.2 | 2.0 | 0.21 ✓ | ✓ | ✓ | ✓ | ✗ | 44.7 | 86.9 | 2.1 | 0.19

7. 成功率随测试时轮数总体上升（初始32.2→第4轮86.5），但第2轮76.8到第3轮73.6出现回落；Earned单调上升，tokens线性增长。

   Round | SR ↑ \uparrow | Earned ↑ \uparrow | Tokens Initial | 32.2 | 73.3 | 0.03 1 | 75.0 | 91.7 | 0.08 2 | 76.8 | 92.6 | 0.13 3 | 73.6 | 93.1 | 0.18 4 (final) | 86.5 | 95.6 | 0.23

8. 组合任务上，完整技能库实现搬迁8/10、堆叠4/10、搬-放-踢5/10；无库几乎全为0/10（仅搬-放-踢1/10）；仅搬运库能恢复大部分搬迁（6/10）但无助堆叠与踢。

   Library | Relocate | Stack | Carry-place-kick | Tokens ↓ \downarrow Full | 8/10 | 4/10 | 5/10 | 0.16 None | 0/10 | 0/10 | 1/10 | 0.13 Carry-only | 6/10 | 1/10 | 1/10 | 0.15

9. 交互编码消融：移除物体状态使SR从60降到20，移除链接几何使SR降到12（虽然身体误差最低但物体误差高），说明物体状态与身体链接到表面的几何编码都是关键输入。

   Interaction encoding | Dim. | E h ↓ E_{h}\downarrow | E o ↓ E_{o}\downarrow | SR ↑ \uparrow | Δ \Delta SR Object state + link geometry | 105 | 27.20 | 30.80 | 60 | n/a No object state | 90 | 28.57 | 49.20 | 20 | − 40 -40 No link geometry | 15 | 25.05 | 60.83 | 12 | − 48 -48

10. 残差容量消融：从头训练的843M参数模型SR只有2，而冻结身体先验上训练全宽残差达到60；残差越宽SR越高（256宽度28→1024宽度46），证明身体先验提供身体技能、残差学习交互。

    Model | Trainable parameters | E h ↓ E_{h}\downarrow | E o ↓ E_{o}\downarrow | SR ↑ \uparrow From scratch | 843 M | 60.96 | 78.21 | 2 Residual on the body prior MLP 256 × 256\times 2 2 | 14.1 M | 36.19 | 50.81 | 28 MLP 512 × 2 512\times 2 | 30.5 M | 31.51 | 42.58 | 30 MLP 1024 × 2 1024\times 2 | 79.5 M | 29.22 | 37.42 | 46 Full-width residual | 852.0 M | 27.20 | 30.80 | 60

11. 在踢箱子这类稀有行为上，均匀聚合（β=0）SR为0.0，β=10时峰值59.4，β=30过聚焦降到28.1；银行大小100k时SR为65.6，200k反而降到14.1，说明需要足够相关状态且聚焦适度。

    β \beta | State count | SR (%) ↑ \uparrow | N 90 N_{90} | Projection latency (ms) ↓ \downarrow | Peak memory (MiB) ↓ \downarrow Reward tilt 0 (uniform) | 50k | 0.0 | 45,000 | – | – 1 | 50k | 15.6 | 28,674 | – | – 3 | 50k | 35.9 | 10,655 | – | – 10 | 50k | 59.4 | 2,077 | 0.92 | 63 30 | 50k | 28.1 | 3 | – | – Bank size 10 | 6.25k | 21.9 | 293 | 0.91 | 15 10 | 12.5k | 62.5 | 346 | 0.91 | 22 10 | 25k | 53.1 | 1,441 | 0.90 | 36 10 | 100k | 65.6 | 2,815 | 0.95 | 118 10 | 200k | 14.1 | 170 | 1.09 | 228

12. 跨物体迁移：在大箱上搜索的程序不变地用于塑料箱、小箱、行李箱时，宏平均只有37.5/35.9/59.0；逐物体适应后升到78.5/88.7/84.6。

    Task family | Large box | Plastic box | Small box | Suitcase Push to mark | 100.0 | 0.0 (4.7) → \to 98.4 | 0.0 (0.0) → \to 98.4 | 0.0 (25.0) → \to 92.2 Carry at mid height | 100.0 | 15.6 → \to 84.4 | 35.9 → \to 96.9 | 76.6 → \to 90.6 Carry at chest height | 100.0 | 18.8 → \to 98.4 | 29.7 → \to 95.3 | 98.4 † Tip onto a new face | 95.3 | 78.1 → \to 93.8 | 28.1 → \to 89.1 | 31.2 → \to 96.9 Push through a gate | 73.4 | 40.6 → \to 98.4 | 56.2 → \to 85.9 | 68.8 → \to 90.6 Push around an obstacle | 71.9 | 32.8 † | 1.6 → \to 84.4 | 96.9 † Kicking to mark | 59.4 | 32.8 † | 65.6 † | 7.8 → \to 18.8 Lift to support | 92.2 | 81.2 → \to 89.1 | 70.3 → \to 93.8 | 92.2 † Macro-average | 86.5 | 37.5 → \to 78.5 | 35.9 → \to 88.7 | 59.0 → \to 84.6

Novelty：新颖性中等偏上。单个部件——FB行为基础模型、LLM写奖励、CMA-ES调参、技能库——都不是全新，BFM-Zero与FB理论直接构成起点。真正的增量在于组合与接口设计：把"奖励程序"作为可编辑、可执行、可验证的任务策略表示，并以"对象感知的FB残差模型"充当测试期执行器，实现控制器固定下的结构-常数双环演化；对象残差加在冻结身体先验上是一个清晰且有效的工程贡献；把技能库做成放入提示的文本记忆、并用固定验证器保证不可作弊，也补足了"演化什么、如何稳健接受"的闭环。与以往"为每个新奖励重训策略"或"只调权重"相比，这篇文章的定位切换（训练期→测试期、策略→程序）有观点价值。但抽象层级上它仍属于LLM引导的奖励设计与测试时搜索的结合，缺乏理论新结果，因此不能算高新颖。 Soundness：可靠性总体较好但有限制。做得好的地方：验证器C固定且与奖励解耦，防止代理改评价器；搜索网格（16场景）与确认网格（64场景×3重复）分离，接受编辑需超过运行噪声，最终另用64场景评估；消融变体用"省下的rollout换更多提案"保持仿真预算相等；跨物体、跨任务、技能库覆盖消融和轮次曲线都比较系统；宏平均按任务族聚合，避免单点结论。主要问题：成功指标基于固定且偏小的场景分布（最终64个场景），没有置信区间或方差展示，仅声明三次独立评估取平均；奖励倾斜β是偏置启发式且与奖励尺度耦合，比较奖励公式时人为固定β，提示估计的近似误差没有直接度量；银行固定来自训练replay，对稀有行为依赖重采样，可能成为隐藏瓶颈；真实硬件只有两个任务的定性部署，缺乏定量sim-to-real对比；固定程序基线只有人类/初始代理+CMA-ES，未与其他测试时方法（如参考生成、模型式规划、在线RL）竞争。因此核心主张（结构演化带来增益、技能库复用有效）证据充分，但泛化边界与统计严谨性仍需加强。 Significance：意义较大。它提供了一个可操作的范式：基础控制器学一次"如何动"，任务知识以可读、可复用、可执行的奖励程序存在于权重之外，语言模型在测试期通过执行反馈改进，这与LLM的测试时扩展同构，对具身智能"通用控制器+任务层"的分工有启发性。技能库把成功经验沉淀为文本，使长程组合任务可以建立在早期经验上，而不是每次从零发现。对象感知FB残差也提供了把预训练身体能力与物体交互解耦扩展的模板。对实践而言，它把"新任务"的边际成本从重训策略变为仿真搜索与程序编写，且有真机部署潜力。但当前成本（GPU小时级仿真+LLM延迟）限制其作为通用在线方案，且依赖强预训练控制器和奖励推断银行，尚不能解决控制器从未学过的行为。总体看，它更像一个方向性的系统贡献，价值在于接口设计与经验证据，而非普遍可用的现成方法。

作者自述的局限：程序搜索受限于电机行为库、奖励推断银行与可用测量，无法引出控制器从未学过的行为；每次搜索耗费GPU小时的仿真与LLM延迟，排除物理执行期间的实时重规划；累计经验目前只更新程序库、不更新控制器。补充的审稿视角问题：其一，银行从训练replay一次性采样且演化期间固定，对稀有目标行为高度敏感，β倾斜又是偏置启发式，表9显示倾斜不当或银行过大都会使成功崩溃，说明"任意奖励→正确行为"的接口并不稳健；其二，验证器由LLM辅助解析一次生成，若场景语义复杂或约束表述模糊，固定C本身可能错，进而误导演化；其三，评估以固定场景分布和较小场景数为主，缺少方差与统计检验，成功率曲线在轮间非单调，说明单次运行的稳健性未充分刻画；其四，跨物体迁移退化明显（不变程序在新物体上大幅下降），说明"复用"仍依赖逐物体再适应，并非零样本泛化；其五，真实硬件只演示两个任务，缺少定量成功率和抗扰/光照/位姿误差测试；其六，与模型式规划、参考生成、技能潜变量、在线微调等其他测试时基线缺乏直接比较，难以判断增益的上界与来源；其七，奖励程序仍由LLM生成代码，需代码规则验证器，工程脆弱性和API依赖未讨论。

后续可从几条线展开。第一，闭环更新控制器：论文自己指出"让累计经验也更新控制器"是下一步，可尝试把验证过的奖励程序转化为离线RL目标或重放目标，让电机模型逐步扩展行为库，突破"只能复用既有技能"的边界。第二，降低演化成本与延迟：用mjlab等更快仿真器、并行多GPU rollout、提前终止与预算自适应，缩短每轮从分钟级到秒级，使接近实时的测试时重规划成为可能；同时研究少样本/零次rollout的奖励程序评估以省算力。第三，改进奖励推断接口：学习式或非参数的银行权重/倾斜替代固定β启发式，研究如何为稀有行为自动增广银行、以及把银行状态与实时上下文联合编码，提高"任意奖励→潜变量"的保真度。第四，验证器与失败归因：自动从任务文本和场景生成可执行验证器并检测其自身错误，避免固定C误导；用结构化轨迹诊断把失败定位到具体阶段和奖励项，减少LLM的盲目修改。第五，技能库理论：研究库的规模、去重、压缩、遗忘与跨形态迁移，量化"覆盖接触模式"的充分条件，而不是只做三个组合任务的示例。第六，更严的评估：加入置信区间、多次种子、分布外场景、干扰与感知噪声，给出真机定量成功率和sim-to-real gap。第七，与参考生成、分层规划、模型式控制等测试时基线做受控对比，厘清增益来自结构搜索、常数标定还是执行反馈本身。

本文定位为一份基准（benchmark）与训练数据工作，处于“知识型网络安全评测”与“端到端智能体评测”之间：前者（SecEval、CyberMetric 等多选题/简答题）只测概念理解，后者（CyBench、NYU-CTF、DefenderBench 等 CTF/仿真环境）难以把失败归因到单一组件。KaliBench 将“自然语言安全意图 → 精确可执行 CLI 命令”独立成一个 schema-free 的 NL-to-CLI 任务，在 Kali Linux 工具链上对工具选择、可选参数、位置参数做组件级、别名感知的确定性评分，并借此构造无需运行命令即可计算的“可验证奖励”，使同一数据集既能评测又能用于 SFT/RLVR 后训练。其核心主张是：现有 function-calling 基准假设 JSON schema 显式给定，而真实安全工具以 CLI 为主、无法在 prompt 里枚举全部 schema；因此需要一种隔离命令生成、可归因、可执行性已被验证的评测与训练框架。

LLM 正被引入从交互助手到自主智能体的网络安全工作流。早期领域基准（SecEval、CyberMetric、CyberBench、SECURE、CS-Eval、SecBench、CTI-Bench）主要用选择、判断、简答等静态形式测知识记忆；更近的智能体式评测（CyBench、NYU-CTF Bench、DefenderBench）在 CTF 或企业攻防环境中做端到端评估，但端到端表现同时取决于规划、环境交互、观察解读、工具调用与纠错，难以定位瓶颈。与之并行的是通用 function-calling 基准（BFCL、ToolSandbox、StableToolBench、HammerBench），它们基本假设工具与参数以 JSON schema/API 显式提供，适合结构化字段填充，却不覆盖“从共享 CLI 推断工具与语法”的真实场景。 实践动机在于：Kali Linux 是安全从业者常用平台，提供超过两千个预装安全工具包，分析师必须把“扫描该子网的 SMB 误配置”之类高层目标转写成 Nmap、Metasploit、Volatility 等工具的精确命令行；CLI 对参数顺序、flag 拼写、别名误用和工具误判几乎零容忍。由于上下文长度限制，枚举数百个工具 schema 并不现实，因此 NL-to-CLI 评测实质上是 schema-free 的：模型必须自行推断工具与参数并生成语法正确、可执行的命令。本文据此提出 KaliBench，以官方 Kali 工具手册为语料、经多阶段验证构建可执行数据集，并通过三种信息量不同的评测设置分离“选对工具”与“构造对参数”两类能力，进而识别参数构造（尤其可选 flag）为主要瓶颈。

KaliBench 把每条样本组织为可分解的组件：query（自然语言查询）、tool_name、optional arguments（以别名感知的 flag–value 对记录）、positional arguments（有序值列表），以及由这些组件拼成的 ground_truth_command。其通用命令形式是 <tool_name> <args>：可选参数以 -- 或 - 开头、顺序可交换且允许别名、可以带值；位置参数只有值且必须按固定顺序出现。这种显式结构是后续“运行时无关、组件级可验证奖励”的前提。 一、数据生成。语料来自 Kali Linux 官方仓库的结构化 Markdown 手册，共覆盖 2,372 个工具，每个工具标注长短选项及相关别名，并带 metapackage 分类元数据。以工具为单位，用 Qwen3-Max 为每个工具生成 10–13 条自然语言 query–command 对，同时输出结构化标注（工具名、别名感知的 flag–value 可选参数、位置参数），得到约 27.7K 对。手册的选项/别名信息被用作生成引导信号，以减少无根据的参数发明。 二、多阶段验证与清洗。第一阶段 LLM-as-Verifier：把 query、generated_command、tool_manuscript 一起交给 LLM，检查（i）所有 flag 与参数是否见于手册、（ii）命令是否只用受支持功能忠实实现查询。首轮即过滤掉 53.8% 的生成样本，导致 413 个工具无有效样本，于是对空覆盖工具迭代重生成并复验，最终保留 14.5K 对（累计移除 47.65%）。第二阶段终端验证：在装有 kali-linux-everything 镜像的 Docker 沙箱内实际执行每条 LLM 验证后的命令，记录 stdout、stderr、退出码与超时；由于参数是合成值（地址、设备、路径可能不存在），采用基于输出日志的规则过滤，剔除“幻觉工具或无效参数”导致的错误，再过滤 11.95%。第三阶段人工闭环：聚焦 hinted 模式下最强模型仍失败的样本（这类失败更可能来自数据标注问题），先用 AI 代理（OpenAI Codex with GPT-5.4 Thinking）交叉核对 query、生成命令、ground-truth 与手册的语义一致性，再由人工复核，找出查询歧义与标注错误，进一步剔除 4.9% 的无效样本；典型错误包括畸形 CLI 选项、遗漏查询明确要求的参数、语义错配（如输入/输出操作数位置互换、把路径写成 URL 等）。 三、去重与切分。用 SemHash 框架做语义选择，以 [query, tool_name, ground_truth_command] 为语义单元嵌入稠密向量空间，近似最近邻聚类，成对余弦相似度超过 0.90 归为同簇并保留代表样本。最终得到 8.5K 验证后的 query–command 对（占原始 27.7K 的 30.7%），再切分为 5,000 条评测集（覆盖全部 1,642 个工具）与 3,504 条训练集（覆盖 962 个工具），优先保证评测集工具覆盖。 四、评测协议。对每条查询，模型需在三种设置下生成可执行命令：Unrestricted（只给 query）、Restricted（额外给随机抽样的 20 个候选工具名且含正确工具，缩小选择空间但仍需构造参数）、Hinted（再给候选工具官方手册，近似 schema-based function-calling）。输出用 Python shlex 做 shell 风格词法解析，在不执行命令的前提下忠实模拟 UNIX 解析。由于每条样本显式记录 tool_name、别名感知可选参数、有序位置参数，可做确定性组件打分：Tool Accuracy（工具选择正确率）、Optional-Argument F1（可选 flag 名的别名感知匹配）、Positional-Argument F1（位置参数值的多重集匹配）、Total Score（工具分与参数分的均值）、Exact Correct（工具与所有参数全部精确匹配才为 1）。该设计使“正确工具、错误参数”等失败模式可被单独量化。能力维度沿用 Kali 官方 kali-tools 元包分类的 23 个功能维度，并参考 Lockheed Martin Cyber Kill Chain 归入五个安全阶段（侦察与初始访问、漏洞分析、利用与载荷投递、后利用与横向移动、防御分析与报告）。 五、训练协议。训练模板与评测一致，把三种设置的提示拼接得到 10,512 条训练样本。SFT 以 ground-truth 命令为目标输出。RLVR 在模板中要求模型在 <think>…</think> 标签内先产出推理再输出最终命令（沿用以思考标签监督推理的做法），并用 GRPO 优化。奖励函数直接取自组件级评测指标：对工具名、位置参数、别名感知可选参数的预测分别给可验证信号，再叠加 exact match 奖励与格式奖励；算法直觉是——因为 ground-truth 命令在构建阶段已经过沙箱执行验证，且评分基于 shlex 解析与别名归一化的确定性匹配，所以无需执行模型输出即可得到稠密、细粒度奖励，规避了二进制 exact-match 的稀疏性，也免去运行时开销。训练用 LoRA + Unsloth 参数高效微调，骨干为表现最好的 8B 安全调优模型 RedSage-Ins，单卡 H200（141GB VRAM）、总批大小 32、两个 epoch，得到 SFT、GRPO、SFT+GRPO 三个 RedSage-K 变体。

实验层面分三块。主实验在三种信息量递增的评测模式下评估大量开源模型与安全专项模型：结果表明，把候选工具空间收窄能大幅解决“选错工具”的问题，但对参数级指标的提升有限；只有给出工具手册才能显著拉升可选参数、位置参数与完全正确率，说明模型缺的是领域内工具语法知识而非意图理解。模型类型与规模上，安全专项模型在弱指导下更有优势，通用模型在强提示下更能利用手册，推理增强变体在参数级指标上普遍更好，且规模收益并不均匀——小规模模型可反超更大模型。后训练实验显示，用 KaliBench 的 SFT 与 RLVR/GRPO 组合能把紧凑模型明显拉高，逼近远大于它的模型；但 RLVR 在强提示模式下有轻微回退，SFT 初始化能部分缓解。稳健性实验考察改写、口语化与带噪声查询，噪声输入在所有模式下损害最大，手册可缓解但不能消除。专有模型与脚手架系统的补充评测表明，最强的专有系统整体正确率仍不高，基准尚未饱和，且不同系统的回答覆盖率受安全策略影响。

1. 将候选工具空间从无限制收窄到 20 个候选，工具选择准确率大幅上升，但参数级指标与完全正确率仅小幅改善，说明选对工具不等于构造对命令。

   Transitioning from U to R substantially improves TA (72.0% → \rightarrow 95.2% on average), indicating that constraining the candidate tool space largely resolves tool-selection errors. However, this shift yields only modest gains in Opt-F1, Pos-F1, and EC, indicating that correct tool selection alone does not ensure accurate argument generation.

2. 提供工具手册（Hinted 模式）带来最大提升，可选参数、位置参数、总分与完全正确率均显著上升。

   In contrast, H produces the largest improvements, increasing Opt-F1 from 45.1% to 87.8%, Pos-F1 from 61.1% to 90.1%, TS from 59.4% to 90.8%, and EC from 22.3% to 73.1%.

3. 各指标均值呈现难度阶梯，可选参数预测最难，位置参数次之。

   The metric averages further reveal a hierarchy of difficulty: optional-argument prediction is the most challenging, followed by positional-argument prediction.

4. 安全专项模型并不总能一致地超过强通用模型，其优势在信息更少的设置下更明显。

   Cybersecurity-oriented models ( ⋆ ) do not consistently outperform strong general-purpose models on query-to-command generation, but their advantages become more apparent in less-guided settings.

5. 推理增强变体在参数级指标上带来额外提升，规模相同的 Qwen3 加入推理后平均分提高。

   For example, Qwen3 † improves Avg from 71.8% to 73.8% over Qwen3 and achieves strong H -mode results (94.0% TS, 80.9% EC), highlighting the role of reasoning in intent decomposition and context utilization.

6. 专有模型在无限制设置下全部超过最强的开源模型，但最高全量完全正确率仍有限，基准未饱和。

   GPT-5.6-Sol achieves the highest full-set Exact Correct of 61.68%, followed by Codex at 51.68% and Claude Opus 5 at 44.02%. All three outperform GLM-5.2, the strongest evaluated open-weight model in this setting, which achieves 41.32%.

7. Claude Opus 5 在已回答查询上正确率较高，但因大量查询被安全策略拦截，全量完全正确率被拉低。

   Claude Opus 5 achieves 59.89% EC on answered queries but answers only 73.50% of the test set, reducing its full-set EC to 44.02%.

8. 三个 KaliBench 后训练变体把紧凑模型平均分明显拉高，其中 SFT+GRPO 以 8B 骨干逼近大型开源模型。

   The three RedSage-K variants achieve Avg scores of 76.9, 77.4, and 79.2, with RedSage-K (SFT+GRPO) ranking third in Avg among all evaluated open-weight models, only 1.0 point below DeepSeek-V3.2 † despite using an 8B backbone.

9. GRPO 与 SFT+GRPO 在弱指导下提升总分，但在强提示（Hinted）模式下相对基线有小幅回退。

   Although the GRPO and SFT+GRPO variants of RedSage-K improve Total Score in U and R, they reduce it in H by 0.76 and 0.19 percentage points, respectively, relative to the original RedSage-Ins model.

10. SFT 初始化能缓解 RLVR 回退：SFT+GRPO 在两种弱指导设置下相比纯 GRPO 提升更多，并减少强提示模式的回归数量。

    Compared with GRPO alone, SFT+GRPO improves Total Score by 2.91 points in U and 3.28 points in R, while reducing H-mode exact-match regressions from 562 to 488.

11. 带噪声（Messy）查询在所有设置下造成最大性能下降，无限制设置尤其明显，手册只能部分缓解。

    Messy queries cause the largest drop across all settings, especially in the Unrestricted setting. Hinted mode shows the smallest decline under messy inputs (1.07 percentage points), suggesting that access to full tool documentation mitigates, but does not eliminate, the impact of noisy wording.

12. 即便以官方手册为根基、用先进模型生成，幻觉仍很严重，初始人工检查发现超过半数命令含幻觉或拼错选项。

    Despite grounding data generation in official Kali Linux tool manuscripts using a state-of-the-art model (Qwen3-Max), hallucination remains a major challenge. Our initial manual inspection shows that over 50% of generated commands contain hallucinated or misspelled options (e.g., --silent instead of --silence ).

Novelty：新颖性中等偏正面。问题设定有新意：首次在 schema-free 的 CLI 条件下系统评测网络安全工具调用，与既有知识问答、端到端 CTF 和 schema 化 function-calling 基准形成清晰互补；组件级、别名感知的可验证奖励也把“奖励无需执行命令”这一性质做成明确卖点，对安全领域（本地部署、敏感数据、执行成本）有实际价值。方法层面新意有限：数据生成用 Qwen3-Max + 多阶段过滤，去重用 SemHash，训练是标准 LoRA/SFT/GRPO，基本是把已有工具链组合到一个新领域。因此其贡献主要是基准、数据与评测协议的设计，而非算法创新。 Soundness：稳健性总体较好。数据质量有多层保障（LLM 验真、Docker 沙箱执行、人工闭环、语义去重），评分指标定义清晰且不依赖运行时，训练与评测模板一致，附录声称公开代码、数据与提示模板。但存在几点可质疑处：其一，ground-truth 本身由 LLM 生成后经另一 LLM 验证，人工只抽查了 hinted 模式最强模型失败的子集，存在选择偏差，无法给出全集的标注错误率上界；其二，Exact Correct 与 F1 尽管做了别名归一化，仍可能惩罚语义等价但形式不同的合法命令，弱化了“可执行性”与实际等价性的关联；其三，沙箱执行受合成参数影响，只能排除特定错误类，不能证明命令在真实目标上成功；其四，专有模型比较混入不同脚手架、不同回答覆盖与安全拦截，能力与产品策略被混淆；其五，后训练只有单骨干、单种子，缺多次运行的方差，稳健性结论依赖箱线图而非显著性检验。 Significance：意义较高。它把一个此前被端到端评测掩盖的关键瓶颈（精确 CLI 参数构造）显式暴露出来，结论“限制候选工具基本解决选工具问题、但参数构造仍是主瓶颈”对安全智能体的设计与诊断有直接指导价值；细粒度、别名感知、运行时无关的奖励也为大规模 RL 训练提供了低成本路径，并展示了小模型经后训练逼近大模型的可行性。局限在于范围偏窄：单轮单命令、文档驱动、不涉及多步工作流与环境反馈，且强绑定 Kali 手册快照，通用化到版本漂移、其他发行版或真实攻防任务仍需额外工作。作为“评测基准 + 训练数据 + 可复现协议”的综合贡献，对评测社区与安全 agent 落地都有持续使用潜力。

论文在附录中坦承的局限包括：ground-truth 命令取自构建时的 Kali 工具手册，手册随版本增删、改名、重释 flag，部分标准答案会过时；真实文档本身存在冲突（如 regtree 的 -V 同时对应 --no-values 与 --version）或非典型短选项（Impacket 的 -aesKey），使确定性规范化只能是近似；LLM-as-Verifier 虽基于手册大幅过滤幻觉，但仍有残余错误；别名感知评分依赖半自动提取的别名组，无法覆盖全部历史、发行版特有或社区约定变体。 从深读角度还可补充：任务限定在单轮、单命令生成，不评估多步工作流、工具间数据传递或失败后的重试/纠错；数据集由手册驱动、查询为合成文本，可能高估模型在真实、模糊或对抗性分析师意图上的表现，也无法反映工具实际副作用与权限边界；确定性组件评分可能惩罚等价命令，Exact Correct 对“功能正确但拼写不同”过于严格；专有模型评测受 provider 安全拦截影响，覆盖率的差异与能力差异不可分；后训练只验证了一个 8B 骨干，未系统研究规模、基座与超参的稳健性，也未讨论训练数据可能被基座模型预训练时见过（Kali 手册公开）带来的污染问题；此外，虽然奖励“运行时无关”降低了训练成本，但奖励设计与 ground-truth 单一答案绑定，可能诱发对特定标注形式的过拟合或奖励黑客。

后续工作可沿几条线展开。一是从单命令扩展到多步与智能体：加入工具链组合、状态依赖、环境反馈与错误恢复，使评测从“命令正确性”走向“任务完成性”，同时保留组件级归因能力。二是增强语义等价评分：除别名归一化外，引入执行等价、输出等价或 LLM/人工判定等宽松判据，区分“严格匹配失败”与“功能等价但形式不同”，并报告两种口径。三是研究运行时无关奖励的稳健性：检验奖励黑客、对单一 ground-truth 的过拟合，以及把沙箱执行信号作为稀疏验证信号与稠密组件奖励混合的收益；针对本文发现的 H 模式回退，进一步设计约束或混合训练。四是扩展覆盖与时效：纳入多版本手册、跨发行版工具、私有/企业内部 CLI，加入检索增强工具使用（先检索手册再生成命令）作为基准设定。五是治理与安全：明确可执行命令基准的滥用风险，设计访问控制与负责任发布方案，并研究 provider 安全拦截对评测可比性的干扰，建立“已回答子集 + 全量”双口径的标准报告惯例。