2026-09-22

Data agents aim to fulfill natural-language instructions over heterogeneous data, including tables, files, and databases. However, data agents face a challenging agent-data gap: heterogeneous data resides outside the agent, while the agent can access it (e.g., column names and file paths) only through generic tools. Existing approaches either let agents directly explore raw data sources or inject manually constructed semantic layers into prompts. However, neither scales well to large heterogeneous data sources nor adapts to different agent behaviors. In this paper, we introduce EvoOntology, a self-evolving ontology layer for data agents. EvoOntology encapsulates the ontology as an MCP server comprising a schema layer, a content layer, and a tool layer, enabling agents to actively query and interact with the ontology at runtime. To this end, we introduce a builder agent for autonomous ontology construction and a self-evolution loop that continuously refines the ontology through attribut

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文把计算机使用智能体（CUA）的两条长期平行路线——通过图形界面操作应用、通过代码与命令行构建软件——重新定位为同一长程过程的两面，并据此提出“混合 CUA”这一研究对象：智能体在单次长程 rollout 内自主决定何时探索界面、何时实现代码、何时运行并视觉验证自己的产物。文章的落点不是单个模型或单点任务，而是基础设施：RecreationWorld 框架以“recreation”（给定可运行的参考应用，无规定工作流地重建其可观测行为）为核心，把可执行参考同时变成交互式规范和可自动评分的验证预言机；RecreationBench 则在 Ubuntu/macOS/Windows/Android/Web 五平台各 50 个任务上，以 Prog（程序化断言）与 VLM（视觉断言）双通道衡量行为保真度。与只测 GUI 或只测代码的现有基准不同，本文的核心主张是：recreation 让“探索—实现—验证”闭环以最纯粹形式出现，且因其可执行、可验证而成为自我改进的潜在基座。

过去 CUA 研究大致分两支：一支通过图形界面操作真实应用，感知截图、发出点击与键盘输入（Xie 2024、Yuan 2026、Lu 2026）；另一支通过代码与命令行工作，编写运行程序、调用 build/test/shell 工具、经终端驱动系统（Yang 2026a、Jimenez 2024）。两支各有盲区：GUI-only 智能体能观察系统运行却很少构建或重构其背后软件；terminal-only 智能体能编写程序与编排工具却看不见自己动作产生的界面，缺少探索性视觉反馈来判断运行结果是否符合意图。但许多软件密集型任务要求两者同时进行，且信息必须在观察与实现之间来回流动，不能拆成“先 GUI 后终端”的两个一次性阶段，因此这是真正的融合而非端到端拼接。现有基准仍偏向单一交互模态，agent 在长程上对这一闭环的自主协调被低估。文章的动机有三：混合动作空间更接近真实工作流；闭环具有 self-grounding 性质——agent 构建的产物可被运行与检查，产生客观、可执行、可用于评分与选择的反馈；开源应用持续更新，使任务与验证轨迹可以规模化生成而非手工固定。文中还用接口级对比（ProgramBench 无 GUI 调用、OSWorld 2.0 只记录 computer-tool 调用、WeaveBench 两者兼有但更短且切换更少）来刻画 recreation 的长程、高切换特性。

一、任务定义与“recreation”闭环。每个任务由三部分构成：(1) 输入——高层任务提示、对运行中参考应用 A* 的交互访问、同时含 GUI 控制与软件开发工具的预备环境；(2) 交互——agent 可在操作参考、写代码、构建启动实现、对照观测进行视觉与行为核查之间自由往复，任务只规定交付物、不规定动作顺序或模态；(3) 输出——agent 返回满足平台 build/launch 契约的完整源码 S：桌面为带构建与启动入口的源码，Android 为产出 APK 的 Gradle 项目，Web 为产出自包含 index.html 的脚手架源码；构建启动 S 得到候选 Â。评测只针对可观测行为，不要求复刻参考的架构或源码结构。Recreation 不能被“纯点击”或“纯编码”单独完成：规范只能通过操作参考获得，交付物却是必须编译运行的代码，于是自然产生 explore–implement–verify 循环——观察更新部分行为规范，代码把规范变成候选，启动/交互/视觉检查暴露不匹配，再触发编辑或重新探索。视觉验证在此是 rollout 内的智能体动作（检查自己渲染的输出来决定下一步），区别于提交后的固定隐藏评测。 二、验证机制。同一可执行参考既是任务难点又是验证基础：生成器操作参考、捕获具体程序化与视觉结果，转成固定隐藏套件回放到每个候选上。验证只依赖可观测行为而非源码相似度，agent 可自由选择架构与工作流；构建或启动失败得零分，否则以“通过断言/冻结断言总数”的比例给出分级信号。因为参考与期望结果可来自持续更新的开源应用池，任务收集与评测不必以人工撰写规范为瓶颈。 三、执行基础设施。每个 rollout 获得版本化、任务隔离的 worker，固定图形运行时、自动化接口与常用构建工具链；worker 跨水平扩展的虚拟机池调度，保留工作区、构建产物、运行进程与图形状态以支撑长程连续性，per-rollout 墙钟超时设为 20 小时。桌面 worker 暴露交互式 OS 会话（截图、输入、accessibility-tree）及构建工具链；Android worker 使用固定硬件加速模拟器并部署设备端输入助手；Web worker 本地服务参考并用 headless Chromium 经 Playwright 驱动。主基准以直接 MCP 工具调用暴露这些平台动作；测试生成与评估从全新平台实例开始，任务所需文件作为 fixtures 显式安装，防止跨运行状态泄漏。 四、评测协议（RecreationBench）。五平台统一 observe–build–evaluate 契约：桌面与 Android 为 source-blind 设置（只暴露可执行界面、隐藏实现工件）；Web 无法强制 source-blind（静态站点的客户端实现即服务器所发送内容），故改为保护 ground truth 与测试套件。程序化测试接口分别为 Ubuntu AT-SPI、macOS AXUIElement、Windows UI Automation、Android UiAutomator、Web DOM/ARIA。Prog 通道在回放交互后通过结构化自动化接口读取精确文本、widget 状态、导航、持久化或计算值；桌面与 Android 按冻结用例通过比例计分，Web 按 specificity 对功能检查加权。VLM 通道在冻结视觉检查点把候选截图与参考grounded自然语言断言配对，由共享 Qwen3.7-Plus 裁判在温度零下给出二元判定；桌面与 Android 按断言通过比例计分，Web 先在页内/视口内聚合，再跨页组合桌面与移动视口。缺失截图判失败，裁判传输/解析失败视为待重跑的无效测量。报告时 Prog 与 VLM 分开，平台内应用宏平均、平台等权；单一摘要取两通道平均。fixture 定义为回放前安装的任务提供数据或状态（文档、媒体文件、目录树），是评测输入而非断言或答案。形式上：若 S 通过构建/启动契约，Prog 分 = 通过冻结用例数 / 冻结用例总数；VLM 分 = 视觉检查点二元判定的通过比例；综合分 = (Prog + VLM)/2；否则为零。 五、测试套件构建与冻结。编排器结合源码/页面分析与对运行参考的探索，建立 feature、可达表面、触发动作与可观测响应的共享清单；桌面与 Android 把清单分给专门子代理编写互补行为测试，Web 采用脚本化、agent-authored、交互与视觉 track。每个用例指定所需 fixture 与初始状态、交互序列、程序化断言和/或视觉断言；源码检查可引导覆盖，但断言依赖运行时可观测行为而非参考内部，因此同一用例可原样运行在独立重建上。随后在干净参考实例重放每个用例，丢弃无效或不稳定检查，平台特定过滤器（含 Web 的判别性与冗余门）再裁剪；人类审阅者检查每个幸存用例在参考上的执行，确认 fixture、动作与期望结果有效、无歧义、忠于观测行为；通过后才冻结套件与 fixtures。冻结套件再按导航深度（start / 1 hop / 2+ hops）与结果特异性（Exact 子集）审计，以保证覆盖的深度与后置行为占比。 六、隔离与完整性。模型生成的命令、进程与工件均视为不可信：只暴露运行界面、可写工作区、必要工具与输入，隐藏参考工件、隐藏评测材料与凭证；交接时终止 agent 进程并冻结候选树，隔离检查失败使运行无效而非降低分数。各平台用专用非特权 principal 配 POSIX 权限或 Windows ACL，并在该身份下探测边界；Ubuntu 按 agent UID 过滤 egress，macOS/Windows 用默认拒绝防火墙，Web 用无路由命名空间加窄中继；Android 依赖离线依赖与去除凭证、尚无包级 egress 过滤，且已安装参考包原则上可恢复，属残余风险。Web 若检测到对参考实现工件的直接重打包或重放，任务聚合封顶 0.10。 七、训练数据与规模化。训练任务取自 GitHub 高质量开源 GUI 应用，覆盖与 RecreationBench 相同的五平台，并针对评测集去重。用 Qwen3.8-Max 通过 RecreationWorld 的 agentic 框架生成 recreation 轨迹：agent 用 GUI 与 coding 工具探索参考、实现候选、并用执行反馈迭代构建/运行/检查/修正；框架在隔离 worker 上并发运行并记录交互历史。随后用任务特定行为验证器做拒绝采样，仅保留高分轨迹；每平台取 7,000 条，得到五平台平衡的 35,000 条 SFT 混合（按轨迹数平衡，token 贡献因长度而不同）。用该混合微调两个初始化：Qwen3.7-Plus（完整后训练起点）与 Qwen-Flash-CPT（继续预训练后的内部检查点）。 八、算法直觉。全文没有复杂公式，核心量化直觉有三个。(1) 行为保真打分是“冻结断言通过比例”，把执行接地（execution-grounded）转化为可比较奖励，规避源码相似度与人工偏好。(2) 拒绝采样选择高分轨迹，使训练分布偏向已验证的执行成功经验。(3) 工件分析用 log–log 回归刻画规模关系：log10(recreation LOC) ≈ α + β·log10(reference LOC)，β 估计浅（0.08–0.23），即重建代码量不随参考规模等比增长，体现“结构压缩”而非等比复刻。

实验分三条线。主线在 RecreationBench 上评测十个前沿模型（直接 MCP 接口、每任务一次 rollout、长墙钟预算），报告 Prog 与 VLM 两通道并分平台宏平均、平台等权；结论是最好模型仍远离参考级行为保真，程序化满分罕见，动态交互与计算输出系统性落后于静态结构，且生成应用普遍更小、更单一化、更多替换为平台原生框架。第二条线为可编程交互运行时研究：在同一批 Windows 应用上比较直接 MCP 与持久 REPL + JavaScript SDK 两种配置，发现任务质量相近而调用数、上下文、耗时与成本明显下降，但作者明确这只是单次 rollout 的配置级观察而非隔离因果效应。第三条线为训练与迁移：从开源应用生成 recreation 轨迹，经拒绝采样得到五平台平衡的 SFT 混合，微调两个初始化，在五个编码/计算机使用 OOD 基准上比较首个与后续检查点，并报告行为分配变化（更多代码验证、自身输出图像读取与 GUI 交互）。此外还有轨迹、工件结构与污染审计：逐行重叠与越界操作审计表明没有大规模逐字复制参考。具体数字均见下列 claim+quote 对。

1. GPT-6 Astra 取得最高综合分 58.06%，其后为 Claude Opus 5（44.16%）与 GPT-5.6 Sol（42.06%）。

   GPT-6 Astra obtains the highest overall score at 58.06%, followed by Claude Opus 5 at 44.16% and GPT-5.6 Sol at 42.06%

2. GPT-6 Astra 是唯一在多个平台出现整套通过的模型：Prog≥90% 覆盖 17.6%、Prog=100% 覆盖 2.8%，其他模型至多分别为 5.5% 与 0.8%。

   GPT-6 Astra is also the only model with full-suite passes on multiple platforms, with 90% and 100% Prog coverage of 17.6% and 2.8%, versus at most 5.5% and 0.8% for any other model.

3. 两个训练臂在五个 OOD 基准上都高于其首个被评估检查点，最大提升 17.9 个百分点。

   both training runs finish above their first evaluated checkpoints, with gains of up to 17.9 percentage points.

4. RecreationBench 轨迹中位数为 282.5 次顶层调用，每 100 次调用有 9.08 次 GUI–代码编辑切换。

   RecreationBench trajectories have a median of 282.5 top-level calls and 9.08 GUI–code-edit transitions per 100 calls.

5. 89.4% 的重建产物生产代码少于对应参考，重建/参考 LOC 中位比为 16.9%。

   89.4% of recreations contain less production source than their corresponding references, and the median recreation-to-reference LOC ratio is 16.9%

6. 平台内 log–log 斜率估计为正但很浅（0.08–0.23），参考 LOC 增至十倍仅对应重建 LOC 增 1.2–1.7 倍。

   The within-platform log–log slope estimates are positive but shallow (0.08–0.23); at these point estimates, a tenfold increase in reference LOC corresponds to only a 1.2–1.7-fold increase in recreation LOC.

7. 92.3% 的重建使用更少生产源码文件，83.8% 把更大比例的源码放进单一最大文件。

   92.3% of recreations use fewer production-source files than the corresponding reference, and 83.8% place a larger share of source in the single largest file

8. 逐行精确重叠的中位比例从 Ubuntu 的 0.014% 到 Windows 的 0.088%，各平台最大值都低于 3.2%。

   the median proportion of matched reference lines ranges from 0.014% on Ubuntu to 0.088% on Windows (Table 3 ), and every platform maximum remains below 3.2%.

9. 结构类测试的通过率最高：在 16 个模型–平台比较中有 15 个 structure 均值最高。

   structure has the highest mean pass rate in 15 of 16 model–platform comparisons

10. Web 上静态内容得分比交互得分高 28.2–36.7 个百分点。

    static-content scores exceed interaction scores by 28.2–36.7 points across the four models.

11. 可编程交互运行时下，输出 token 增 15.7%，工具结果文本与输入 token 分别降 65.5% 与 40.7%。

    Output tokens increase by 15.7%, while tool-result text and input tokens fall by 65.5% and 40.7%, respectively.

12. 可编程配置下墙钟时间从每任务 4.12 降至 3.04 小时，估计模型成本从 $90.50 降至 $41.58。

    Wall-clock time falls from 4.12 to 3.04 hours per task, and estimated model cost from $90.50 to $41.58 per task.

Novelty：新颖性中等偏上。把 GUI 操作与终端编码融合为“混合 CUA”并非全新概念，但用 recreation 作为统一任务范式较有新意：它把规范获取、代码实现与视觉自检压缩进一个不可分割的闭环，并用可执行参考作为自动验证预言机，规避了手工撰写规范与人类评分的瓶颈。五平台统一 harness（AT-SPI/AX/UI Automation/UiAutomator/DOM-ARIA）加 Prog+VLM 双通道、按导航深度与结果特异性冻结测试套件的评测设计也有增量贡献。局限在于：单任务 rollout、拒绝采样 SFT、OOD 基准迁移都是已有方法；其新颖性主要来自任务框架与基础设施的组合，而非新的算法或模型。 Soundness：稳健性中等。优点明显：测试套件先经参考重放与人类审阅再冻结，Prog/VLM 双通道互补，平台隔离与 source-blind 边界交代清楚，污染与越界有专门审计，且作者在多处明确区分“描述性相关”与“因果”。弱点同样存在：主线与迁移实验基本是单次 rollout/每任务单 trial，缺少重复抽样与置信区间；VLM 裁判是 Qwen3.7-Plus，而训练臂之一也属 Qwen 系列，存在裁判偏差风险；Web 无法 source-blind、Android 无包级 egress 过滤是公开残余风险；诸如 GPT-6 Astra 等模型标识难以外部复现，且清洗后的文本存在少量格式瑕疵（如表格编号缺失、“0.10 0.10”重复）。整体作为探索性证据可接受，但尚未达到严格因果或统计可复现的标准。 Significance：意义较高。它填补了 GUI-only 与 code-only 基准之间的空白，为长程混合计算机使用提供了一个可持续扩展、可自动验证的任务源；发布基准、环境与测试套件对社区有直接工具价值。recreation 的 self-grounding 与可验证性使其适合作为自我改进（RL/选择）的基座，训练迁移到五个 OOD 基准的初步证据也支持其泛化潜力。但当前绝对分数仍低、程序化满分罕见，说明该任务是硬且开放的问题；其长期影响取决于社区是否采用这一任务范式，以及后续能否把奖励闭环真正用于在线改进而不仅是 SFT。

作者自述的局限：固定、可复现环境限制了对实时服务、变化外部状态与真实用户交互工作流的覆盖；隐藏套件只采样有限视觉与行为结果，通过不等于在所有状态与交互路径上等价；公开参考实现可能已出现在预训练数据中，源码重叠筛查无法排除重命名/重构的背诵与所有形式的源码复用；未来需引入在线与多用户工作流、扩展隐藏测试覆盖、使用新建参考降污染。审稿视角补充的局限：Web 平台无法 source-blind（客户端实现即服务器所发送内容），因此其保真度评测本质上比原生平台更宽松；VLM 裁判 Qwen3.7-Plus 与训练模型同族，可能引入系统性评分偏差；主线与迁移实验的单次 rollout 统计基础薄弱，描述性轨迹分析明确不建立因果；每任务 20 小时墙钟与高成本限制了大规模第三方复现；人工审阅测试套件仍是隐性人工瓶颈，与“去除人工撰写规范瓶颈”的规模化主张部分冲突；Android 尚无包级 egress 过滤且已安装参考包原则上可恢复；若干未来模型标识与未来基准难以由外部验证。

可跟进方向：(1) 引入在线、多用户、可变外部状态的工作流，并用新建参考减少预训练污染，检验 recreation 在非固定环境下的外推。(2) 把 execution-grounded 奖励从拒绝采样 SFT 推进到在线 RL 或自改进循环，观察 explore–implement–verify 闭环是否随训练自我强化。(3) 增加多次 rollout、报告方差与置信区间，并对“行为变化→分数提升”做因果中介分析，把目前的相关性描述升级为可检验的机制。(4) 独立化 VLM 裁判（非同一厂商、非训练同族），或引入人类裁判校准，排除评分器偏差。(5) 发展语义级/代码克隆级记忆检测，覆盖标识符重命名、控制流重排与接口复用，并推进 Web/Android 残余风险的缓解。(6) 把可编程交互运行时纳入主评分协议，分离其对任务质量与对开销的因果影响。(7) 做平台间迁移与平台特定能力的分解研究，明确 recreation 训练中哪些成分导致 OOD 提升。

本文把"技能（skill）"定位为智能体 harness 的核心组件，并提出一个明确的补充分范式：以源代码为基底、以可执行实现为证据的"grounded skill synthesis"。它不把技能来源局限于智能体自身轨迹（trajectory-based）或静态文档（document-based），而是主张：被长期维护、调试、版本化的代码实现天然具备"可执行、可评估、可验证、可维护"的属性，适合被蒸馏为可检索、可复用、可审计的程序性知识。作者将其框架化为模型参数与推理时计算之外的新扩展维度——持续把不断增长的人类与 AI 代码供给转化为智能体未来的推理与训练资产。具体贡献是一套自动化流水线 Code2Skill、一个由约两万个仓库构建的大规模技能库 CodeSkillBank，以及跨软件工程、数学/科学推理、系统交互三类任务的实证评估。相对已有代码摘要与 SKILL.md 式序列化工作，本文的核心增量在于：直接对程序性源码单元做"复用潜力排序—类型化抽取—基于重建的 grounding 校验—检索视图构建"的端到端闭环，并强调 provenance 可审计性。

现代基础模型具备强推理能力，但智能体要处理长程、复杂任务，还必须与外部环境交互、恰当调用工具、从失败与反馈中学习、做长程规划、协调多智能体、访问外部记忆。因此，一个可用的智能体通常运行在精心设计的 skill/harness 中：技能封装"可复用的程序性知识 + 其适用条件"，使智能体在推理时能检索并执行相关流程；技能可以低成本的独立更新、版本化与部署，是持续注入领域知识的即插即用接口。 现有技能合成方法的主要瓶颈在于其"来源基底"。轨迹型方法（如 Trace2Skill、ExpeL、SkillRL-Bank 对应的思路）从执行轨迹中蒸馏成功片段、失败、反复出现的 workaround 与交互历史，优点是支持自我进化，但产物耦合于生成它的模型、任务分布、工具与 harness；其质量上限被生成智能体的能力与经验所限制，且组件一变，旧技能就可能过时或不兼容。文档型方法从静态人类可读文本合成技能，摆脱了对智能体轨迹的依赖，但缺少可执行实现来 grounding 与验证所合成的技能。 作者提出用大规模代码库作为互补基底。代码天然支持执行、评估、验证、维护与版本化；GitHub 上大量活跃维护的仓库包含已被实现、调试、反复打磨的过程，可作为抽象与验证可复用流程的具体运行证据。但自动从代码蒸馏并非易事：真实代码把通用流程与框架专用胶水、项目局部标识符、重复实现、隐式依赖、未处理边界交织在一起。一个"黄金技能"不能只描述实现做了什么，还要捕获何时适用、哪些步骤必要、哪些不变量必须成立、哪些失败会改变执行路径、哪些泛化超出范围。因此核心挑战是：既要超越具体实现做抽象，又要保留足够实现证据来 grounding 并验证技能。这构成了 Code2Skill 的设计出发点：先对源码单元排序，再抽取为类型化记录，然后用"只看技能重建实现"的方式做一致性校验，最后组织为可检索、带 provenance 的证据档案。

Code2Skill 的机制核心是把"从代码抽象技能"变成一个可验证的闭环，而不是单向摘要。问题表述上，construction 把一个函数、方法、命令行入口或文件级组件及其仓库上下文映射为候选技能记录；被接受的记录应说明：何时适用、要复现什么行为、哪些前置条件与不变量约束执行、失败应如何处理、哪些源码 span 支持这些声明。由此派生三条硬约束：grounded（可恢复的实现 span 必须支撑其声明，并通过 source-body-blind reconstruction 被挑战）、transferable（抽象掉项目特定标识符与集成细节，保留可复用的前置条件、步骤、不变量与失败策略）、maintainable（保留 provenance、证据 span、记录类型与构建状态，便于审查、失效或随代码演化重生成）。 流水线分四阶段。 第一阶段是候选证据选择。流水线扫描截至 2026 年 4 月 14 日可用的 GitHub 仓库，保留 star 数超过阈值的项目，形成约两万个仓库的源池；语言与 topic 标签用于拓宽生态覆盖，fork 链接在过滤与去重前扩充候选集，可解析的创建与最近 push 时间戳作为维护元数据。解析器构造函数、方法、命令入口与文件级组件，排除不安全文件、测试文件、二进制载荷与过短单元。随后是一个 LLM tagger 而非固定语法阈值：对每个剩余单元按六信号 rubric 打分——(i) 超越项目局部胶水的可复用意图；(ii) 有序操作步骤；(iii) 控制流/状态/资源转换；(iv) 边界条件、不变量与失败处理；(v) 接口/上下文是否足够支撑后续 source-body-blind 重建；(vi) 相对 getter、wrapper、配置与样板代码的非平凡性。单元只有 keep 决策与 rubric 画像同时通过配置的门控才被保留，并受每仓库上限约束；tag 理由作为构建元数据记录。关键点：此阶段只选证据候选，不接受技能记录，真正的接受由抽取与重建阶段决定。 第二阶段是技能记录生成。抽取器把被选中的源码单元与其结构上下文映射为类型化、面向任务的候选记录。论文使用三种粒度，因为程序性知识出现在不同源码范围：atomic 技能捕获单个函数/方法内的一个明确定义操作；composite 技能捕获协调多个操作的有序工作流；recurring-pattern 技能捕获超越单一局部操作/工作流的更高层实现。记录类型标识被表示的可复用行为范围。每条记录把"操作指导"与"执行约束、支持证据"分离，同时保留 provenance 与构建元数据；在通过重建与接受检查前它只是候选。抽取后的 value filter 在 worth_extracting=false 或 skill_value_score 低于阈值时丢弃候选，其余进入重建。 第三阶段是 source-body-blind 重建与一致性检查，这是整个 grounding 机制的算法直觉所在。抽取可能遗漏关键操作细节，或引入源码不支持的约束；为暴露这些错误，一个"source-body-blind"重建器只用技能记录重新生成代码——源码体、仓库与文件路径被隐藏，但目标符号与接口仍可见，因此模型不能靠背记源码，只能依靠技能内容。然后一个 source-aware 等价性 judge 比较重建代码与原始实现，判断二者是否一致；判断时隐藏 unit type、测试、执行轨迹、类型检查器输出与维护元数据，避免评判器借用这些信号。直接接受条件严格等于 equivalent=true，confidence 与 risk 不设额外阈值。若 judge 判 false，则交给 adjudicator：它能看到完整技能 JSON 但仍看不到 unit type，任务是区分"技能记录本身不支持该行为"与"重建过程失败"两种失败模式；adjudicated-accept 的条件严格等于 keep=true。被接受记录保留最终状态、理由、重建结果以及仓库级/文件级/符号级/源码 span 级 provenance。这一 round-trip 设计相当于把"技能是否足以独立复现行为"转化为可判定的 LLM 对比任务，是 grounded 约束的落地方式。 第四阶段是面向检索的 feature tagging 与 purpose indexing。Feature tagging 为每条已接受记录生成面向任务的检索视图，并保持一对一对应（不合并、不折叠），使用受控词表：task family（aggregation、configuration、state_transition、validation 等）、capability tag（validate_input、retry_backoff、permission_check 等）、constraint tag（fail_closed、no_destructive_action、requires_user_confirmation 等）、success tag、interaction pattern（single_step、multi_step_workflow、observe_act_observe、branching_dispatch）。归一化强制封闭词表与列表上限：非法 task family 回退为 workflow，非法 interaction pattern 回退为 single_step，不合法的封闭词表标签被丢弃。Purpose indexing 是独立的确定性去重：先过滤低价值模式，推断 action、target、lifecycle、输入输出形状、约束与失败签名；默认聚类键为 task family + intent action + intent target，簇内用固定评分（workflow、不变量、错误案例、证据、摘要长度、记录类型）选出现有代表，明确不做 LLM 合成新簇级记录。 下游利用接口统一为公式 (1)：给定任务 x 与决策步 t 前的状态 h_t，若接口发起查询 q_t，则构造 z_t = Render_r(TopK_k(q_t; B))，否则 z_t = ∅；决策输出 a_t ~ π_θ(s)(· | x, h_t, z_t)。B 是当前评估可见的检索库，a_t 可为生成步、计划、审查、验证器判断或环境动作；无技能对照即同一协议下 z_t = ∅。接口选择覆盖 prompt 级检索、规划时检索、生成后审查、验证器侧奖励与训练时技能条件化。 训练与数据细节方面：默认智能体 harness 是 draft→review→revision 循环，默认在生成后审查阶段注入检索到的技能；默认检索池随机抽样可用记录的十分之一以控制成本；RQ2 用 Qwen3.5 构建轨迹基线于与评估不重叠的留出任务集；RQ5 的 coding-RL 从同一 Qwen3-32B SWE-World checkpoint 出发，固定 checkpoint、奖励、训练与评估协议，仅改变技能暴露位置，在共享训练步评估 resolve rate；RQ6 的 AI 代码实验随机取 25 个已测试源码实现，由 Codex 以 GPT-5.1 在 extra-high reasoning effort 生成接口匹配的实现并要求通过相同公开/隐藏测试，隐藏来源标签后分别抽取"如何实现"与"如何验证"两类记录，各成 50 技能库，在 400 任务 LiveCodeBench 子集上用相同 top-k 检索与 DS4-Flash 评估。

实验围绕若干研究问题展开：代码衍生技能库是否提升智能体性能；与轨迹衍生技能库在统一接口下相比如何；技能应在工作流哪个环节注入；技能能否紧凑表示而不损失效用；技能注入位置在强化学习下是否仍然重要；AI 生成代码能否成为持续扩展的技能来源。评估覆盖多模型家族与规模，横跨编程/软件工程、终端/OS 控制、数学与科学推理三类基准，并采用协议匹配的"有无技能"对照以隔离技能访问这一变量。 总体结论偏正面：在多数协议匹配评估中，CodeSkillBank 带来提升，编码类任务增益尤为明显；在统一下游接口下，代码衍生技能库全面优于轨迹型基线；在推理工作流中，规划时引导与生成后审查比首轮生成时注入更稳定有效；紧凑摘要渲染在显著降低上下文开销的同时保留大部分效用；强化学习各注入接口均优于无技能对照，生成后审查表现最强，但该结论仅来自单训练步观察；AI 生成代码在聚合得分上接近人类代码技能库，但任务级结果存在差异，说明二者提供的是非等同的指导。人类标注进一步表明已接受技能库在描述准确性、保留价值与重建正确性上总体较高，而最终拒绝样本质量明显偏低。

1. CodeSkillBank 将宏平均分从不使用技能时的 42.90 提升到 47.90，相对增益 11.7%，并在 72 次协议匹配评估中改进 57 次。

   Across benchmarks covering software engineering, mathematical and scientific reasoning, and system interaction, CodeSkillBank improves the macro-average score from 42.90 42.90 without skills to 47.90 47.90 with skills, achieving an 11.7 11.7 % relative gain and improving on 57 57 of 72 72 evaluation runs.

2. 在统一下游接口下，Code2Skill 在全部七个基准上均超过 Trace2Skill、ExpeL、SkillRL-Bank，平均分 49.5，远高于三个轨迹基线的 31.0、27.9、32.8。

   Under a unified downstream interface, Code2Skill outperforms each of Trace2Skill, ExpeL, and SkillRL-Bank ( Ni et al., 2026 ; Zhao et al., 2024 ; Xia et al., 2026 ) on all seven benchmarks. Averaged across the benchmarks, Code2Skill scores 49.5 (31.0 for Trace2Skill, 27.9 for ExpeL, and 32.8 for SkillRL-Bank).

3. 在单个基准上，Code2Skill 比最强的轨迹衍生基线高出 6.6 到 13.3 个百分点。

   On individual benchmarks, Code2Skill exceeds the strongest trajectory-derived baseline by 6.6–13.3 points.

4. 人类标注显示最终技能库中 92% 的技能描述准确、80% 的记录值得保留；直接接受的记录中 84% 支持正确重建。

   In final CodeSkillBank, 92% of skill descriptions are judged accurate and 80% of records are judged worth retaining; among directly accepted records, 84% also support correct reconstruction.

5. 被最终拒绝的样本质量显著更低：描述准确率仅 32%、保留价值仅 28%，且没有正确重建。

   The corresponding rejection sample reaches only 32% description accuracy, 28% retention value, and no correct reconstructions.

6. 在 coding RL 的第 150 步，所有四个 CodeSkill 接口都优于无技能对照；policy 侧与 reward 侧达到 31–32%，生成后审查达到 38%（比对照高 14 个百分点）。

   Table 3 shows that at step 150, all four CodeSkill interfaces outperform the no-skill control. Policy- and reward-side integration reaches 31–32%, while post-generation review reaches a 14-point improvement over the no-skill control.

7. 人类代码与 AI 代码技能库的 LiveCodeBench 通过率分别为 93.00% 和 93.50%，聚合分差仅 0.50 个百分点，但在 16 个任务上结果不一致（人类库独占解决 7 个、AI 库独占解决 9 个）。

   Figure 7 shows pass rates of 93.00% and 93.50% for the human-code and AI-code banks, respectively. Although their aggregate scores differ by only 0.50 percentage points, they disagree on 16 tasks: the human-code bank uniquely solves seven and the AI-code bank nine.

8. 在 k=3 时，摘要渲染把平均技能上下文从 6352 字符降到 707 字符（下降 88.9%），Qwen 保持原分数，DS4-Flash 反而从 28.40 升至 31.80。

   At k = 3 k=3 , it reduces average skill context by 88.9%, from 6,352 to 707 characters. Qwen preserves its full-record score, while DS4-Flash improves from 28.40 to 31.80.

9. 检索深度从 k=1 增至 k=10 使渲染上下文从 2.1K 扩到 17.8K 字符，但效用几乎不增：Qwen 仅从 33.10 升到 34.50（+1.40），DS4-Flash 停在或低于无技能基线。

   Figure 6 demonstrates that increasing k k from 1 to 10 expands average rendered context from 2.1K to 17.8K characters with little additional utility. Qwen gains 1.40 points, from 33.10 to 34.50, while DS4-Flash remains at or below its no-skill baseline.

10. 仓库池集中分布于高维护与高采纳信号：中位仓库有 3133 star 与 82 个已合并 PR；78.3% 至少 1000 star，46.9% 至少 100 个 PR，66.0% 在过去一年内有 push。

    the median repository has 3,133 stars and 82 merged pull requests; 78.3% have at least 1,000 stars, 46.9% have at least 100 merged pull requests, and 66.0% were pushed within the previous year.

11. 技能库中 57.3% 的记录是多步流程、33.5% 是约束推理、仅 8.6% 是表面 API 调用，即 90.8% 的记录保留了执行序列或正确执行条件。

    As shown in Figure 10 , multi-step procedures account for 57.3% of records and constraint reasoning for another 33.5%, while surface API calls account for only 8.6%. Thus, 90.8% of records preserve either an execution sequence or conditions governing correct execution.

12. 目的索引后的卡片以原子粒度为主：atomic-only 占 65.35%（490,457 张）、composite-only 占 31.12%（233,549 张）、混合占 3.53%（26,530 张）。

    Figure 8 shows that atomic-only cards account for 65.35% of the resulting cards (490,457 cards), composite-only cards for 31.12% (233,549), and mixed cards for 3.53% (26,530).

Novelty：新颖性中等偏上。真正的增量不在于任何单点技术——源码解析、LLM 摘要、LLM-as-judge、检索增强、轨迹技能蒸馏都是已有组件——而在于把这些组件组织成一个以"grounding"为第一约束的端到端闭环：以代码而非轨迹/文档为基底，用 source-body-blind reconstruction + source-aware judge/adjudicator 对"技能能否独立复现行为"做可判定校验，并输出带 provenance、类型化（atomic/composite/recurring-pattern）的可维护记录。这相对最接近的 SKILL.md 式开放智能体序列化工作（Bi et al. 2026）有明确区别：直接操作程序性源码单元、做复用潜力排序、显式 provenance、重建一致性检查，并在检索与下游工作流中评估。问题表述（grounded/transferable/maintainable 三约束）清晰，"代码作为可审计技能基底"的定位有概念价值。但机制层面多依赖 LLM 判断与已有管线，缺少原理性新算法或理论，因此不构成突破性创新，属于对既有方向的工程化整合与规模化验证。 Soundness：实证设计的广度值得肯定：多模型家族、八基准、协议匹配对照、RQ2 的多运行均值±标准差、人类标注与详细的信息边界说明都提升了可信度。但存在若干削弱 soundness 的问题。其一，RL 实验（RQ5）只报告单一训练步、无多种子与学习曲线，作者自己也承认无法确立学习速度、收敛或最终策略表现；这是最弱的结论之一，却被放在正文作为重要卖点。其二，RQ1 主表没有误差棒或任务配对显著性检验，而"57/72 提升"的聚合把异构基准的宏平均当作描述性汇总，不能做严格统计推断。其三，人类标注四组是分开采样而非同一批记录的阶段因果追踪，因此不能证明某个阶段（如重建）带来了质量增益，只能描述各结果池的特征。其四，grounding 校验本身是 LLM-based，judge 看不到测试与类型检查，因此"正确重建"的判定缺乏可执行 oracle，存在系统偏差风险。其五，检索池随机抽样、top-k、摘要渲染与 purpose indexing 的组合空间大，敏感性与鲁棒性分析不足。总体 soundness 为中等：结论方向可信，但关键收益的因果来源与统计显著性需要更严格的消融与检验支撑。 Significance：对智能体记忆/技能研究社区有实质参考价值。它提供了一个可复现的规模化路径：把持续增长、被测试过的人类与 AI 实现转化为可审计、可检索、可版本化的程序性资产，并展示这些资产在编码、数学/科学、系统交互任务上对多个模型有效。CodeSkillBank 作为大规模公开资源本身可能比方法更具长期影响——若质量与许可问题可控，后续工作可在此基础上做检索、训练条件化、RL reward shaping 与技能演化研究。RL 集成与 AI 生成代码扩展的前瞻性也切中"合成数据闭环"的趋势。但需注意：对强模型的增益并非处处稳定（部分 reasoning mode 下 BigCodeBench 反而下降），且效益依赖正确的注入时机与紧凑渲染；因此其显著性更体现在"资源+范式"层面，而非单点性能突破。综合判断：significance 中高，值得跟进与复现。

第一，评估聚合问题：Avg 列与七基准汇总为异构基准的无权重宏平均，混合不同 evaluator 与任务数，只是描述性汇总而非池化任务级成功率；缺乏任务配对的显著性检验，难以判断个体增益是否稳健。第二，RL 证据不足：RQ5 仅报告单训练步、无多种子与学习曲线，无法区分"最终更好"与"暂时更快"，也不能排除接口差异来自噪声。第三，grounding 判定无执行 oracle：重建一致性由 LLM judge 给出，而 judge 被隐藏了测试、执行轨迹与类型检查输出，因此"正确重建/等价"缺乏可执行验证，可能系统性地高估或低估一致性。第四，人类标注无法因果归因：四组结果池分开采样，只能刻画各池特征，不能证明 value filter、judge、adjudicator 各阶段对质量的因果贡献；直接接受与判后接受的"重建正确性"口径也不一致（判后接受初始重建正确率为零）。第五，检索配置敏感：默认随机抽样检索池、top-k、摘要渲染、purpose indexing 的组合对结果影响明显，purpose indexing 对部分模型-渲染对反而有害，作者未给出统一的检索优化准则。第六，覆盖与代表性：源池限定高 star、主流生态的公开仓库，长尾语言、私有/领域代码、配置与基础设施即代码的覆盖未知；"排除不安全文件"也意味着安全敏感但高价值的模式可能被过滤。第七，AI-code 实验规模小（25 个源实现、单一生成模型、单一子集），聚合差异小，不能建立人类/AI 来源等价性；版权、许可证与安全审计问题未系统讨论。第八，对照基线偏轨迹型：缺少与直接 code retrieval、文档型技能库、以及"仅源码检索而不蒸馏"的更直接对照，难以完全剥离"检索"与"蒸馏+grounding"各自的贡献。

后续工作可从几个方向推进。其一，用可执行 oracle 强化 grounding：引入真实单测、类型检查、差分执行或 property-based testing 来补充/替换 LLM judge，量化 judge 的假阳性与假阴性，并让 reconstruction 的"等价"判定有可复现的判据。其二，做阶段级消融：在固定检索与下游协议下，分别去掉 value filter、reconstruction、judge、adjudicator，测量最终技能质量与下游收益，以确立 grounding 闭环各环节的因果贡献，弥补人类标注无法归因的缺陷。其三，完整化 RL 实验：报告多种子、学习曲线、多个 checkpoint 与最终策略表现，并分析 reward-side 可见性是否存在策略-验证器信息泄漏；这能把"接口位置在 RL 中仍然重要"从初步观察升级为可靠结论。其四，检索与索引优化：联合优化 query 生成、reranking、top-k、摘要渲染与 purpose indexing，引入任务配对显著性检验，并在固定上下文预算下比较"深检索 vs 摘要 vs 代表索引"的帕累托前沿。其五，技能生命周期管理：实现 commit 驱动的增量重建、失效检测与 deprecation，验证 provenance 在源码演化时能否真正支撑低成本刷新。其六，领域与安全扩展：覆盖低资源语言、私有仓库、IaC/数据管道，并系统处理许可、密钥与不安全代码的审计。其七，公平对照：与直接 code-RAG、文档型技能库做同协议比较，剥离"技能抽象与 grounding"相对于"简单检索源码片段"的净收益。其八，规模律研究：量化技能库规模、质量过滤阈值与下游收益的关系，验证"代码作为新扩展维度"是否真的能随供给增长而持续增益。

We define OmniVChat (Omni Video Chat) as the task of native audio-visual dialogue between a user and an omni model. In OmniVChat, omni models directly and simultaneously receive audio and video from a user and return text. The user's query is embedded in the audio and video, without a separate text question, external captioning, or speech recognition. Direct audio-visual input reduces external latency and computation while preserving perceptual cues. However, research on OmniVChat faces two constraints: data availability and evaluation. Recordings of people using their own devices are scarce. Furthermore, a good reply often needs to account for the user's surroundings, facial expressions, and nearby objects, and such responses can be expressed in many different ways, making keyword matching unreliable for evaluating reply quality. Recent progress in agent systems and video generation makes generation for comprehension viable, which means using synthesized dialogues for training and eva

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

CodeMidas 属于编码智能体 RL 环境构建方向，其贡献点是数据/环境管线，而非新的 RL 算法。它针对"如何把真实代码库规模化为带可靠 verifier 的训练任务"这一瓶颈，提出以源码（已实现功能）作为唯一任务特定输入，取代 issue、PR、commit、已有测试或文档等开发工件。论文的核心主张是：源码本身就是比开发记录覆盖更广、更可扩展的任务来源；已实现功能既能作为任务来源，又能充当参考解，公开接口与可观测行为则构成规格的天然边界。具体做法是多阶段 agentic 构造——生成行为任务陈述、执行 grounding 测试与容器环境，再通过执行一致性检查和三类 rollout 后过滤（泄漏、判决一致性、混合结果）保障可靠性，最后用 GRPO 训练 MiMo-V2.5，在多个外部基准上验证跨任务迁移，并以行为分析作为泛化的补充证据。

近年来大模型在长程 agentic coding 上能力增强，基于 RL 的代码生成又在真实软件工程任务上带来显著收益。有效 RL 需要两个要素：任务多样性支撑泛化，奖励可靠性强化正确工作。因此，核心挑战是如何把真实代码库转化为大量、带可信 verifier 的训练任务。现有环境构造管线大多绑定开发工件或既有测试/文档：SWE-bench 以 issue 建立仓库级评测；SWE-rebench V2、daVinci-Env 等用 issue/PR/commit 直接或经模型改写；R2E-Gym 从 commit 生成测试与任务陈述；SWE-smith 合成破坏已有测试的改动；SWE-Flow 从单元测试及其运行时依赖派生增量任务；SWE-Hub 结合测试验证的 bug 合成与覆盖率驱动仓库构造；R2E 精修函数 docstring 为规格；MindForge 用文档与编译参考程序支持从零实现。这些方法的共同局限是任务提取受记录变更、测试或文档覆盖率的限制。奖励与验证方面：CodeRL 用单测反馈，SWE-RL 用参考补丁相似度，SWE-Universe 在可执行环境中训练，AceCoder 研究合成测试的直接测试通过奖励；CodeT 用生成测试与执行一致性选程序，SWE-Shepherd 与 Agentic Rubrics 引入过程奖励或无需执行的 rubric，R2E-Gym 混合学习式与执行式 verifier。可靠执行奖励还依赖测试 oracle：EvalPlus 显示扩展测试能发现原始套件漏掉的错误程序，PatchDiff 记录被 SWE-bench 测试误接受的错误补丁，SWE-bench Pro 与 SWE-rebench V2 讨论规格缺口与过度限制测试。CodeMidas 的切入点是直接利用"已实现功能"：行为陈述与执行 grounding 测试都从源码执行导出，并要求陈述使所需行为显式化、同时保持内部实现开放，测试必须拒绝错误解并接受替代正确解。

整体任务形态与奖励。每个任务由三部分组成：任务陈述、容器化开发环境、隐藏的可执行 verifier。求解者只拿到陈述与改编后的代码库（含依赖）；训练期间 verifier 始终位于求解环境之外，仅在评分时注入，对完成的实现打分并返回二值执行奖励。训练采用 GRPO，无奖励模型或学习式 verifier，关闭按标准差的优势归一化。关键设计直觉是：把"已有实现"转成"待实现 + 参考解 + 隐藏 verifier"，从而同时获得任务、参考解与验证证据。 任务设计与代码库改编。一个 agent 检查代码库结构与构建元数据，识别具有公开入口点与可观测结果的功能，优先选择需要跨代码库推理的任务。支持接口包括命令行工具、纯库函数、有状态库 API；评估方式分别对应进程输出、返回值、跨调用状态变化。对每个候选，agent 追踪公开入口点与共享依赖以划定任务范围，删除选中的核心实现，再调整剩余代码形成连贯的开发起点，同时保留共享组件与项目上下文；原始实现单独保留为参考解。任务陈述定义输入、可观测行为与要求的公开接口；求解者只实现缺失功能，可自行选择内部辅助函数与算法。这样"公开接口/可观测行为"成为规格边界，而内部实现保持开放。 执行 grounding 的测试构造。一个 agent 把陈述中的行为要求映射为测试输入与边界用例，在参考副本中调用公开入口点并记录输出。测试形式随接口而定：CLI 用命令执行，纯函数用输入-输出对，有状态 API 用调用序列，并覆盖跨调用依赖、顺序与清理行为；每个测试记录其所覆盖的具体要求。断言规则分两类：陈述固定的输出/性质用参考执行确定期望值；陈述未指定的方面只检查已声明约束（例如只要求异常类型、不固定未指定消息措辞）；具有不同期望输出的用例用于探测输入依赖行为。随后另一个 agent 逐条审查断言，删除陈述不支持的限制（精确措辞、偶然顺序、内部结构），替换为行为检查；若断言依赖私有符号且无行为替代则拒绝该任务。修订后的测试在参考解上重跑确认兼容，之后测试输入与断言被冻结用于评分。这一环节的核心是防止"过度限制测试"误杀合法替代实现。 环境准备。从统一基础容器镜像出发，agent 依据项目声明安装依赖、准备构建与运行时资源。清理环节删除可能泄露被删实现的人工产物（编译输出、缓存副本、构造 agent 遗留文件），并删除与目标功能相关的原有测试；保留必需包、fixture 与构建包装器。执行一致性检查：在训练运行时设置下用六个全新容器——两个用起点代码库、四个放入参考解；起点必须两次失败、参考必须四次通过。这显式验证 fail-to-pass 转变并筛除执行不稳定任务。 rollout 后过滤。执行一致性只覆盖起点与参考解，训练前再用 agent rollout 做三类过滤。(1) 泄漏过滤：对抗式 rollout 尝试利用残留泄漏在不做预期开发工作的情况下恢复解，搜索求解可见的完整环境（编译产物、缓存、构造遗留文件、目标项目的安装副本），记录支撑每个疑似泄漏的命令与输出；独立评审将证据与参考解和 verifier 对照，若确认泄漏可绕过预期实现工作则拒绝任务。(2) 解一致性：编码 agent 每任务尝试四次，评审 agent 阅读 rollout 轨迹（提交代码、测试输出）以及任务陈述、verifier、参考解，判断每个实现是否满足陈述，并检查陈述要求与 verifier 行为是否错位；错误实现通过测试判为假阳性，正确实现失败判为假阴性，发现缺陷即拒绝任务。(3) rollout 结果过滤：前沿模型每任务多次尝试并按 verifier 打分；全过或全失败可能反映难度或残余缺陷（弱测试、陈述缺要求），但无法定位原因，因此只保留在该模型与预算下同时有成功与失败尝试的任务。三类过滤的直觉分别针对"可作弊""判决错位""过易/过难或不可学习"，本质是用模型 rollout 作为环境可靠性与可学习性的代理检验。 训练与数据细节。最终保留 5,545 个任务，来自 3,185 个代码库、23 种语言、15 个技术领域。训练用 MiMo-V2.5 + GRPO，二值 verifier 结果作奖励，batch size 32、每任务 32 次 rollout；最大 prompt 长度 8,192 token、最大 response 长度 516,096 token、每 rollout 最多 500 轮、最大 staleness 8；优化器 Adam，学习率 5×10⁻⁶，warmup 0，β=(0.95,0.95)，ε=10⁻¹⁵，梯度裁剪阈值 1，weight decay 0。验证集为随机 200 个与训练集不相交的任务，每任务 3 次尝试。 行为指标的算法定义。探索 = 首次代码库编辑前的去重 read/search 请求数（同文件行范围或同查询/范围/选项去重，专用工具与等价 shell 命令视为重复）；起草比例 = 对每个 Write/Edit payload 以步长 4 采样 16 字符片段，统计此前 reasoning 中出现过的片段数，再除以采样片段总数；自验证 = 最终代码库编辑之后执行的不同验证命令数（重复执行只计一次），包括项目测试命令、内联检查、临时测试程序与本地运行。这些定义把"探索—起草—自验证"量化为可追踪的行为信号，用于观察 RL 训练引起的变化。

实验用 CodeMidas 任务训练 MiMo-V2.5，采用 GRPO 与二进制执行奖励，在多个外部基准及自建验证集上评估。结果显示全部外部基准均有提升，覆盖问题修复、整程序构建、代码翻译与终端任务。消融比较不同规模的高质量任务池与未过滤的更大任务池：高质量任务数量增加带来单调提升，且较小的高质量池仍可超过更大的未过滤池。行为分析显示 RL 后探索、代码起草比例与自验证命令多样性均上升；自验证与更高通过率相关；这些行为变化也出现在外部任务上，但交互长度变化因任务类型而异。具体数值见下方实验条目。

1. DeepSWE 通过率从 10.0% 提升到 21.7%，即 +11.7 个百分点。

   DeepSWE pass rate increases from 10.0% to 21.7%

2. Terminal-Bench v2.1 通过率从 63.7% 提升到 72.2%，即 +8.5 个百分点。

   Terminal-Bench v2.1 improves from 63.7% to 72.2%

3. ProgramBench 的 Almost Solved 分数从 4.5 提升到 21.5，即 +17 个百分点。

   On ProgramBench, the Almost Solved score rises from 4.5 to 21.5.

4. CodeMidas Val 通过率从 35.0% 提升到 44.7%，且在 step 40 之后的评估点持续高于初始策略约 8–10 个百分点。

   Pass rate rises from 35.0% to 44.7%, staying roughly 8–10 percentage points above the initial rate at evaluated checkpoints from step 40 onward.

5. 最终数据集规模为 5,545 个训练任务，来自 3,185 个代码库，覆盖 23 种语言与 15 个技术领域。

   We retain 5,545 tasks from 3,185 codebases across 23 languages and 15 technical domains.

6. Python、TypeScript、Go 是占比最高的三种语言，分别占 21.4%、18.3%、16.2%。

   Python (21.4%), TypeScript (18.3%), and Go (16.2%) are the most represented languages, followed by C++ (12.5%) and JavaScript (11.3%).

7. 参考补丁行数中位数为 142 行（四分位距 66–305 行），65.9% 的任务至少改动两个源文件。

   Across the full training set, the median is 142 lines, with an interquartile range of 66–305 lines. Reference patches touch at least two source files in 65.9% of tasks.

8. DeepSWE 得分随任务规模单调递增：1k 为 17.57、3k 为 19.05、5k 为 21.70。

   DeepSWE scores rise from 17.57 to 19.05 to 21.70, while scores on CodeMidas Val increase from 41.30 to 43.22 to 44.73.

9. 高质量 5k 池在 SWE-bench Pro、DeepSWE、CodeMidas Val 上分别比未过滤 8k 池高 0.59、4.59、4.49 个百分点。

   The full CodeMidas dataset exceeds the vanilla 8k sample by 0.59, 4.59, and 4.49 percentage points on SWE-bench Pro, DeepSWE, and CodeMidas Val, respectively.

10. RL 后行为变化：探索调用从 27.2 增至 40.1，起草比例从 0.36 增至 0.63，去重验证命令从 2.03 增至 2.53。

    Exploration increases from 27.2 to 40.1 calls, the drafting ratio from 0.36 to 0.63, and verification commands from 2.03 to 2.53.

11. 有 agent 自写检查的 rollout 平均通过率比没有的高 4.2 个百分点（95% CI: 1.8–6.6）。

    rollouts with checks written and executed by the agent have a mean pass rate 4.2 percentage points higher than those without (95% CI: 1.8–6.6).

12. 外部任务上的交互长度变化：SWE-bench Pro 从 37.3 增至 50.1 轮，ProgramBench 从 155.1 降至 122.8 轮。

    Mean interaction length increases from 37.3 to 50.1 turns for issue repair on SWE-bench Pro and decreases from 155.1 to 122.8 for whole-program construction on ProgramBench.

Novelty：新颖性中等偏上，体现在两个层面。一是任务来源的切换：论文明确以源码为唯一任务特定输入，无需 issue、PR、commit、已有测试或书面描述，这是相对 SWE-smith（依赖测试）、R2E-Gym（依赖 commit）、R2E/MindForge（依赖文档/描述）等管线的实质差异，任务覆盖理论上不再受开发记录覆盖率的限制。二是可靠性工程的设计组合：执行一致性检查用"起点两容器必须失败、参考四容器必须通过"显式验证 fail-to-pass；rollout 后过滤分别针对泄漏（对抗搜索 + 证据评审）、判决错位（评审 agent 对照陈述与 verifier 识别假阳/假阴）、可学习性（只保留混合成败任务）。这些组件单独看都有先例（agent 测试合成、执行反馈、对抗泄漏探测、rollout 筛选），论文的新颖主要在于把它们整合成一条以源码为起点的端到端管线，并给出规模与行为证据。没有新的 RL 算法或奖励形式（仍是 GRPO + 二进制执行奖励、无奖励模型），因此不属于方法级根本创新。 Soundness：整体 soundness 中等偏上。优点：隐藏 verifier 与参考解分离降低了评分作弊风险；六容器执行一致性与三类过滤层层把关；行为指标定义明确，置信区间采用整任务重采样；训练/验证与外部基准的不相交性被显式声明。主要问题：(1) 过滤依赖 LLM 评审（泄漏证据判断、解是否满足陈述、verifier 缺陷判定），没有人工标注金标准来量化评审自身误差，可能存在模型间相关错误；(2) "高质量 5k 池 vs 未过滤 8k 池"不是干净的单变量消融——8k 池同时缺失环境清理、执行一致性检查与三类 rollout 过滤，无法把收益归因到某个具体环节，且两组任务构成可能不同；(3) 只在 MiMo-V2.5 一个底座模型上验证，外部基准提升是否随模型/规模泛化未知；(4) CodeMidas Val 显示 RL 后轨迹变长，基准提升可能部分来自更长交互预算而非任务本身信号；(5) 数据泄漏只靠作者自检，缺少第三方审计。这些不致命，但使"源码可扩展性"和"过滤价值"两个核心结论仍需独立复现支撑。 Significance：若结论成立并可复现，意义较高：编码 RL 的核心瓶颈正是高质量、多样、可靠奖励环境的规模化，CodeMidas 提供了一条几乎不需要人工开发工件的路径，且跨多类 benchmark（修复、整程序构建、翻译、终端）的迁移证据比单一任务提升更有价值；"较小的高质量池优于较大的未过滤池"对数据工程也有直接实践指导。但目前 significance 受限于：单一底座模型、管线计算成本未披露、数据与管线未说明是否开源、可复现性未知。因此当前应视为"有潜力且方向重要"，其实际影响力取决于后续跨模型复现、成本核算与开源情况。

1. 单一模型与泛化证据不足：所有训练与行为分析都基于 MiMo-V2.5 一个底座，无法判断收益是否依赖该模型的先验能力或特定 RL 实现；跨模型族、跨规模的复现缺失。2. 过滤质量缺乏人工金标准：泄漏判断、解一致性评审、verifier 缺陷识别均由 LLM 完成，未报告与人工标注的一致性，可能存在系统性偏差（例如评审模型与被评模型共享盲区），导致"高质量"任务仍有未被发现的假阳/假阴。3. 消融不干净：8k 未过滤池同时缺少环境清理、执行一致性检查与三类 rollout 过滤，与高质量池的差异是多因素叠加；无法分离各环节的独立贡献，也不能排除任务构成差异的影响。4. 计算成本未披露：管线在构造的每个阶段都分配 agentic compute，加上每任务多次 rollout（解评审、前沿模型尝试、一致性容器），总 token/时延/成本没有报告，实际 scaling 的经济可行性不明。5. 任务分布偏差：rollout 结果过滤只保留"在筛选模型与预算下混合成败"的任务，可能把任务难度校准到筛选模型的能力区间，丢失过难或过易但仍有训练价值的样本；任务规模统计也主要来自筛选后的数据。6. 外部评估局限：以通过率/Almost Solved 为主，缺少对生成代码质量、安全性及与原始实现相似性（是否存在记忆/抄袭信号）的检查；数据泄漏控制依赖作者自检。7. 行为分析是观察性的：自验证与高通过率的相关性不能推出因果；16 字符片段采样的起草比例是启发式指标，可能受分词、格式、复述方式影响；探索/起草分组比较的置信区间含零，证据强度有限。8. 缺少与既有环境管线的直接对照：未在相同仓库/功能上把 CodeMidas 任务与 R2E-Gym、SWE-smith 等生成任务做 head-to-head 训练比较，难以量化"仅用源码"这一设计选择本身的增量价值。

1. 跨模型复现：在多个开放权重、不同规模的底座模型上重跑训练与消融，检验收益是否随模型族/规模泛化，并公开数据与管线。2. 人工审计与 verifier 质量基准：对随机样本做人工标注，量化任务陈述完整性、测试假阳/假阴率、泄漏残留；与 EvalPlus 式输入扩展、变异测试结合，建立环境质量的可比指标。3. 单变量消融：分别开启/关闭环境清理、执行一致性、泄漏过滤、解一致性评审、rollout 结果过滤，分离各环节贡献；控制任务规模与构成后再比较。4. 成本-质量-规模分析：报告构造与过滤的总成本（token、容器数、时延），研究在固定预算下任务数量、质量与下游收益的帕累托前沿，回答"是否值得在每个阶段投入 agentic compute"。5. 与既有管线 head-to-head：在相同仓库集合上让 CodeMidas 与 R2E-Gym/SWE-smith/R2E 等生成任务，用同一底座、同一训练配置比较迁移效果，剥离"仅用源码"的增量。6. 更强的对抗泄漏与奖励鲁棒性：用更强的对抗搜索与自动化审计探测隐藏 verifier 泄漏；对测试做输入扩展与变异以降低假阳性，研究 RL 下奖励 hacking 的早期信号。7. 扩展到更多接口与语言生态：数据库、网络协议、GUI、嵌入式等接口，以及构建系统复杂的多语言仓库；提升长尾语言的覆盖。8. 任务多样性指标与课程设计：分析语言/领域/参考补丁规模/依赖深度等多样性指标对下游迁移的预测力，据此做课程或采样策略。9. 行为因果与奖励塑造：通过干预实验或奖励塑造检验探索与自验证的因果作用，而不是仅报告相关性。10. 污染与记忆审计：检查训练任务与外部基准的语义重叠、参考解与模型记忆的相似性，确保提升来自可迁移技能而非任务泄露。

Mixture-of-Experts (MoE) scales capacity, but existing designs cannot set three quantities independently. For a single token, participation is how many experts contribute knowledge to its output, execution is how many are actually computed (compute cost), and materialization is how many expert-sized parameter sets must be built and stored (memory cost). Sparse routing keeps execution and materialization low, but shrinks participation: for each token, only a few experts contribute. Dense output-mixing restores full participation, but its execution grows with the number of experts. Parameter-merging keeps execution at one expert, but its materialization grows with the number of routing decisions. We propose IntBMoE, a block-conditioned MoE that decouples all three by pairing dense expert composition with sparse block execution. Its blocks come from a small learned codebook, one per entry. At each internal layer, a lightweight hypernetwork merges all expert bases in that layer's pool into

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文把持续学习对象从模型权重转移到"程序性记忆"：冻结前沿多模态模型，仅演化其外部自然语言技能库，用于需要 230+ 工具的专业平面设计智能体。其定位处于自改进智能体（Reflexion、Self-Refine、ExpeL、ACE、Dynamic Cheatsheet）与程序性技能（Voyager、MACLA、Skill-Pro、SkillAudit）的交汇处，但关键差异有二：一是面向"无可验证 oracle 的创意设计"这一开放域，二是在"提出改动"之外增加"准入控制"——用匹配重放门在不使用绝对分数的情况下决定技能是否入库。贡献主张为：通过 widening（从用户流量中铸造未覆盖子任务的新技能）与 deepening（按失败历史修订既有技能）的耦合，在无权重更新、无人工标签的部署期实现持续适应，并在多骨干、多基准上报告增益。

专业平面设计是长程智能体任务：结构化、可编辑的产物由数十个相互依赖的操作共同形成，却没有可靠的程序化 oracle 判定成败。从用户流量学习难在三点：(1) 终局反馈弱，单条长轨迹使失败无法定位到具体中间决策；(2) brief 混合客观约束（文本、颜色、位置）与主观标准（层级、构图、风格），自动评测只能部分捕捉；(3) 与带可执行测试的代码不同，设计没有成功 oracle。因此监督学习需要昂贵示范，结果导向优化则要同时处理长程信用分配与代理奖励噪声，尤其在基座模型外部托管、无法更新时。 相关研究分几条线。自改进与经验适应：Reflexion 将语言化反思存入情景记忆并跨 trial 复用；Self-Refine 用 LLM 自反馈迭代修改；ExpeL 收集轨迹、提炼可迁移洞见并在推理时检索；Generative Agents 将经验综合为高层反思；Dynamic Cheatsheet 维护演化中的测试时记忆；ACE 把上下文本身当作 playbook，用 generator/reflector/curator 增量积累与精化。程序性记忆与可复用工具知识：Voyager 在 Minecraft 建立可执行技能库；Agentic Plan Caching 提取可复用计划模板以降成本；MACLA 显式构造分层程序性记忆并对比成功/失败精化；Skill-Pro 将经验转为带激活/执行/终止条件的技能并用非参数验证控制入库。安全策略改进：Laroche、Thomas 等关于高置信离策略评估与安全策略改进的工作，为"候选更新应相对 incumbent 胜出而非绝对分数高"提供了理论动机。平面设计智能体：OpenCOLE、GraphicBench、BannerAgency、PosterLlama 建立该域，但尚未解决无可验证反馈下的部署期程序演化问题。

框架把"技能库"作为唯一可变对象，模型权重、工具、渲染器、评测器与演化角色全部冻结。循环由四个角色组成：Prompter（从用户数据与 LLM 提出设计 brief）、Solver（技能库 + 工具 → 渲染图像）、Grader（多模态，逐需求打分为何未满足）、Reflector（把失败转成对 SKILL.md 的定向编辑）。只有 SKILL.md 沿两条轴变化：widening 为未覆盖意图铸造新技能，deepening 用历史失败加固既有技能。 技能表征（附录 C.1）：每个技能是单一 Markdown 文件，YAML front matter 含 description（200–600 字符、设计者会输入的触发短语，是唯一检索信号，正文不影响检索）、app_mode（raster/vector/page_layout/any，限定子库相关性）、tool_sequence（5–10 工具的关键路径）、prerequisites（自动拉入的一跳前置技能）、status（candidate/stable/deprecated）与版本号。正文五个必需段：when to use、clarify before starting、steps（每步命名工具与关键参数）、tips（模型本不具备的领域知识）、error handling（situation→action 表）。逐技能统计存于文件外，保证技能本体干净可发布。 检索（附录 C.2）是两阶段，因为 brief 长而偏主题、技能偏操作。第一步 query distillation：冻结 LLM 把请求映射为核心操作（如"double exposure, background removal"），并忽略主题词（名字、地点、品牌）、形容词与颜色值，最多返回六个关键词。第二步 overlap scoring：按蒸馏查询 q 与技能 description 的 token 重叠打分，score(s)=|tokens(q)∩tokens(desc(s))|/|tokens(q)|；每个蒸馏操作独立打分，命中技能名有加分，app_mode 把范围限定到匹配 app（raster 技能在 vector 会话得 0）。分数只做排序、不做门槛：每轮标记 2–4 个可能相关技能——名字命中、过 τ=0.2 且落在最高分 0.6 倍内（最多 4），不足 2 个时补齐。选 token 重叠而非嵌入，是为了让冷启动播种（附录 G）与运行时检索共享同一 tokenizer，保证播种写进 description 的触发短语必然可被同一流程检索到。 注入（附录 C.3）用渐进披露：每轮 injector 把紧凑目录（每个技能的 name、app_mode tag、单行 description，ranked 匹配项加星置顶）追加到系统提示，正文不注入；模型判定相关时调用 load_skill(name) 工具，返回该技能的 steps、tool_sequence、tips、error handling 到对话历史。目录跨 app 显示并打 tag，使跨 app 请求可预先规划；执行时工具表按活动文档的 app 收敛。可选项是把工具表进一步收窄到已载技能 tool_sequence 的并集加小的常驻核心，把 230 工具目录缩到任务所需少数；实验中默认关闭。 Widening（§3.1）：对每条轨迹，冻结 LLM 从 brief 与工具调用序列提取并规范化实际执行的子任务。若没有检索到的技能覆盖该子任务（检索为空，或检索到的技能覆盖任务其他部分），则记为 uncovered；与被判定为糟糕结果的技能相关联的子任务（§3.2 被归咎）也计为 uncovered。未覆盖子任务按规范化标签进入持续存在的 coverage pool。一旦某标签出现次数达到 k_min=3，冻结 LLM 把这些案例蒸馏成候选技能；候选只有通过 replay gate 对 no-skill 基线的比较（§3.3）才入库；被拒则候选丢弃但出现次数仍留在池中，允许跨轮继续积累证据。这实现 recurrence 门槛：缺口必须在流量中反复出现才铸造。 Deepening（§3.2）：只用技能自身的分级历史修订，且刻意不对称——选择是廉价、宽松的启发式，闸门（而非启发式）决定什么发布。每条轨迹记录检索到哪些技能；轨迹得分低于成功阈值 τ=0.6 时，算作对它所检索的每个技能的一次失败。选择失败计数达到阈值 m（默认 2）的技能，最常失败者优先。对每个被选技能，Reflector 收到 brief、逐需求结果与"why-bad"理由、当前 SKILL.md，以及同一技能在相似任务上的成功调用对比集——表现为真实奏效的工具调用序列、中间 waypoint 结果与 thinking tokens。成功样本充当 do-not-regress 基线，失败理由指出改进点，使 Reflector 在具体 success↔failure 分歧上推理，而非只读失败文本。它发出指明节与改动的定向编辑；同一技能反复定向重写未过闸时，升级为整技能 major rewrite。被拒重写触发可选探索循环：对技能的失败 prompt 做带/不带技能的双臂探测，蒸馏到胜出臂，并把技能命运判为 update/delete/keep——keep 把不可修记录重新路由到 §3.1 的 coverage pool。 Replay gate（§3.3）：两条轴都只提建议，单一闸门决定发布。它针对两个混淆源设计。第一，VLM Grader 对同一图像的绝对分跨运行漂移，"均值分上升即接受"会把评委漂移误当改进；闸门因此从不使用绝对分数。第二，结果不只取决于技能：资产检索与其他上游状态在两臂间可能不同，候选可能仅因拿到更好输入而胜出。做法：抽取能行使该技能的 prompt，为每个 prompt 生成多个 context，每个 context 带不同检索资产与上游状态；冻结每个 context，在同一 batch 内双臂重放——重写为 candidate vs incumbent，铸新为 candidate vs no-skill agent；对输出做顺序随机化的成对评判，故每个 context 内唯一被测差异是技能条件。一个 prompt 只有在候选赢下其多数 context 时才算赢，防止一个大增益掩盖其他 context 的损失。发布条件为 (∄ prompt lost) ∧ (∃ prompt won)。由于重放横跨成功与失败历史，重写必须在不回退既有成功的前提下修复失败，对应生产环境对回退的不对称代价。附录 F 规定 context 构造、平局带与每条轴的重放预算。 成功界定与评分（附录 D/E）：驱动自演化的奖励与报告进展的指标是同一冻结评委 Graphic-Eval，这样技能只针对它之后被测量的准则重写。评分在图像上进行（XML 快照渲染为 PNG），生产轮按累计请求（初始 brief 加所有精化）评判。completeness 用"先分解后检查"两步：第一调用以资深设计师视角提取 3–10 个可评分需求，要求可判 met/partial/not_met，软性/隐喻需求保留弹性，并排除"用什么工具/如何实现"类需求（故分数只评结果不评路径）；第二多模态调用逐需求标 met/partial/not_met，未满足必须给理由。completeness=(1/N)Σ{1.0, 0.5, 0.0}。aesthetics 是独立多模态调用的 1–10 锚定分（明确忽略 brief 遵循），归一为 score/10。critique 对八个维度列问题并标 major/minor。标量 pass rate 以 (w_c,w_a)=(0.7,0.3) 合成。分箱用单一阈值 τ=0.6：s_j≥τ 为成功、s_j<τ 为失败；失败对轨迹检索到的每个技能计数一次，无归咎加权，成功给均匀信用——这是绝对分数唯一被使用的地方（选择修订对象），没有任何东西凭绝对分数发布。

实验在通用文本到图像与专业设计两类基准上，对三种冻结骨干比较 Evolve 与无技能 Base。内部固定人工 brief 集显示，多轮演化在多数完整性阈值处整体抬升，且增益集中在高完整性尾部；但过程非单调，某中间轮低端相对无技能回退，随后轮次以少铸新、多修订的节奏恢复并成为最强轮。消融显示冷启动文档技能几乎不改善、单一机制增益有限，双机制组合呈超线性且统计显著。设计基准的成对胜率整体过半。附带报告了延迟、token 与工具调用等成本信号，以及铸造技能的非冗余性。

1. 五轮演化后，技能库从 76 个文档派生的冷启动技能增长到 139 个，所有改动经重放门准入。

   The bank grows from 76 76 documentation-derived skills at cold start to 139 139 , with every change admitted through the replay gate (§ 3.3 ).

2. 五轮共消耗 1,406 个不重叠 brief，产出 1,869 条无人工标签的分级轨迹。

   We run the loop for five rounds on 1,406 1{,}406 non-overlapping briefs from user traffic and LLM-augmented variants, replaying them through the agent and grading every rollout with the evaluation kit of Appendix D . Across five rounds, this yields 1,869 1{,}869 graded trajectories without human labels.

3. Claude-Sonnet-4 上 GenEval2 执行成功率从 72.7% 升至 99.3%，DPG-Bench 从 82.7% 升至 100%。

   Evolve improves execution reliability on most benchmarks. The effect is strongest for Claude-Sonnet-4 , whose success rate rises from 72.7 % 72.7\% to 99.3 % 99.3\% on GenEval2 and from 82.7 % 82.7\% to 100 % 100\% on DPG-Bench.

4. 四个设计基准上，Claude-Opus-4.6 总胜率 67.6%（CreatiDesign 峰值 71.7%），Claude-Sonnet-4 总胜率 61.8%。

   For Claude-Opus-4.6 , the evolution secures a commanding 67.6 % 67.6\% overall win rate, peaking at 71.7 % 71.7\% on CreatiDesign. Similarly, Claude-Sonnet-4 achieves 61.8 % 61.8\% overall win rate.

5. 消融中仅重写达 48.6% 胜率、仅扩展达 49.4%，组合达 58.5%（p=0.025），完整性增益超线性。

   Neither mechanism alone suffices: rewriting reaches 69.02 69.02 completeness and 48.6 % 48.6\% win rate, while expansion reaches 69.79 69.79 and 49.4 % 49.4\% , respectively. Combined, they reach 74.04 74.04 completeness ( + 5.42 +5.42 over cold start) and a 58.5 % 58.5\% win rate against Base ( p = 0.025 p=0.025 ).

6. 首轮以修复为主：59 次重写中 39 次、10 次铸造中 4 次通过闸门。

   R1 is dominated by repair: 39 39 of 59 59 rewrites and 4 4 of 10 10 mints pass the gate.

7. 五轮中闸门拒绝 100/231 次重写提案（准入 131）与 67/136 次铸造候选（准入 69），净增 63 个技能。

   Across five rounds, the gate rejects 100 / 231 100/231 rewrite proposals (committing 131 131 ) and 67 / 136 67/136 mint candidates (committing 69 69 ); net growth ( 63 63 ) trails gross mints since deepening occasionally discards a superseded or merged skill ( 6 6 total).

8. 内部基准上 R5 相对无技能在 ≥0.5、≥0.9、=1.0 完整性处分别从 86%、43%、24% 提升到 93%、56%、32%。

   relative to no skill, R5 raises the share of briefs at ≥ 0.5 \geq 0.5 from 86 % 86\% to 93 % 93\% , at ≥ 0.9 \geq 0.9 from 43 % 43\% to 56 % 56\% , and at = 1.0 =1.0 from 24 % 24\% to 32 % 32\% , with the largest survival gap ( + 13 +13 pp) at τ ≥ 0.9 \tau\geq 0.9 .

9. R4 在完整性 ≥0.3 处回退到 90% vs 94%（低于无技能），但在 ≥0.9 处仍保持增益。

   R4 falls below no skill at completeness ≥ 0.3 \geq 0.3 ( 90 % 90\% vs. 94 % 94\% ) while retaining a + 7 +7 pp gain at ≥ 0.9 \geq 0.9 :

10. Evolve 延迟开销为 3.4%–6.2%，个别情况可降低生成时间（如 Sonnet 在 DPG-Bench 从 113 秒到 82 秒）。

    Evolve adds only 3.4 % 3.4\% – 6.2 % 6.2\% mean latency overhead across backbones (Figure 6 ), and can occasionally reduce generation time (e.g., 113 → 82 113\to 82 s for Sonnet on DPG-Bench).

11. 铸造技能与冷启动库的最近邻距离（中位 0.215）显著大于种子库内部间距（0.158），p<10^-8、Cliff's δ=0.58，表明其非冗余。

    their nearest-neighbour distance to the cold-start bank exceeds the seed bank’s internal spacing ( 0.215 0.215 vs. 0.158 0.158 median; Mann–Whitney p < 10 − 8 p<10^{-8} , Cliff’s δ = 0.58 \delta=0.58 )

12. Evolve 在 Claude-Opus-4.6、Claude-Sonnet-4、Qwen3.6-27B 三个骨干上的平均质量分别提高 +3.83、+7.70、+9.67，尽管个别基准有回退。

    Evolve raises average quality by + 3.83 +3.83 , + 7.70 +7.70 , and + 9.67 +9.67 for Claude-Opus-4.6 , Claude-Sonnet-4 , and Qwen3.6-27B , respectively, although individual benchmarks can regress.

Novelty：中等偏新。单点组件（外部技能库、自反思、成功/失败对比重写、安全策略改进式的保守接受）皆非首创，但组合与目标域构成贡献：把"外部自然语言技能库"作为冻结模型的学习目标，并引入 widening/deepening 双轴加匹配重放闸门，在无可验证 oracle 的专业设计域做部署期持续适应。与 MACLA、Skill-Pro、SkillAudit 相比，区分点是"提议/准入分离"与"用重放案例做无绝对分数的回归门"；与 ACE、Dynamic Cheatsheet 相比，区分点是程序性技能而非上下文 playbook。但核心机制在概念上继承明显，真正的原创集中在重放门对 VLM 漂移与上游状态混杂的工程化处理，而非新的学习原理。 Soundness：中等。优点：跨三种骨干、两类基准、固定 held-out 集，消融有统计检验，并对非单调性与回退诚实报告；机制描述（附录 C/D/F）相当具体，可复现性较好。主要担忧：(1) 驱动自演化的奖励与报告进展的指标是同一个 VLM 评委，形成自评闭环，存在自我偏好与奖励黑客风险；文中提到可切换跨家族 backend 但未报告是否实际使用及其影响。(2) 重放门的"无回退"只在重放案例上成立，作者也承认不能推广到全用户流量分布，但未给出置信界或样本量自适应。(3) 设计基准成对胜率由 GPT-5.4 评判，与进化用 Graphic-Eval 不同源，位置偏差只靠两序缓解，未报告平局率、置信区间或评委一致性。(4) 消融的超线性结论主要基于单一内部基准，且未明确消融所用骨干是否与主结果一致。总体透明但缺少人工验证，是 soundness 的关键缺口。 Significance：中高。为"外部托管基座 + 无权重更新 + 无人工标签"的部署期持续适应提供可落地范式；"演化技能而非模型学习"对商业智能体有直接实践价值。230+ 工具的真实软件面与五轮流量实验比玩具环境更有说服力，且通用 T2I 与专业设计两类基准、三骨干的验证提升了迁移性证据。但影响可能受限于专业设计域与对专有评委、渲染栈、检索管线的依赖；其贡献更偏系统工程与保守准入协议，而非可迁移的理论洞见，故对未来研究的意义是"一条可行路线"而非范式突破。

论文自述的边界：自然语言技能可描述偏好流程，但检索本身可能无法让模型在其有强默认策略时遵从；精细几何操作受模型感知与自动验证限制；长流程随步骤累积而保真度下降；重放门只对评估案例局部有效，拒绝已观察回退不能保证全用户流量分布单调改进。 更系统的批评：(1) 无人工评估、无 ground-truth 验收，所有"成功/失败"都来自 VLM 代理评委，存在代理评委能力上限与奖励黑客风险（G-Zero 的论点在此域同样成立）；同一评委既驱动演化又被用于报告进展，自评闭环未被实验打破。(2) 重放门依赖同一 VLM 成对判断，位置/顺序偏差只被顺序随机化部分缓解；未报告平局处理、重复运行方差、评委间一致性，故"无回退"结论的可靠性存疑。(3) 消融只有一个 held-out 集与有限轮次，p=0.025 的统计口径（是否校正多重比较）未说明；R4 非单调说明系统对铸新/修订节奏敏感，鲁棒性证据不足。(4) 检索用 token 重叠而非语义嵌入，处理同义、跨语言改写与长尾描述能力弱；技能库增长后的检索瓶颈、依赖链与上下文预算只被简单提及（Graph of Skills 的关切未在实验中解决）。(5) 个性化（附录 I）被排除在主实验与公共技能池外，说明"方法偏好"类失败无法由公共技能库解决，需要偏好条件检索与工具级强制，当前框架对此只部分覆盖。

可沿四条线跟进。(1) 把闸门形式化为安全策略改进/高置信离策略评估：给重放比较加置信界、样本量自适应与多重比较控制，从"无已观察回退"走向"以高置信不劣于 incumbent"，并报告重复运行方差与评委一致性。(2) 打破自评闭环：用跨家族评委做对抗性评测，量化同家族 grader-solver 的自我偏好；引入人工抽检或可程序化检查（文本、颜色、位置、对比度、WCAG）作为部分 ground-truth，减少纯 VLM 依赖。(3) 检索与执行升级：混合语义嵌入与 token 重叠、构造依赖感知的技能图与上下文预算水合，解决同义改写与技能增多后的路由/成本瓶颈；对精密几何/排版步骤引入确定性原语与数值化验证，用结构化计划或宏分解缓解长流程保真度泄漏。(4) 显式调度与个性化：当前 widening/deepening 的交替是涌现节奏，可研究由覆盖池饱和度与失败计数触发的显式策略以避免 R4 式回退；把附录 I 的偏好条件检索、工具面收窄、个人技能池与公共池分层演化并入主框架。此外，与 ACE、Dynamic Cheatsheet、Skill-Pro 做受控对比，并在视频编辑、UI 设计、3D 场景等其他"无 oracle"开放域检验程序性记忆演化的可迁移性，也是自然的下一步。

本文处于「LLM × 数据管理」的交叉地带：目标是把传统 BI 中由用户手动完成的选表、转换、建立连接、分析等端到端工作流交给 LLM 自动完成，并明确限定为 raw-table-to-answer 的一次性、低接触长尾场景，而非替代成熟的企业 BI 系统。文章同时交付三项内容：首个端到端 BI 基准 BI-Bench、工具增强的 BI-Agent 参考实现，以及面向 BI 领域的轨迹合成后训练框架。相较于只覆盖分析阶段的 NL2SQL，本文强调 search/transform/join/analysis 全链条挑战；其贡献定位是「补缺式基准 + 系统级协同设计」，作者也明确承认底层数据管理工具来自既有算法，创新点在于把 LLM 编排与领域工具、领域后训练整合起来。

传统 BI 平台（Power BI、Tableau）要求用户按固定多阶段流程准备数据：S1 浏览并识别相关表，S2 用厂商 DSL 或 GUI 做数据转换，S3 手动定义表间 join 关系，S4 才能用仪表盘做实际分析。这对缺乏数据库与编程经验的非技术企业用户构成显著障碍。与此同时，LLM 在数据处理上已表现出较强能力，且主流模型原生支持推理与工具调用循环；但作者观察到 LLM 在复杂 schema 上预测 join 和 reshape 转换时经常失败。数据管理社区则长期积累了专门的表重塑预测与 join 预测算法，可作为外部工具被 LLM 调用。现有数据基准（尤其 NL2SQL 方向）主要聚焦分析步骤，缺少面向真实 BI 端到端流程的测试集；因此作者构建 BI-Bench 来量化这一缺口，并在此基础上提出 BI-Agent 与针对 BI 的后训练方法。方法论背景包括 agent 工具调用、SFT 与 RL 后训练，以及 NL2SQL 评价中的表匹配、数值容差与真值增强惯例。

【问题定义】给定自然语言查询 q 与原始表集合 T={T1,…,Tn}，系统需自动完成 search、transform、join、analysis，产出能正确回答 q 的结果表 R；不要求可视化与用户仪表盘完全一致，只要求结果表正确。 【BI-Bench 构建】 1) 采集：爬取 3K+ 公开 .pbix 文件，用 DAX-studio 与 RPA（power-automate）提取原始数据文件、用户转换步骤、手工 join 关系与最终仪表盘。 2) 用例生成：采用「采样—筛选—验证」循环直到 100 例。筛选条件为：可视化意图可从标题与上下文清楚改写为自然语言；改写后的 q 经检查其计算逻辑后确实反映该分析；数据与可视化为英文。改写时补全标题省略的隐式过滤（如 year>=2007），再导出可视化底层结果表 R。 3) 真值验证：除人工审查外，采用 LLM 辅助触发复核——给两个前沿 LLM 提供简化提示（必要转换与转换后表、真实 join、相关表子集等）各尝试 10 次；若仍无法复现 R 则触发人工复核，修复提取错误、丢弃歧义样本，或确认正确后保留模型无法解决的样本。模型可解性不作为收录条件。 4) 真值增强：为避免 schema 差异把语义正确的输出判错，为每个用例增加多个语义等价真值表（如允许额外保留 income/expenses 列），仅依据查询语义与可视化计算逻辑、由两位领域专家审查确定。 【BI-Agent：推理与工具调用循环】LLM 作为编排器，接收全部工具描述并自主决定何时调用哪个工具，工具输出追加回上下文供后续迭代使用。工具包括： - Coding tool：Python/SQL 运行时，执行 LLM 生成的代码并回传结果或报错；跨轮缓存程序变量。 - Transform tool：内嵌数据管理文献中的表重塑预测算法（Li et al. 2023），检测是否需要 transpose/pivot/unpivot 等操作，返回原始表与转换后表。其设计动机是：LLM 缺乏对表结构的整体理解，且 SQL 不原生支持重塑算子。 - Join tool：实现面向雪花型 schema 的 join 预测算法（Lin et al. 2023），输入表列表、输出全部预测 join，供 LLM 做跨表分析。 - Search tool：给定 q 与表（列名 + 采样行），提示 LLM 保守地选出潜在相关表：保留任何可能相关的表、只剪除明显无关表，以减少注意力分散。 工具设计强调可扩展性，轨迹示例为 transform_table → search_tables → join_tables → execute_code 的迭代过程。 【后训练与轨迹合成】由于无法手工构造大量训练数据，作者提出面向 BI 的合成流程： - Step 1：由项目提取的表与两两 join 构造 join graph；从随机表沿 join 边采样连通子 schema；按已知用户 join 物化为宽表 W。 - Step 2：LLM 在 W 上合成自然语言查询 q。 - Step 3：LLM 合成代码 c，执行 R=c(W)，仅保留 R 非空的查询；共得到 7,985 条合成查询。宽表物化消除了选表与 join 预测，使代码生成更可靠。 - Step 4：将子 schema 内的相关表与 schema 外的无关表混合，并以小概率对输入表施加逆重塑算子，构造需要 search 与 transform 的复杂原始输入。 - Step 5：生成从 T 到目标 R 的正确训练轨迹。 泄漏防护：排除 BI-Bench 项目及任何与测试项目存在表内容重叠（≥5 行）的项目；查询级与转换级也因从头合成而与测试不同。 - 训练方式：SFT 与 RL（RL 从 SFT 检查点初始化）；奖励设计为二元 ±1 之外，对「非空但错误」的结果表给 -0.5 部分分，并对 n 个语法错误施加 -0.1n 惩罚，以提供密集且信息量更大的学习信号。训练硬件为 2×80GB H100，SFT 约 9 小时、RL 约 22 小时。

作者在 BI-Bench 上系统比较了多类模型与系统：专有前沿模型、开源大模型、基于 Qwen3-8B 的多种后训练变体（SFT 与 SFT+RL、有无工具、SQL 与 Python 交叉组合），以及 BIRD 与 Spider 2.0-lite 排行榜上的顶尖 NL2SQL 模型与智能体。评测环境分为 SQL 与 Python 两种，每种均设「无工具」（仅通用编码工具）与「有工具」（额外提供 search/transform/join）两种条件；质量指标为结果表与真值表在形状和逐格值上匹配（允许行列置换、数值容差与缺失值规范化），重复多次取均值，并用配对显著性检验与自助置信区间报告增益，同时报告单查询成本。除主结果外，还进行了工具数量与任务复杂度的敏感性分析、RL 奖励消融，以及基于模型轨迹的错误类型分类分析。

1. 前沿模型在 BI-Bench 上整体表现差：SQL 场景下超过一半用例失败，表现最好的 o4-mini 也只有 48.2% 准确率。

   We find that BI-Bench is highly challenging: even frontier models consistently fail on over 50% of the test cases using SQL. For example, the best-performing model, o4-mini, achieves only 48.2% accuracy using SQL (and it frequently requires many rounds of interaction).

2. BI-Bench 共 100 个经人工策展与验证的用例，单查询平均超过 4 人时、总投入超过 400 人时。

   constructing BI-Bench took over 400 person-hours, or over 4 person-hours per query

3. BI-Bench 项目规模统计：平均每项目 10.6 张表、80,464 行、10.7 列，平均 12.75 条 join 关系，且极端值很大。

   Our analysis of BI-Bench shows that on average, each project contains 10.6 tables (the maximum is 52), 80,464 rows (the maximum is over 7M), and 10.7 columns per table (the maximum is 325). There are on average 12.75 join relationships in each project (the maximum is 94).

4. 后训练轨迹合成流程最终产出 7,985 条合成查询，规模远超手工构建的测试集。

   This process yields 7,985 synthesized queries.

5. BI-Agent 的数据管理工具带来稳定且显著的质量提升：SQL 平均提升 14 个百分点、Python 平均提升 11 个百分点，且在 20 个模型-语言组合中有 19 个显著。

   on average increasing accuracy by 14 percentage points for SQL and 11 percentage points for Python. We report that these improvements are statistically significant in 19 out of 20 cases.

6. SQL 场景下 SFT 相对基础模型显著提升：无工具提升 17.4 个百分点、有工具提升 22 个百分点。

   SFT models improve over the base model by 17.4 percentage points without tools and 22 percentage points with tools using SQL.

7. 在 SFT 基础上再做 RL 并结合工具时，Qwen3-8B 在 SQL 下相对基础模型提升 29.8 个百分点。

   Qwen3-8B post-trained with RL improves by 29.8 percentage points in SQL

8. 后训练小模型推理成本极低：Qwen3-8B-RL 跑完整个 BI-Bench 仅约 0.19 美元，而 o4-mini、GPT-4o 等大模型超过 10 美元。

   the post-trained Qwen3-8B-RL model costs only $0.19 to run the entire BI-Bench , whereas large models such as o4-mini and GPT-4o can cost over $10

9. 顶尖 NL2SQL 模型与智能体在自身榜单上超过 70%，但在 BI-Bench 上 SQL 准确率骤降至个位数或约四分之一，说明 BI-Bench 捕捉了 NL2SQL 未覆盖的端到端难度。

   the top four open-source models on the BIRD leaderboard and the top two open-source agents on the Spider 2.0-lite leaderboard all score above 70% on their respective benchmarks, yet achieve only 6.0–17.3% and 23.8–26.3% SQL accuracy on BI-Bench , respectively (see Table 4 for details).

10. RL 奖励消融显示：完整奖励（部分分 + 语法惩罚）使 (Python, tool) 设置达到 25.1%，而去掉任一项或两项后均低于 SFT 初始化的 22.6%，证明密集奖励信号关键。

    starting from the SFT initialization (Qwen3-8B-SFT-Tool in Table 4 ) which achieves 22.6% accuracy, our full reward design (Qwen3-8B-RL-Tool) improves accuracy to 25.1%. In contrast, variants (1) , (2) , and (3) achieve only 20.7%, 19.1%, and 20.6%, respectively.

11. 错误分析显示工具对主要错误类型的削减：转换错误下降 54.2%、表选择错误下降 40.9%，其中转换错误削减幅度最大。

    tools effectively reduce the most common error types. In particular, transform errors are reduced the most (by 54.2%), followed by table selection errors (by 40.9%).

12. 工具增益随任务复杂度增大：需要超过 10 张表的任务上，工具带来的增益（SQL 57.1%、Python 35.8%）明显高于 10 张表以内的任务（SQL 39.5%、Python 24.7%）。

    on tasks requiring over 10 tables, using tools produces significantly higher gains (57.1% for SQL and 35.8% for Python) than on simpler tasks requiring fewer than 10 tables (39.5% for SQL and 24.7% for Python).

Novelty：新颖性属于中高。BI-Bench 作为「首个系统评估端到端 BI 的基准」具有明确的新颖性：它把真实 Power BI 项目中的选表、转换、join 挑战打包进评测，并用导出数据构造真值，填补了 NL2SQL 的空白。BI-Agent 的单个工具（reshape 预测、join 预测）明显来自既有数据管理算法，作者也如实承认；其真正新意在于系统级协同设计——把领域工具嵌入 LLM 工具调用循环、并通过合成轨迹进行 SFT+RL 的联合训练。轨迹合成（join graph 子 schema 采样 + 宽表物化 + 代码执行过滤 + 无关表混入 + 逆重塑）是为 BI 定制的训练数据生成方法，有一定原创性；「工具使用 + 领域后训练产生协同增益」的结论也为首次展示。整体上创新更偏基准与集成工程，而非基础算法突破。 Soundness：方法论上较严谨。评测采用 100 例真实项目导出真值，经过人工 + LLM 辅助双重验证并支持多真值增强；10 次重复、配对 t 检验、bootstrap 置信区间、项目级稳健性检验与 Benjamini-Hochberg FDR 控制，统计处理细致；训练数据做了项目级与数据级泄漏隔离。主要隐患是：基准规模偏小且仅限英文，统计功效虽报告较强但泛化性存疑；「表形状必须一致」的严格指标尽管有真值增强，仍可能低估语义正确但形状不同的输出；对专有模型版本、错误分析依赖 GPT-5.2 作为分类器、成本按 2026 年价格快照计算，均带来可复现性与客观性风险；后训练只在一个 8B 基座上验证，且无外部独立复现。总体 soundness 良好，但结论外推需谨慎。 Significance：实际意义较强。BI 是百万组织使用的企业决策基础设施，降低非技术用户的一次性分析门槛、用 8B 后训练模型以远低于大模型的成本接近或超过大模型质量，具有明显的工程与经济价值。BI-Bench 为社区提供了可复用的端到端评测标尺，能推动后续 LLM + 数据管理研究；「工具负责难的数据步骤、LLM 负责编排」的架构和「领域轨迹合成 + SFT/RL」的训练范式也具有可迁移性（作者已在 Spider 2.0 上展示一定泛化）。不过其范围被限定在 raw-table-to-answer 长尾场景，尚未覆盖完整企业 BI 生命周期、可视化生成与真实用户满意度，因此短期影响力集中在数据管理与 agentic BI 子社区，长期需与工业系统整合来兑现。

1) 基准规模与覆盖：仅 100 个英文用例，领域虽多样但不足以代表全部 BI 场景；规模小且无多语言、多模态（如图表/标题截图）输入。2) 评测指标严格依赖表形状一致，虽有真值增强，仍可能把「语义正确但列数不同」的结果判错，也缺少人对语义等价性的系统打分。3) BI-Agent 只集成 reshape、join、search 三类工具，未覆盖清洗、去重、时态对齐、异常值处理等更广的数据管理原语；工具本身依赖既有算法的覆盖面与召回。4) 后训练仅在 Qwen3-8B 上验证，未证明对大模型同样有效；训练轨迹依赖 LLM 生成代码与查询的正确性，可能引入噪声或合成偏差。5) 泄漏防护以「表内容 ≥5 行重叠」为阈值，仍可能有语义相近但未检测到的间接泄漏。6) 错误分析由 GPT-5.2 自动分类，存在主观与系统性偏差。7) 结果表与用户可视化解耦，未验证最终交付是否符合真实用户预期；缺少与真实非技术用户的端到端可用性研究。8) 成本与模型版本基于特定时间点，随时间变化较快，削弱绝对成本结论的长期有效性。

后续可沿几条线展开：(a) 扩大与丰富 BI-Bench：多语言、多领域、更大样本，并加入可视化图表到查询的多模态理解；同时建立更细粒度的分阶段评估（单独测 search/transform/join/analysis）以定位能力瓶颈。(b) 放宽或改造评测指标：引入语义等价判定与人工盲评，区分「形状错误」与「语义错误」，减少对单一真值形状的依赖。(c) 扩展 BI-Agent 工具库：加入清洗、去重、时态对齐、异常检测、语义建模与安全/权限感知工具，并研究工具组合的自适应调度而非固定三条原语。(d) 后训练泛化：在不同基座规模、更强模型上验证 SFT+RL 的增益，探索可验证奖励（如结果表对真值的匹配度）、过程奖励与失败轨迹重放，替代当前的手工 -0.5/-0.1n 启发式奖励。(e) 泄漏与合成质量：更严格的语义级训练/测试去重，以及让合成轨迹经过执行验证或自我修复，降低 LLM 合成噪声。(f) 与工业系统整合：把 BI-Agent 接入真实 Power BI/Tableau 工作流，研究从问答到可视化、语义模型发布的全生命周期自动化，并做真实用户研究。(g) 理论层面：分析何时工具卸载能稳定帮助 LLM、错误传播在工具循环中的放大机制，以及任务复杂度与收益的关系，为工具设计与训练预算分配提供原则。