2026-10-06

这是一篇以“真实纵向对话”为材料的基准构建与测量论文，而非提出新模型。RealCompanion 的核心贡献不是又一套生成式记忆问答基准，而是把“理解一个人”拆成两个可验证的问题——此人是谁（profile/persona）与哪些过去对当前消息重要（restraint/retrieval/response），并在十个真实人机陪伴关系上给出逐条可回溯证据的标注与推理链。论文的学术姿态是方法论批判：它用形式化定义（需求率π、命题1与命题2）和分层抽样指出，生成式语料的构造方式系统性地把“记忆”变成了恒真需求，从而让池化指标把语料构成误读为能力。其实验结论偏重测量性发现：真实流量中记忆需求稀少且偏远，现有表面门控与检测器无法区分何时需要记忆，而上下文的“帧定”（labeling/framing）会显著改变模型行为。

论文的问题背景是：AI 伴侣如今与人进行长期对话，要“理解”一个人需要同时回答两个问题。第一个是“他是谁”，这个答案跨消息稳定；第二个是“他说过的哪些东西现在重要”，这个答案随每条消息变化。检验这两种答案只能对照真实的人实际说过的话，但真实对话属于隐私，多由产品公司持有，于是既有基准退而使用生成式语料。作者指出生成式基准存在三重结构性缺陷：其一，生成对话围绕所要测试的记忆编写，因此几乎每条消息都需要过去；其二，被提示的人格（prompted persona）提前声明了特质，问“这个人是谁”变成了读声明；其三，脚本化历史从不自我修订，第九个月说的话不会改变第四个月确立的事实。于是这些基准在系统看到数据之前就已替它回答了“何时需要记忆”和“此人是谁”两个问题，实际测量的是记忆化而非理解。RealCompanion 试图用十个获得同意的真实关系（27,218 条消息、最长 120 天）填补这一空缺，并明确以四个挑战组织评测：知道过去何时重要、知道消息累加出什么样的人、同时调用全部证据、以及判断是否做对。论文还把任务抽象为对任意“主体记录”的通用形式（附录 A），并给出一个语料要成为该任务实例必须满足的七个条件。

RealCompanion 的机制可分为五层：数据形态、探针与分层、推导流水线、形式化评分、评测轨道。 一、数据形态与五文件。每个参与者是自包含实例，包含五个文件：conversation 是唯一源，其余四者由它派生。profile 逐条记录对话所确立的事实声明，每条附支撑消息、置信度和该声明成立的窗口；提取过程“对抗自身输出”，会丢弃超过三分之一的自提候选，且保留后来未通过审计的声明以便审计可被再审计。persona 记录此人如何思考、感受、决策，每个条目只在对话支持处填写，并带支撑消息、强度，甚至包含具名工作假设及其依据与把握程度；论文强调 persona 在先前工作中没有对应物。chat ground truth 记录一条回复必须知道什么、应当说什么，并携带 reasoning trace；question set 从 profile 撰写，覆盖 16 类，使 3,312 道问题触及对话建立的每个事实与特质。 二、探针、tier 与 locus。chat track 的探针是参与者原样发送的消息，不做改写或转述。每个 item = 探针 + 正确回复可用的 context + 仅由该 context 写出的 reference reply + 产生二者的推理链。tier 由 context 形状决定：仅有前置消息为 basic，含 profile claim 为 intermediate，含更早交换为 hard，空 context 为 edge，因此 tier 可由列表机械重算而无需信任标签。locus 指出参与者所指之物的存储位置：1,533 个可评分条目中 1,009 指向当前线程、120 指向“无先验”、404 指向线程外（profile 223、更早交换 116、伴侣自身过去行为 65），其中 167 条为 dependent（reference reply 实际使用了其引用）。由于需要记忆的消息稀少，随机样本中仅 3.4% 需线程外证据，故探针分三层：proportional stratum（1,169 条随机抽样，唯一用于估计自然需求率）、enriched stratum（364 条深历史条目普查，支持条件陈述但不提供率）、abstention control（434 个会话开场，无需先验，用于检测“过度检索”）。 三、五阶段推导流水线（Stage A–E）。A 解析探针所指并命名其应存储的 store；B 检索该指称的候选记录并逐条对照源对话，丢弃未通过者；C 按十九条固定规则之一赋 tier/category 并记录触发的规则；D 写 reference reply 并列出其依赖的消息；E 校验回复确有证据支撑、类别吻合，失败则降级。关键约束是：每阶段只读前一阶段输出，并在同一次调用中同时写出决定与理由，杜绝事后补写理由。阶段顺序闭合三类错误：B 防止“发明证据”进入金标；D 保证 context 按构造充分，使 oracle 条件与检索器之差只测检索本身；E 只可删除不可添加引用，使验证误差只能压低需求率（命题 1）。三项机械不变量确认顺序在每条条目上成立：派生文件引用的每个标识符都解析到源消息、无条目引用自身探针之后的消息、tier 可由列表重算。推导的自我损耗很大：Stage A 对 806 条未用消息提出远距指称、Stage B 只验证 422；最终 Stage B 将 1,544 条 profile claim 匹配到指称、保留 752；最终 tier 与验证前表面信号在 1,533 条中有 685 条不同，说明廉价表面门控在此近乎半数错误。 四、形式化任务与评分（附录 A）。主体记录为 (M, S)：M 是带发送者、时间戳、文本的消息序列，S 是有限 store 集合（RealCompanion 取 L=2，即 profile claims 与消息本身作为 episode store）。探针 p=m_i，历史 H(p)，近窗 W_k(p)，远史为其补集；参考集 R(p) 是金标回复使用且不使用的记录集合，其证据先于 p 且位于近窗之外。标注必须满足公理：g(p) 可由三元组 (p, W_k(p), R(p)) 导出，机械检查是 Stage D 的 419 处外部引用全部是探针本身。三个决策按序评分：restraint 预测 ρ̂∈{0,1}，对照真值 ρ⋆=1[R(p)≠∅]；locus 预测引用的 store 集合；response 对照 g(p)。评分量为：误报率 MR=Pr[ρ̂=1|ρ⋆=0]（在 1,129 个 R=∅ 的探针上）；归因率 AAR=Pr[uses(ŷ)=1|ρ⋆=1]（404/250）；locus 精确率；反应一致性 RC=Pr[J(ŷ,g)=1]（1,533 全部可评分探针，判官不被告知参考集，其与人类裁定 κ=0.804 二元、0.545 分级）。聚合同时报告 pooled（估计语料）与 macro-average θ̄=(1/U)Σθ_u（估计关系），因为两个重度参与者占 27,218 条中的 19,870 条，会决定任何池化数字。 五、两个核心命题。命题 1（验证单调）：令 π∘ 为真实需求率，r 为标注召回，ε 为误报率，则 π=π∘r+(1−π∘)ε，且 π≤π∘+(1−π∘)ε，标注记忆人口的精度为 1−(1−π∘)ε/π，因此测得的率是真值的下界。命题 2（消融分解）：令 Δ=RC(C2)−RC(C1)，γ1=E[Δ|ρ⋆=1]、γ0=E[Δ|ρ⋆=0]，则 Δ=πγ1+(1−π)γ0；只观察 Δ 只能把 πγ1 钉在 [(Δ−G)/2, (Δ+G)/2]，该区间同时包含 0 与 Δ；要识别记忆效应必须逐探针观察 ρ⋆ 且 0<π<1。在生成式语料中 ρ⋆≡1，restraint 变得无定义，该效应结构性不可识别。 六、评测轨道与方法。Reconstruction track：系统读全史写 profile/persona，逐字段按精确匹配/存在/召回评分，F1 在“运行或发布文件填充的字段并集”上计算，三系统（Claude Opus 5.5、Codex GPT-5.6-sol、Antigravity 跑 Gemini 3.8 Flash）各跑三遍。Chat/question track：五种方法（Random、Recency、Recency-user、BM25、Oracle）各自每次只看一个参与者历史；三个控制（offset permuted 保留距离破坏内容、position randomized 破坏二者、broken oracle 必须为 0）。一个生成器在五种 context 条件下作答：C0 仅探针、C1 三条前置、C2 oracle 记录消息、C3 十条 BM25、C4 十条前置；C3m/C4m 为匹配对，统一中性标签与时间序，分离“标签帧定”与“选材”效应。检索以 hit@k 与 MRR 计分，回复以 0–2 内容匹配、restraint、无判官的 evidence coverage 计分；需求判定用弃权与 AUROC 双重计分。论文无新模型训练，语言模型被明确披露为研究工具，分别承担 Stage A/D/E、回复生成与判官、审计、匿名化改写、问题生成等角色，并辅以 26 道发布门与五族无模型机械校验。

实验结果呈现为三条主发现与一组稳健性读数。总体看：真实流量中需要记忆的比例很低且极不均匀，集中在最长关系里；需要时所需材料往往在非常远的过去，滑动窗口与随机排序在远处条目上几乎一样差，词汇检索好得多但仍漏掉多数，而一旦改为池化口径则顺序反转，说明池化分数主要反映语料构成。上下文消融表明，供给记录证据的总体增益绝大部分落在本不需要记忆的探针上，真正记忆承载条目的增益被稀缺率稀释；真实消息上检测器与表面门控接近随机，而人工撰写问题因与证据共享词汇而泄露线索；无上下文时模型从不伸手取不存在的过去，给上下文后误报率上升，把同样的消息改称“记忆”即可抬升记忆调用，而对近窗重贴标签无效。重建轨道上三个成本相差很大的智能体系统得到几乎相同的 persona F1，且彼此一致度高于与发布文件的吻合。

1. 自然速率下需要记忆的比例很低：记录读法 3.4%、严格读法 1.3%，且集中分布不均。

   On the natural-rate stratum, 3.4% [2.5, 4.6] of the messages participants sent carry a verified memory demand under the recorded reading and 1.3% [0.8, 2.1] under the strict one.

2. 所需材料通常极远：最远所需消息中位距 2,157 条，最近所需也中位距 450 条。

   The furthest message a memory-bearing probe requires sits a median of 2,157 messages back, with an upper quartile of 5,114 and a maximum of 12,542. Even the nearest required message sits a median of 450 messages back.

3. 在远处条目上，Recency 仅 0.022、随机 0.005，BM25 为 0.248，后者仍漏掉四分之三。

   Recency, the order a sliding context window imposes, finds one for 0.022 of them against 0.005 for a random ranking, and for none once on-screen referents are removed (Appendix E.2 ). Lexical matching finds one eleven times as often, at 0.248, and still misses three in four.

4. 池化口径反转了方法排序：在 1,477 条有参考集的探针上 Recency 命中 0.959，BM25 仅 0.236。

   Over the 1,477 chat probes with a reference set, of which 72.6% are answerable from the recent thread, recency finds a required message for 0.959 of them and lexical matching for 0.236.

5. C2 相对 C1 的总体内容匹配增益在两个分层分别为 +0.140 与 +0.108。

   Replacing the last three messages (C1) with the recorded messages (C2) raises content match by + 0.140 +0.140 [0.126, 0.167] over both strata and by + 0.108 +0.108 [0.077, 0.159] on the proportional stratum.

6. 该增益被拆分为记忆贡献 +0.004 与无记忆贡献 +0.104，即 96% 落在无需记忆的探针上。

   π ​ γ 1 = + 0.004 \pi\gamma_{1}=+0.004 and ( 1 − π ) ​ γ 0 = + 0.104 (1-\pi)\gamma_{0}=+0.104 , so 96% of it lands on probes that need no memory.

7. 在 167 条回复确实依赖记录消息的条目上，同样替换的增益为 +0.455。

   On the 167 items whose reference reply depends on the recorded messages, the same replacement is worth + 0.455 +0.455 [0.319, 0.588].

8. 匹配对比中，十条 BM25 消息比十条前置消息低 0.189，且与完全无上下文持平。

   ten messages chosen by BM25 score 0.189 [0.156, 0.247] below the ten preceding ones

9. 真实消息上的需求检测器接近随机：AUROC 0.530/0.548，对自身目标 0.601，只抓到 40 个中的 6 个且产生 40 次误报。

   Its AUROC is 0.530 [0.488, 0.572] against probes whose referent is absent and 0.548 [0.488, 0.609] against cold opens.

10. 人工撰写问题泄露线索：问题轨 AUROC 0.802，明显高于真实聊天探针的 0.546。

    A detector shown three retrieved messages reaches 0.802 [0.742, 0.857] on the question track against 0.546 [0.490, 0.605] on chat probes, and a keyword scorer’s own confidence reaches 0.696 [0.629, 0.758].

11. 无上下文时误报为零，给上下文后升至 29.2%（按需选材）与 60.8%（无差别十条）；改称“记忆”抬升使用 10–14 个百分点。

    Across the 434 cold opens and the 120 probes whose verified locus is none , the misfire rate without context is zero. With context supplied, it rises to 29.2% when the messages were selected for the probe and to 60.8% when ten were supplied without regard to it

12. 三个智能体系统 persona F1 同为 0.69–0.70，token 量差约三十倍，各自重复运行一致度 0.93–0.95。

    All three reach an F1 of 0.69 to 0.70 while the tokens they process differ about thirtyfold, and each agrees with its own repeated runs at 0.93 to 0.95.

Novelty：新颖性中高，且集中在“评测构造”而非算法。真正新的部分有三处：一是用真实长期关系替代生成语料，并把“需求率”作为一阶测量对象，通过 proportional/enriched/abstention 三层采样把“何时需要记忆”变成可估计量而非构造常量；二是可追溯的派生标注——五阶段推理链、每阶段只读前文、可删除不可添加的验证单调性、三条机械不变量，使“金标”本身可被逐级质疑，这在记忆基准中罕见；三是命题 2 给出池化消融在低需求率下无法识别记忆效应的形式化证明，并实例化为 96% 的数值。persona 作为带证据与强度的“对人的解读”层也超越了传统槽位式 persona。但方法学组件（分层采样、对照条件、AUROC、F1/召回）本身不新，且检测器的负面结论只对所试模型成立。 Soundness：内部严谨性相当高：验证单调性、broken oracle/permuted 控制、配对 bootstrap 以参与者为单位、匹配对 C3m/C4m 分离帧定效应、无判官的 evidence coverage 交叉校验、judge 与人类 κ 报告、以及明确披露发布门与机械检查，都属于扎实的做法。主要脆弱点在于样本与标注的可推广性：n=10、单一应用、两个重度用户决定任何池化数字；on-screen 判定由单一读者四遍完成而无可计算的同意率；ground truth 大量由模型流水线生成并经人审，审计本身也依赖模型；匿名化重写了每一句，其对检索与回复评分的影响未测；judge 分级一致性仅 0.545，所有分级分数都携带较弱的一致性；长史下 persona GT 被截断（prose 阶段只看前 14,000 字符）造成与历史长度的系统性混淆。严格读法下仅五个主体提供记忆承载探针，条件结论的外推强度有限。总体看，测量内部有效性的控制做得很好，但外部有效性与标注单一读者/模型依赖是明确的软肋。 Significance：对记忆增强系统评测的影响较大：它把“记忆是否被需要”从被构造假设变成被测量事实，并证明池化消融和人工问题都会高估记忆效应、检测器在真实消息上接近随机、帧定即可抬升记忆使用。这对后续基准设计（自然速率采样、配对消融、report both pooled/macro）和产品行为（过度检索的代价）有直接警示价值。对“理解人”的研究，persona 层与逐证据追溯提供了一种更可质疑的评估对象。局限是生态窄：结论来自单一伴侣产品与十名用户，且论文未提出任何改进系统，因此其影响是方法论与测量层面，而非能力提升层面；长期看其价值取决于他人能否在不同产品、语言与人群上复现“需求率低且偏远”这一核心测量。

作者在附录 I.5 自我声明的局限包括：十人、单一应用、四个月，非伴侣用户或一般人的样本；应用以特定方式框定关系，换产品的可迁移性未知；每句经匿名化重写，只保留“说了什么”而非“怎么说”，重写代价为 30 个聊天行，且其对检索与回复分数的影响未测量；时间戳按主体偏移，间隔精确但日历位置与星期无信息。标注层面：on-screen 判定由单一读者四遍完成，缺乏同意率；judge 与读者 κ=0.804（二元）/0.545（分级），所有分级分数都带较弱一致性；问题轨修复后仍有 3.8% [3.2, 4.6] 内容缺陷率。统计层面：命题 2 是方法性结论，96% 是该语料与该条件对的实例化；严格读法下仅五个主体有记忆承载探针，所有条件量都是五主体的宏观平均，不应被读作基于十人。作者未明说但可从文中识别的进一步局限：两重度用户（U09/U10）贡献 73% 消息，池化率几乎由其决定；persona GT 生成链的 prose 阶段只看前 14,000 字符、Big Five 等阶段只看前 11,000 字符，导致 U07–U10 的 GT 被系统性截断，persona F1 随史长下降主要是构造伪影；匿名化仅移除标识符而不能移除作者身份（风格测量可被语言模型以 98.0% 匹配），这既是隐私测量披露也是发布伦理负担；无机构伦理委员会参与，仅靠运营方内部委员会。

可推进的方向有几条。第一，跨产品与跨人群复现：把“自然需求率、距离分布、池化反转、检测器接近随机”这一组测量在多个伴侣/客服/医疗对话产品上重做，检验其是否为通用属性；第二，检测器与表面门控的负结果提示应转向更丰富的负例训练（真实“无需记忆”消息而非人工构造），或在检索前引入 calibrated abstention 与成本感知阈值；第三，帧定效应值得系统消融：把“标签措辞、排序方式、来源说明、置信度呈现”逐项分离，测量其对记忆调用与回复质量的因果影响，并检查是否只作用于低能力模型；第四，匿名化-评测耦合：量化“改写保义不保词”对 BM25/embedding 检索与 judge 评分的影响，并设计保义且对检索鲁棒的匿名化协议；第五，长史 GT 构造伪影需要修正，避免 persona 生成链的字符截断与历史长度混淆，改用分块合并或固定预算重读；第六，单一读者标注应扩为多标注者并报告同意率，问题轨内容缺陷率需进一步压低；第七，命题 2 的识别策略可用于设计新的纵向实验，主动改变 π（例如按周采样不同深度），从而识别 γ1 而不仅是观察其被稀释；第八，隐私上，风格重识别测量暗示发布对话文本需要更强的作者身份扰动，未来可探索生成式重写与差分隐私联合发布。

本文属于长程 agent 输出的测试时验证研究，切入点是"无更强裁判"的同模型设定：生成器与验证器共享同一模型与工具，验证时无参考答案与评分细则。与编码/数学可通过单测、执行或证明器获得直接反馈不同，通用长程工作区任务（报告、表格、多文件工件）缺乏等价的全量判定手段。本文把验证从"阅读候选答案并打分"重构为"对工件中的声明做环境证据核查"，并提出一对互补操作——分歧解析（disagreement resolver）与共识挑战（consensus challenger）。其学术定位介于三个方向之间：测试时扩展（重复采样、投票、自一致性）、LLM-as-judge 与 agentic verification，以及可复用技能/经验库的自我改进。贡献上是"原则—通用 harness—技能演化"三层结构，而非单一模型或单一基准。

长程 agent 日益产出报告、表格、补丁等工件，其正确性需要大量工作才能评估；近期工作区基准显示前沿模型也难以稳定产出可靠工件。验证比生成更难：编码与数学任务可用单测、可执行检查、形式证明器直接反馈，即便没有参考答案；通用复杂任务却很少能给整个输出提供同样直接的判定。例如核查一份报告需要追溯声明到来源、重算数值、跨文件解释需求。随着 agent 承担更多此类工作，验证必须与生成同步发展。 在无更强裁判的设定下，验证器可用的独特信息只有两类：一是候选 rollout（重复采样得到同一任务的多条轨迹，比较它们能暴露竞争声明与共同结论）；二是任务环境（源文件、数据、约束，可用来核查声明）。既有测试时验证大多只使用 rollout：多数投票/自一致性把最常出现的答案当正确，LLM-as-judge 通过阅读来打分。两者都依赖模型已有信念，而非环境能提供的证据。本文因此主张把验证带入环境：逐条声明对照工作区源数据与约束进行检验。 本文还承接了可复用技能库与经验库的研究，但将其用于验证技能的自我累积；并借鉴主动证据获取/期望信息增益的思想，把检查选择形式化为对候选区分或失败暴露的增益判断。整体背景是：在不训练模型、不引入更强模型的前提下，能否仅靠 rollout 结构与环境证据提升长程工件质量。

VeriHarness 不训练模型，而是给同一个模型 M 装一套验证 harness：Verifier=(M,H_V)，H_V=(W,T,Π,S)。四个组件各司其职：W 工作区把每份 rollout 的工件、最终工作区状态、动作轨迹挂载为文件；T 是证据工具（read/ls/find/grep/bash/write/edit，写操作限于输出目录）；Π 是协议，把工作分成 resolver、challenger、adjudication 与 delivery；S 是技能库，提供可复用的失败模式与核查程序。 【声明层级的形式化】任务 t=(s,E)，一次尝试产生 rollout r_i=(d_i,w_i,τ_i)。工件会提出"声明"：关于任务相关数值、解释或需求满足的断言。一个检查 χ 是在环境中执行的操作（读来源段落、重算总量、查看文件元数据），证据 e=E(χ) 是运行结果。证据获取是主动的：验证器从任务、候选池与已获证据中选择下一个检查。证据可以支持、反驳某个候选，或确立池中不存在的修正值；证据不足时声明保持未决。 【共识与分歧的度量】对公共问题 p，各工件给出的值为 v_{i,p}，候选集 V_p 上的经验分布与熵为 π_p(v)=1/N Σ 1[v_{i,p}=v]，H(π_p)=-Σ π_p(v) log π_p(v)。H=0 为共识声明，H>0 为分歧声明。关键直觉：熵只度量候选之间的变化，一致完全可能全体错误，因此共识同样需要挑战。 【分歧解析器】它定位分歧声明与候选值，并回溯其来源与计算，选择最能区分候选的检查。选择准则是对当前信念 b_p 的期望信息增益 Gain(χ)=E[H(b_p)-H(b_p(·|E(χ)))|e_{<k}]，但模型只是定性判断而非数值计算。执行检查得证据 e 后，剔除与 e 不一致的候选：V_p ← {v∈V_p : v 与 e 一致}。当证据能定案就关闭声明；当判断继续检查不太可能改变结果就停止；若证据反驳所有候选，只有在证据能确立新值时才记录新值，否则保持开放。所有结论写入证据记录 L_≠。 【共识挑战器】共识没有竞争值可供检验，因此需要先"提出共识如何可能出错"，再验证这些假设。检查优先级为 Priority(χ)=P(χ 暴露共识声明失败 | t,R,e_{<k})，同样定性判断。它检查三类共识声明：共识值（从原始输入重算数量、把标签与来源元数据比对，如货币单位检查）、共识解读（对照任务指定文件、来源声明的期间、工作簿携带的定义来检验共同解释）、共识遗漏（对照任务描述检查所有 rollout 都忽略的需求）。遗漏必须先被显式化为核查目标，因为它不出现在任何工件中。挑战共识需要"看似已定的工件如何失败"的先验，这正是技能库的作用，例如符号约定技能给出一致值之外可检验的具体性质。结论写入 L_=。 【裁决与交付】两项调查在分离上下文中运行，避免分歧声明抢占共识声明的注意力。全新上下文的同一模型审阅两份记录与任务、rollout，输出 (base, revision_plan, unresolved)=A(L_≠,L_=,t,R)，其中 base∈R∪{∅}。它按任务的实质性需求选择证据支持缺陷最少的 base，并按需求重要性加权；无可用起点时 base=∅。随后 r*=Apply(base, revision_plan, unresolved)，验证记录 C=(L_≠,L_=,base,revision_plan,unresolved)。空修订计划保持 base 不变；非空计划修订 base，base=∅ 时从证据重建；unresolved 中的声明在 C 中保持"未定"，工件格式允许时呈现两种读法。每条证据记录把声明、检查、证据、裁决连在一起，使修改可追溯。 【为什么同模型也能验证】附录 B 给出四点：多个 rollout 把竞争值与解释显式化，验证器可调查生成单次从未遇到的矛盾；面对已完成工件，可专注核查特定声明，且 resolver/challenger 分离为两类声明保留注意力；定向的来源查找或重算能揭示 rollout 遗漏的证据；人类/演化技能提示该检查什么，包括全体候选都遗漏的需求。其价值取决于能否找到信息量大的检查，共享盲点仍可能残留。 【技能库与自演化】技能是短文加可选脚本，描述可复用失败模式及核查程序，工具执行检查、技能决定"该查什么"。四类十八项：证据类（xlsx/pdf/docx/pptx/bundle/patch 的读取与脚本，如 xlsx_dump、pdf_tables）、解析类（answer/bundle/workbook/patch 的决定性证据与权威顺序）、挑战类（falsify-*，列出整池共同出错的方式）、修订类（repair-*，说明评分方式、未决处理、不可编辑项）。自演化实验固定模型、协议与通用工具，只改技能库：每个基准按约三比一分为开发集与留出集，共享工作区/模板的任务先分组再切分以防泄漏；每轮 proposer 读开发失败包（任务、rollout、证据记录、修订计划、grader 逐项判定），生成若干候选库，自动过滤任务标识、基准名、开发文件名与参考答案值；候选在开发集评估，最大非负配对增益替换当前库，留出分数每轮记录但从不用于选择。四条件为 A 空库、B 冻结人工库、C 从 A 演化、D 从 B 演化。

实验在五个长程工作区基准、两款前沿模型上进行，生成器与验证器为同一模型，所有方法共享同一冻结的多份 rollout 池。主比较覆盖多数投票、best-of-N 评分、成对锦标赛、LLM-as-a-Verifier、有环境访问但无协议与技能的 agentic verifier，以及选择 oracle 上界；修订比较还包含池聚合与 agentic verifier+revision。VeriHarness 在全部模型—基准组合中取得最高选择分，证据支撑的修订进一步带来一致增益。协议可迁移到现有 agent CLI。消融显示 resolver 与 challenger 互补，且分离上下文优于合并。技能自演化显示从空库学习可超过人工库，人工初始化则达到最高留出分。论文还释放了大规模 rollout 池。

1. 在全部十个模型-基准组合中，VeriHarness 的选择分数均超过所有基线；相较单次 rollout，Gemini 3.5 Flash 平均 +4.4 分、Claude Opus 4.8 平均 +4.1 分。

   VeriHarness outperforms all selection baselines across both models. Table 2 shows that it improves the single-rollout average by 4.4 points with Flash and 4.1 points with Opus, exceeds every baseline in all ten model–benchmark settings, and gains more than the cross-seed spread in every cell.

2. 证据支撑的修订进一步提升，较单次 rollout 的增益达到 Flash 6.2 分、Opus 6.4 分。

   Evidence-backed revision further improves average performance, yielding gains over a single rollout of 6.2 points with Flash and 6.4 with Opus (Table 2 ).

3. 拥有相同环境访问但无协议与技能的 agentic verifier 只回收约一半 harness 增益，说明环境访问本身并不足够。

   the agentic verifier with the same environment access but no protocol or skills recovers only about half of the harness's gain, so access alone is not sufficient.

4. 协议迁移到 Gemini CLI、Claude Code、Codex 后保留大部分选择增益：Flash 两个 CLI 在每个基准上与自实现相差两点以内；Opus 在 JobBench 退回单次 rollout 水平，Claude Code 在 SpreadsheetBench 2 亦然。

   Running the protocol inside Gemini CLI, Claude Code, or Codex instead of our own implementation preserves most of the selection improvement: with Flash, both CLIs match our implementation within two points on every benchmark, and with Opus the CLIs recover most of the gain on Workspace-Bench Lite and WorkBuddy Bench and about half of it on APEX-Agents, but fall back to the single-rollout level on JobBench, as does Claude Code on SpreadsheetBench 2.

5. 消融显示 resolver 与 challenger 互补：在 Opus 上 resolver 单独把五基准均值从 49.6 提升到 54.3，challenger 单独到 52.6，两者合用到 56.1。

   With Claude Opus 4.8 the resolver alone raises the five-benchmark average from 49.6 to 54.3 and the challenger alone to 52.6, and the two together reach 56.1, so their gains are complementary.

6. 把两项调查合并到同一上下文会损失 0.8 分，支持分离上下文的设计。

   Merging the two investigations into one context costs 0.8 points, which supports running them in separate contexts.

7. 选择增益主要来自有分歧的池：154 个共识池仅高出池均值 0.6 分，262 个分歧池高出 6.1 分。

   On the 154 consensus pools, where the ten rollouts give the same answer, the harness's selection scores only 0.6 points above the pool mean, while on the 262 disputed pools it scores 6.1 points above.

8. 挑战共识通常无害；其遗留的共同错误中约七成是因为只核对了正确中间结果、错误出现在后续步骤。

   in about 70% of them it checked an intermediate result that was correct, while the error sat in a later step.

9. 在 APEX-Agents 的十份 rollout 池上，34% 共识值被判错，74% 分歧声明含正确候选，而最频繁值仅在 47% 时正确。

   34% of consensus values are judged incorrect, while 74% of disputed claims contain a correct candidate and the most frequent value is correct in only 47% (Figure 2 ).

10. 从空技能库演化（C）在留出集上比 A 提升 APEX-Agents 11.0 分、SpreadsheetBench 2 5.7 分，并超过人工库 B。

    Relative to A, C improves the held-out score by 11.0 points on APEX-Agents and 5.7 points on SpreadsheetBench 2 (Figure 4 a). C also exceeds B on both benchmarks.

11. 以人工库为初始点演化（D）得到最高最终分，较 B 在 APEX-Agents 增加 6.8 分、SpreadsheetBench 2 增加 3.7 分。

    Evolving from B yields the highest final score on both benchmarks, adding 6.8 points on APEX-Agents and 3.7 points on SpreadsheetBench 2 over B.

12. 论文释放约 26,000 份 rollout，总成本超过 10 万美元。

    We release the full pool of approximately 26,000 rollouts across all five benchmarks and both models, produced at a cost of over $100,000, to support future research on agentic verification.

Novelty：新颖性中高。核心新颖点是把验证分解为"分歧解析 + 共识挑战"这对互补的声明级核查任务，并用证据记录贯穿选择与修订，这比多数投票和 LLM-as-judge 更进一步：它明确利用"分歧暴露正确备选"与"共识掩盖错误"两种信号，而不仅是最频繁答案。训练无关、跨基准/跨模型的 plug-and-play harness，以及从失败反馈演化技能库，都是相对新的组合。单看组件（投票、agent 工具、技能库、主动信息增益）并不新；贡献在于把信息增益/优先级以定性方式嵌入同一模型的 agent 循环，并用消融证明协议与技能（而非环境访问本身）是增益来源。同模型约束使贡献更干净：任何增益都来自 harness 与信息组织，而非更强模型。 Soundness：方法上较为扎实：冻结同一 rollout 池、所有基线同预算、三种子、原生 grader 与同轮评分控制漂移、选择与修订分离、CLI 移植与组件消融、演化实验的信息边界（留出分不回流选择）都做得比较严谨。主要薄弱处：式(3)(5)的信息增益与优先级只是"定性判断"而非实际计算，因此"最优检查选择"的机制更多是启发式而非可检验的优化；自演化实验留出样本较小、单次划分、候选基于开发分选择且允许留出回退，统计显著性不足；性能数字除标准差外未给出置信区间或显著性检验；同模型验证器与外部 grader 的对齐仍是黑箱。总体 soundness 中等偏上，但机制形式化与实际执行之间存在一定间隙。 Significance：实践意义明显：它回应了前沿部署中"没有更强裁判"的真实困境，给出无需训练、可移植的验证方案，并用证据记录支撑可追溯性。若结论稳健，对长程 agent 的测试时扩展、验证技能积累、以及用验证记录反哺生成器训练都有启示。但当前增益相对 selection oracle 仍有较大空间，且依赖任务环境可提供证据、技能库质量与多次 rollout 预算；在证据稀疏或工件无法逐声明核对的场景，推广性待检验。综合看，重要性中等偏高，属于方法性、工程性贡献多于理论突破。

论文自述的局限：验证依赖多份 rollout 池，报告结果使用每任务十份，成本高昂；harness 只交付工件与验证记录，不给出可校准的逐 rollout 标量分；限定同模型设定，更强验证器会混淆 harness 贡献与模型能力差；验证是多轮调查，增加墙钟时间。 编辑视角的补充：一是方法对"环境可提供证据"有强依赖，当证据稀疏、无法重算或工件难以声明化时，增益会退化；二是技能库是关键输入但需人工维护或演化，且自演化中的任务标识/答案过滤是否足以防止基准泄漏仍需更严格的验证；三是式(3)(5)的形式化与实际执行脱节，定性判断使检查选择难以复现与优化；四是演化实验为单次划分、留出集较小、无统计显著性，且以开发分选择候选会出现留出回退，泛化稳健性不足；五是外部 grader 本身是黑箱，同模型验证器的判断可能与其隐藏标准不一致，未量化这种错位；六是消融表与主表口径（是否含 revision）不同，读者需谨慎区分"选择"与"修订后"的增益来源。

最有价值的跟进是把验证记录 C 变成生成器的 claim-level 训练监督，用于强化学习或推理时扩展，并从中学习校准的 rollout 级奖励信号。方法层面，可将式(3)(5)真正数值化（估计或采样信息增益/失败概率），与定性判断对照，检验启发式是否接近最优检查策略。对"共识盲点"（约七成遗留错误是查对了中间结果、错在后续步骤），可教验证器沿工件依赖图向后核查，而不是停在 rollout 停下的位置。还可分离更强验证器与 harness 的贡献，研究跨模型、跨基准的技能迁移与目录化；对证据稀疏任务设计"假设生成—实验/反事实模拟"式验证。工程上值得做成本-质量帕累托与检查预算的 scaling 分析，以及 CLI 中协议执行受宿主 agent 上下文管理影响的机制研究。安全方面需强化技能自演化的过滤与泄漏审计，并验证验证记录作为训练数据时的数据污染风险。最后，在代码/数学等已有可执行反馈的领域，可测试 harness 与单测/证明信号的互补性。

本文提出 HelixWorld，把交互世界模型从纯视觉渲染推进到“视觉场景 + 相机对齐空间立体声”的原生联合生成。其定位核心有三点：一是主张世界模拟本质是多感官的，现有交互世界模型普遍静音，遗漏了表面材质、接触力与画外事件所携带的声学信息；二是强调空间声学必须随 6-DoF 相机自运动实时变化，级联配音与被动音视频生成都做不到这一点；三是把“空间声学一致性”确立为区分交互生成与被动生成的评估维度。方法上采取两阶段：先训练双向教师，注入连续相机位姿与离散动作，建立动作可控与空间声学保真；再通过在线轨迹蒸馏把教师压缩为少步因果学生，实现单卡实时流式。配套贡献包括真立体声加度量位姿的数据管线，以及首个交互音视频基准 HelixBench。相对已有工作，本文位于 EchoWM 等带音频世界模型之上，补足相机条件化空间声学与因果流式；相对级联 V2A，则避免相机外参盲区与串行延迟。

交互世界模型方面，近期工作已支持隐码、键盘动作、6-DoF 相机轨迹及混合输入，但绝大多数只输出视频，如 Alaya-EVOKE-Turbo、Zing-0.5、LingBot-World v2、HY-World 1.5、Lyra 2.0、SANA-WM、DreamX-World、Matrix-Game 3 与 LTX-2.3 等；EchoWM 虽引入音频，却缺少相机条件化的空间声学。音视频生成方面，级联系统用 V2A 为预渲染视频配音，但无相机外参或控制意图，且串行延迟阻碍实时交互；联合模型在共享 transformer 中协同去噪视频与音频 token，虽有跨模态同步，但被动、双向、固定长度，无控制接口与流式推理。因果蒸馏方面，把双向扩散转成因果流式已有 DMD、Self-Forcing、ODE 回归、长时流式微调等方案，但它们主要针对视频；直接搬到联合音视频会遇到分布匹配导致的模式坍缩、颜色退化与声学掉点。数据方面，现有世界模型数据大多静音，即使有音频也常被背景音乐、旁白、伪立体声污染，缺少真立体声与度量位姿。评测方面，WBench 只测动作条件视频动力学，音视频基准只测短静态片段的语义对应与起始同步，无法测“声源相对移动听者的方位”。数据、因果训练与评测这三重缺口，构成本文要解决的问题。

总体设计是两阶段流水线：第一阶段训练双向教师，在视频分支注入连续 6-DoF 相机位姿与离散动作，经跨模态注意力传到音频分支；第二阶段把教师蒸馏为少步因果学生，用块因果注意力与滑动 KV cache 实现流式，用在线轨迹蒸馏抑制自回归漂移，并用长时流式微调进一步稳定。 一、数据管线（四阶段，按计算成本排序） Stage 1 启发式过滤：容器校验要求分辨率至少 768×512、横向、帧率在 [23.9,121] fps 并归一为 24 fps、双声道立体声。真立体声验证用归一化 RMS 差 δ = ||L−R||²₂/(||L||²₂+||R||²₂)，δ<0.01 的“双单声道”上传被丢弃，再以相位相关剔除人工反相展宽。镜头切分用 PySceneDetect（4 fps 抽样、HSV 直方图差超 0.35 切分），短于 5 秒的碎片丢弃，平均镜头短于 2 秒的整体拒绝。静态判别用 MAD = median_{(x,y)}|I_{t+1}(x,y)−I_t(x,y)|（1 fps 灰度帧、8-bit 尺度），MAD<1.5 丢弃；用中位数而非均值可避免水印/字幕等局部扰动误判，同时保留“固定相机、画面内有物理运动”的素材。 Stage 2 标准化：统一为 121 帧@24 fps（5.04 秒）、768×512、双声道 48 kHz（每片 241,920 样本）；前向后向无缝切片，音视频单次 ffmpeg 同步切分，保证时间对齐。 Stage 3 语义过滤：用 Qwen3-Omni-30B 在约束语法下同时评估视频与音频，仅保留“真实 3D 物理环境并发生动态演化”且“自然叙事声”的片段；声学判断按物理成因而非可见性（保留离屏雷声、路过车辆等），剔除背景音乐、旁白与合成音效；若同一上传连续 10 个片段被判非叙事声，则提前终止该上传以省算力。 Stage 4 相机与字幕：游戏片段用引擎真值位姿；真实/开源片段用 VGGT-Omega 估计位姿、Depth Anything V3 恢复度量尺度（极端透视回退 Metric3D-v2）。尺度恢复按像素比 r_t(u,v)=D^metric_t(u,v)/D̃_t(u,v)，在排除天空与高光的置信掩码上取全局中位数 s=median(r_t)，再令 t_t=s·t̃_t。滑窗重叠 12 帧做 SE(3) 配准，用 RMS_stitch 控制跨窗连续性；运动学门槛为均速 v̄∈[0,40) m/s、瞬时速度≤50 m/s、线性加速度≤20 m/s²、拼接误差≤0.05 m，但不设最小运动门槛以保留静止机位与原地旋转。相邻帧相对运动被量化为 81 类动作（9×9：平移 (x,z) 与 yaw/pitch 各 9 档）。字幕分三轨独立前向生成：V（纯视觉，禁止把视点变化写进文本）、A（纯声学、单声道降混、禁止左右方向词）、AV（把可听事件绑定到可见屏幕声源并跟踪进出画面的音量变化）。 二、双向教师训练 相机条件用 PRoPE：把视觉注意力的 query/key 按各自相机投影矩阵变换，P_t = diag(K_{f,t},1) W_t ∈ R^{4×4}；内参归一化到潜空间网格，外参相对首帧（首帧为单位阵），focal-only 保留焦距而忽略主点；无效/缺失相机 token 与音频 token 使用单位变换。相机分支共享基础注意力 Q/K/V 投影，经零初始化输出投影注入。直觉是相对位姿定义了帧间图像坐标的投影关系，PRoPE 让注意力几何感知自运动。 动作条件：每视频潜帧一个 81 类动作索引，经 256 维正弦特征 + Linear–SiLU–Linear MLP（零初始化输出）编码后，加到扩散噪声水平嵌入上，即 h_cond,t = Emb_σ(σ) + MLP(φ(a_t))，再经 AdaLN-Zero 调制主干。零初始化保证初始不破坏预训练表示。两类控制都进入视频分支，再经跨模态注意力传给音频。 渐进训练分三步防止表示崩溃：先冻结主干只训控制模块（动作 MLP 与 PRoPE 投影），再解冻视频分支，最后解冻全音视频主干做联合 flow matching，L_FM = L_FM^V + λ_A L_FM^A。 三、因果初始化 时间块结构：短窗含 16 个视频潜帧与 127 个音频 token；视频 4 块×4 帧，音频按时间戳分为 27/33/33/34 token；首帧作为条件图占据第一块第一潜，在噪声零参与联合注意力，每次去噪/重噪后恢复且不计入生成损失；其余 15 个视频潜帧与全部音频 token 生成。块内双向、块间因果，历史潜与已提交 KV 分离，梯度只保留在当前块。 教师强制：用干净真值历史把双向模型适配为块因果注意力，联合 flow matching；长源打包“首块 + 后续连续三块”并监督最后目标块。 ODE 初始化：让学生单步预测回归到因果教师 PF-ODE 端点，L_init(θ) = E ‖x̂_0^θ(x_σ,σ,c) − x̂_0^teacher(x_σ,c)‖²₂；教师用 50 步稠密求解、CFG 3、无 STG；输入状态取学生四个非零 knot {1.0,0.9,0.7,0.4}；图像条件初始化用首帧，优化联合视频/音频端点 MSE，恒定 lr 2×10⁻⁶。这一步给学生一个接近教师确定性轨迹的稳定起点。 四、Self-forcing 与在线轨迹蒸馏 标准 self-forcing 用 DMD：学生自回归展开各块并写入自己的 KV cache；冻结真实分数教师与可学习假分数模型，用二者分数差更新学生。问题在于分布匹配降低样本多样性并造成长 rollout 漂移。本文提出 L_traj：在第 k 步（噪声 σ_k、联合状态 x_k=(x_k^V,x_k^A)），把冻结教师 PF-ODE 从当前状态积到 σ=0 得端点 x̃_0，再监督学生速度 v_θ 对隐含教师流： L_traj(θ) = Σ_{m∈{V,A}} λ_m ‖v_θ^m(x_k,σ_k) − sg((x_k^m − x̃_0^m)/σ_k)‖²₂。 其中 sg(·) 为 stop-gradient，梯度只在第 k 步评估，历史 KV 与 rollout 步全部分离。其直觉不是惩罚学生样本与教师样本的分布距离，而是惩罚学生当前速度与教师 PF-ODE 速度的偏差，使学生沿教师概率流前进，从而在保持多样性的同时抑制漂移。 概率路由避免梯度冲突：每次更新以概率 p 采样 L_traj（附录中 p=0.1），否则按“5 次假分数更新 + 1 次 DMD 生成器更新”执行；轨迹事件中四个块共享一个学生去噪索引，教师从对应噪声态积到端点，每个学生区间 8 步（全程 32 步）。DMD 分数评估先把原始水平 u 偏移为 σ = γu/(1+(γ−1)u)、γ=3，生成器分数查询 u~U(0.02,0.98)，假分数训练 u~U(0,1)，σ 由视频与音频共享。 长时流式微调：学生逐段展开约一分钟同步音视频，DMD 损失只监督最新窗口，早期潜与 KV 分离；滑动 KV cache 保留 sink 帧为锚并驱逐远期历史。推理采用有界历史：固定首块 + 最近两已完成块 + 当前目标块（最多四块），键在 RoPE 前缓存，视频/音频位置共享紧凑本地时间线；重建评估从选定干净生成潜重算历史 KV。推理为四步随机去噪、CFG 1、STG 0。 优化细节：生成器/假分数用 LoRA rank 256、alpha 256、dropout 0；AdamW β1=0.9、β2=0.999；lr 10⁻⁵ 恒定；梯度裁剪 1.0；BF16 加梯度检查点；全局 batch 48（每 GPU 1 样本、无累积）；6 节点×8 H200；教师 CFG 视频 4/音频 2；教师 STG scale 1、block 29；学生推理 CFG/STG 1/0。 五、HelixBench 与空间一致性度量 基准含 1,015 个人工验证案例，六个场景域、四个子集（Navigation/Perspective/Event/Subject），每例提供立体声参考、首帧、音视频提示与连续相机位姿；DeSync 只适用 Event 子集，Spatial 适用 Perspective 子集。音频质量用 PaSST 的 527 类 logits 软最大化后的 KL（参考到生成方向，N=1,015，取前 5 秒）与 VGGish 嵌入上的 FAD（每片 5 个 128 维窗、共 5,075 嵌入）。对齐用 DeSync（Synchformer 预测首末 4.8 秒窗音画偏移的绝对值均值）、ImageBind（视频/音频单位向量余弦）与 CLAP（生成音频与 AV 提示文本余弦）。空间三分区分数：视觉定位用 Grounding DINO 10 Hz 检测（只用视觉证据选目标），水平中心 d_t=2x_t/W−1；音频方向用左右声道能量在 100 ms 窗/50 ms 跳上计算 pan p_t=(E_R−E_L)/(E_R+E_L) 并插值到视觉采样时刻；三分区阈值 τ_v=0.2、τ_a=0.1（视觉中心占 40–60% 画面宽，音频边界能量比≈1.222、约 0.87 dB）。视觉侧向样本中同侧 +1、居中 0、对侧 −1，视觉中心排除；有效样本平均乘 100，片内平均再跨片平均，范围 [−100,100]；片段须含至少四个连续有效 10 Hz 样本。该指标用“声源在画面中的水平位置”与“立体声能量偏置”的一致性，直接量化声场是否随相机自运动旋转，填补了只测“什么声音、何时”而无法测“声音从哪来”的空白。

主实验在 WBench 导航子集与 HelixBench 上对比静音世界模型、EchoWM 与级联 V2A 配音基线。结果表明 HelixWorld 在视觉保真与控制响应上与先进静音模型相当或更优，同时在音频保真、音画同步、语义对齐与空间一致性上明显超过 EchoWM 与事后配音；因果学生在多数音频指标上甚至优于双向教师，说明蒸馏未牺牲音频。效率上达到实时交互。消融验证了渐进条件注入、三轨字幕、在线轨迹蒸馏与长时流式微调各自的作用，且轨迹蒸馏在提升一致性与物理合理性的同时提高特征多样性。用户研究显示带音频时 HelixWorld 全面占优，静音时也具竞争力。整体实验覆盖较全，但主基准为一手构建，需第三方复现与外部效度验证。

1. 主基准中，HelixWorld 以带音频形式达到较低 RTF 与较高平均分，交互、一致性与物理合理性与先进静音模型相当或更优。

   HelixWorld (ours) | ✓ | 0.77 | 79.9 | 79.2 | 76.5 | 86.4 | 86.4 | 70.9

2. 在 HelixBench 音频指标上，因果学生在 KL、FAD、ImageBind、CLAP 与空间一致性上优于双向教师。

   HelixWorld (causal student) | 1.3934 | 2.3872 | 0.5867 | 0.2987 | 0.3016 | 41.7583

3. 单张 NVIDIA H800 上以 768×512、24 fps 达到稳态 RTF 低于 1，实现实时交互。

   On a single NVIDIA H800 GPU, HelixWorld achieves a steady-state RTF of 0.77 at 768 × 512 768{\times}512 and 24 fps, including video and audio decoding.

4. 渐进条件注入相比全量微调降低旋转与平移误差。

   Full fine-tuning | 0.1237 | 0.0957 Progressive fine-tuning | 0.1144 | 0.0823

5. 三轨字幕（V+A+AV）在跨提示格式评测中取得最高 ImageBind 相似度。

   Train \ \backslash Infer | V | V + + A | V + + A + + AV V | 0.2372 | 0.2346 | 0.2314 V + + A | 0.2366 | 0.2315 | 0.2419 V + + A + + AV | 0.2316 | 0.2323 | 0.2462

6. 在线轨迹蒸馏与长时流式微调可叠加，二者结合取得最佳平均分。

   ✗ | ✗ | 77.9 | 77.0 | 75.3 | 85.0 | 85.3 | 66.9 ✓ | ✗ | 78.7 | 77.8 | 74.1 | 86.1 | 86.6 | 68.9 ✗ | ✓ | 78.4 | 79.0 | 77.5 | 86.5 | 83.7 | 65.1 ✓ | ✓ | 79.1 | 79.3 | 77.1 | 86.8 | 84.6 | 67.7

7. 在线轨迹蒸馏在 DMD 之上提升 DINOv3 与 CLIP 特征多样性。

   Self-forcing with online trajectory distillation loss increases DINOv3 diversity by 21.7 % 21.7\% and CLIP diversity by 13.5 % 13.5\% over DMD-only self-forcing (Table 8 ).

8. 数据管线从原始素材中筛出可训练语料，产量约七成多。

   Through successive screening and pose verification, 3.0k hours (amounting to 2.1M synchronized clips) survive to form the final trainable corpus, achieving an overall yield of 73.1% (Table 2.2 ).

9. 用户研究中带音频时 HelixWorld 对所有基线均获多数票；静音时仅落后 EchoWM。

   With audio, HelixWorld is preferred over all baselines by a clear margin, winning the majority of votes in every matchup. In muted evaluations, it outperforms Alaya, HY-WorldPlay, and SANA, ties with LingBot v2, and trails only EchoWM.

10. 级联 V2A 配音基线在空间得分上出现负值，无法捕获声源位置。

    HelixWorld + AudioX | 2.0190 | 3.9166 | 1.1764 | 0.2569 | 0.3094 | − 5.7392 -5.7392 HelixWorld + ThinkSound | 2.2335 | 6.1876 | 0.4236 | 0.2079 | 0.2888 | 14.8467 HelixWorld + PrismAudio | 2.2427 | 6.3873 | 0.4582 | 0.2152 | 0.2716 | − 9.5072 -9.5072

11. 在姿态估计基准上，VGGT-Omega 旋转误差最低，且运行时间远低于 ViPE。

    VGGT-Omega [ 42 ] | 1.001 | 0.768 | 0.234 | 16.09

12. HelixBench 含一千余人工验证案例，覆盖六个场景域与四个子集。

    HelixBench comprises 1,015 1{,}015 human-verified test clips across six scene domains and four subsets: Navigation, Perspective, Event, and Subject.

Novelty：主要新颖点在于：首次把相机对齐空间立体声与视觉原生耦合进实时交互世界模型；在线轨迹蒸馏损失将视频域的自强迫/DMD 稳定化技术扩展到联合音视频，用 PF-ODE 速度监督兼顾稳定性与多样性；形式化空间声学一致性并建立 HelixBench，填补交互音视频评测空白；粗到细的数据管线提供真立体声检测、度量位姿恢复与三轨字幕。但组成部件多为既有方法：PRoPE 相机条件、AdaLN-Zero 动作条件、DMD、Self-Forcing、长时流式微调均来自前作，本文创新更多是系统集成与针对音视频的适配。轨迹蒸馏是较明确的方法贡献，但本质上可视为 ODE 回归/速度蒸馏的在线变体。综合 novelty 中等偏上：问题设定与评测维度新，单点方法增量。 Soundness：方法描述与附录超参充分，消融覆盖关键设计，效率与用户研究补充了实用性证据，数据管线有明确门槛与隐私处理。但存在明显瑕疵：文中图表编号不一致（正文多处引用 Figure 8/Table 8，而实际图注出现 Figure 5，且有两个 Table 8 分别表示消融与多样性），需修正；主结果依赖自建 HelixBench，缺少第三方音频基准；空间分数只用左右声道能量偏置，不测距离、高度或双耳线索，且依赖 Grounding DINO 检测质量；级联 V2A 基线本无相机输入，比较能说明局限但公平性可议；用户研究未披露人数与显著性；静音模型与音频模型的可比口径也需要更清楚说明。整体 soundness 中等：内部一致性与可复现性较好，但外部效度与部分指标严谨性存疑。 Significance：若结果可靠，意义较大：为交互世界模型补上听觉维度，给出可实时部署的联合生成路径，并建立数据与评测基础设施；可能推动游戏、具身智能与虚拟现实中的沉浸式模拟。空间声学一致性这一维度也有潜力成为交互音视频生成的标准评测项。但当前音频世界模型仍处早期，社区规模有限；一手基准与未明确开放的权重会限制即时影响。长期看，其影响取决于后续第三方复现、数据与代码开放程度，以及空间声学指标能否被更广泛采用。

其一，评测的外部效度有限：主音频结果依赖自建 HelixBench，其选择与过滤标准可能引入分布偏好，缺少第三方独立基准的交叉验证。其二，空间声学只建模水平左右 panning，未覆盖双耳 HRTF、距离衰减随深度变化、高度与房间混响等更完整的空间线索；空间分数也仅依赖左右声道能量差，未做声源分离，多声源场景被排除。其三，度量尺度恢复依赖单目深度估计与中位数尺度，对透视极端场景或尺度不一致内容可能失效；伪立体声检测的门槛与 MLLM 语义过滤也会引入系统性偏差。其四，级联 V2A 基线本无相机输入，比较虽能说明事后配音的不足，但不构成对“带位姿条件 V2A”的完整对照；用户研究缺少样本量与统计显著性细节。其五，实时性仅在 768×512、单张 H800 上报告，长时 rollout 的漂移抑制虽有消融，但推理历史被限制为最多四个块，超长序列下是否持续稳定仍需验证。其六，图表编号不一致、两个 Table 8 重号等问题削弱可读性与严谨性；数据来源虽声明隐私处理，但版权与授权细节披露不足。最后，音频质量指标取前 5 秒，可能低估长时段的声学退化。

后续可沿几条线推进。第一，评测迁移：把 HelixWorld 在第三方音视频基准与更真实的双耳/空间音频数据集上复测，并开放 HelixBench 的完整协议，检验空间分数的外部一致性。第二，空间声学升级：从左右 panning 扩展到 HRTF/双耳渲染、距离与高度线索、混响与遮挡，探索用物理声学模拟或神经声场提供监督。第三，方法泛化：验证在线轨迹蒸馏在其他音视频骨干上的迁移性，并与一致性模型、对抗蒸馏、直接少步 PF-ODE 求解等替代方案对比；进一步解耦相机轨迹与离散动作对声学的影响。第四，长时稳定性：在更长 rollout 上系统测量视觉漂移与声学掉点，研究可扩展的记忆机制或外部状态锚定。第五，系统与效率：降低到边缘设备或更低分辨率/帧率，报告端到端延迟的完整分解，评估缓存重建策略的开销。第六，数据与伦理：公开或部分公开数据管线产物，补充版权与授权说明，研究伪立体声检测与 MLLM 过滤的稳健性。第七，用户体验：开展更大规模、带空间音频耳机的人类感知实验，把空间声学一致性主观评分与客观指标对齐。第八，下游应用：将模型接入具身智能、游戏引擎或 VR 交互，检验控制-感知闭环中的空间声学收益。

Large language models rely heavily on human text, which often conveys surface answers rather than the spatial and structural logic behind them. Protein folding is a natural testbed, because one solved structure yields thousands of exactly checkable spatial and topological statements. We ask: can learning to fold proteins teach general models reusable reasoning capabilities? To answer this, we build FoldingCorpus, a protein-derived question-answer dataset, and Fold2Reason, a recipe that post-trains on it through two complementary signals: discrete structural answers predicted via the model's native language head, and continuous 3D geometry decoded from the same shared representations. On FoldBench, Fold2Reason achieves structure prediction scores 2.7 to 3.5 times those of Qwen3.5-9B. Beyond protein structure prediction, it improves performance on all 10 benchmarks spanning spatial, graph, scientific, and general reasoning, raising macro-average accuracy from 45.09% to 48.33% (+3.23 pp),

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文是一篇基准与评测论文，提出 SimuVerity：面向工程级 Simulink 模型生成的 101 任务、十领域、原生仿真基准。论文的核心立场是：既有 Simulink 基准主要看“能否交付、能否编译/执行、是否像参考模型”，这不足以判断模型是否满足工程需求。SimuVerity 用可执行系统画像与四类任务专属仿真场景把需求转成可执行测试，再用“前置门 + 六维评分”做层次化、多维诊断，并据此评测六种智能体系统。其定位介于 Simulink 工具链评测、智能体代码生成评测与模型驱动工程之间，目标是提供系统性、可诊断的工程能力评估，而非只给一个总分。

Simulink 广泛用于工业系统建模、动态分析、控制设计与验证。近期大语言模型智能体已能把自然语言需求翻译为可执行 .slx 模型、运行仿真并迭代修改，因此“模型是否真正满足工程需求”成为评测关键。既有工作大致分两类：一类只看工件交付与技术执行，例如 SLGPT、SimuGen；另一类强调与参考系统的结构或功能相似，例如 SimuBench。问题在于，前者只证明模型存在且能跑，后者把单一参考实现当成标准，可能漏掉结构不同但有效的实现，也可能给“结构像但工程性能差”的模型高分。ASWE-Bench 虽引入需求级测试，但局限于汽车软件逻辑与控制函数。与 VerilogEval、RTLLM、ModiGen 等可执行工件基准相比，SimuVerity 的差别在于用原生 MATLAB/Simulink 仿真、可执行系统画像和 A/Q/M/C/R/D 六维评分来判定跨领域工程符合性。论文的三个主要贡献是：基准策展、层次化多维评估框架、以及六智能体的经验发现。

SimuVerity 的机制可分为任务定义、数据策展、场景设计、分层多维评估、专家校验五部分。它不是训练模型，而是建立“参考系统—可执行画像—提示—场景—评分器”的数据与评测闭环。 任务定义：把文本到可执行 Simulink 模型生成定义为 build-to-specification。输入是自然语言工程规范，规定系统、接口、运行条件、功能目标、机制与动力学；系统必须交付完整原生 .slx。块选择、图布局、子系统层级均不受限制，以容纳多样有效实现。 数据策展：参考系统来自公开示例、工程项目、论文附带研究工件和专家构建模型。入选后要重建为可复现评测目标：解决依赖和兼容问题、暴露控制与观测所需信号、接入可重复工况和任务专属评价器。随后，专家在统一协议下检查并执行参考系统，形成“可执行系统画像”，捕获系统边界、接口、机制、控制关系、运行工况与动态行为。基于画像，专家按统一提示框架写每条任务提示，覆盖被建模系统、交付物、输入输出接口、运行范围、功能目标、必要机制、控制关系和动态行为；提示再与画像做一致性与 Simulink 可实现性检查。质量控制包括来源追踪、同源去重与近重复筛选；测试条件、场景组合、阈值与评分逻辑在生成阶段对智能体隐藏，以减少检索与记忆捷径。任务只有在参考系统通过原生加载、图更新、编译和仿真后才进入正式基准。 场景设计：每条任务的工程需求被翻译成可执行测试套件。每个场景规定要控制的条件、要观测的外部/内部信号、要计算的工程量以及解释判据。四类场景互补：运行包络场景测标称、边界、参数/负载变化和外部扰动；交互与故障场景测联合输入、复合工况、故障注入和正常—故障切换；时序过程场景测启动、暂态、稳定、事件顺序、故障发生/清除与恢复；机制与因果检查场景测物理通路、功能机制、反馈环、控制关系与信号来源是否真实活跃且正确。候选模型在原生 MATLAB/Simulink 中加载、更新、编译、仿真，其执行状态、轨迹、工程量和机制检查结果成为后续评分证据。 分层多维评估：先过三门前置。r_t^del 检查是否交付 .slx；r_t^exe 检查是否完成原生加载、图更新、编译和仿真；r_t^G 是工程合格门，只对已交付且可原生执行的候选判 pass/fail，按任务检查必需功能角色是否存在、必需信号路径是否连通、候选是否按输出契约在正式场景中产生有效评估证据。只有通过 G 门才进入六维评分。 六维为 A（目标精度）、Q（输出质量）、M（机制保真度）、C（控制与因果完整性）、R（运行域鲁棒性）、D（动态响应与恢复）。证据映射 R_t ⊆ S_t × K_t × P 把“场景 s 下观测到的工程量 k”关联到维度 d，是多对多关系：一个场景可支撑多个维度，一个维度可聚合多个场景的证据。每个观测量 z 经任务特定函数归一化为效用 u_{t,s,k}=φ_{t,s,k}(z)∈[0,1]，再按 v_t^d=Agg_{t,d}({u_{t,s,k} | (s,k,d)∈R_t}) 聚合为 0–100 的维度分。 总分采用门槛乘加权几何平均：S_t(x)=Γ_t(r_t^del,r_t^exe,r_t^G)·H_t(v_t)，H_t(v_t)=∏_{d∈P_t}(v_t^d)^{w_{t,d}}，权重和 ∑w_{t,d}=1，P_t 为任务适用维度集。几何平均使所有适用维度都影响总分，一个维度高分不能完全补偿另一维度严重失败；必要时采用最坏条件或瓶颈敏感聚合，防止关键失败被简单条件上的高分掩盖。评价器还返回前置结果、六维分、总分以及造成失败的具体场景与量。 以 XAUTO-07 电动桥驱动为例，五个场景分别关联 D、M/C、C/D、A/Q、R；专家权重为 A 0.25、Q 0.10、M 0.25、C 0.20、R 0.10、D 0.10；某候选通过三门前置后按未取整维度分聚合得 88.03，直观展示弱项 M、C 如何通过几何加权限制总分。参考系统本身也按同一流程评测作为对照。 专家校验：两位领域专家独立对 30 个 Opus 4.8 Run 1 候选按五点评分，看不到评价器分数；用加权 Cohen κ 衡量评分者一致性，用 Spearman 相关比较评价器排名与专家均值排名，验证评价器分数是否反映工程判断。

实验在统一任务、工作区、MATLAB/Simulink 环境与冻结评分器下评测六种智能体系统，每个任务-系统对运行三次并取均值。结果分四层：总体分数与三门前置；A/Q/M/C/R/D 端到端与后 G 性能；结构相似性与工程性能关系；布局质量与工具消融。总体发现：最佳系统仍远未达到工程级要求；交付率和可执行率明显高于工程合格率；六维中输出质量相对最高，运行域鲁棒性与动态恢复最低；结构相似性不能可靠排序工程性能，既有结构不同的高分模型，也有参考对齐但零分模型；高工程分模型仍可出现严重布局混乱；去掉仿真反馈或移除 MCP 工具都会使成绩显著恶化，说明原生仿真闭环对可靠生成至关重要。统计上采用任务级 bootstrap 置信区间与配对 Wilcoxon 检验，并对聚合规则做了敏感性分析。

1. 六个智能体系统中最佳者总分仅42.86，其余依次为41.72、28.40、25.01、4.98、1.60。

   Claude Opus 4.8, GPT-5.5, DeepSeek-V4-Pro, Qwen3.8-Max, GLM-5.3-Flash, and Qwen3.8-27B-FP8 obtain overall scores of 42.86, 41.72, 28.40, 25.01, 4.98, and 1.60, respectively.

2. 最高分系统的交付率、原生可执行率、工程合格率分别为94.72%、86.47%、76.90%。

   Its artifact-delivery, executability, and engineering-qualification rates are 94.72%, 86.47%, and 76.90%, respectively.

3. 全部任务-系统运行的平均交付、可执行、G通过率分别为84.43%、68.65%、47.85%，浅层成功不等于合格工程实现。

   Across all task–system runs, artifact delivery, native executability, and G-pass rates are 84.43%, 68.65%, and 47.85%, respectively.

4. 六个系统平均的端到端六维分中输出质量Q最高，运行域鲁棒性R与动态恢复D最低，A/Q/M/C/R/D分别为29.03、38.46、31.99、29.21、27.69、27.82。

   Averaged equally across the six systems, end-to-end A/Q/M/C/R/D scores are 29.03, 38.46, 31.99, 29.21, 27.69, and 27.82, respectively.

5. 结构相似性分析把95个正式交付候选分为39、43、13三组，其中58.95%为部分相似或结构不同。

   The groups contain 39, 43, and 13 candidates, respectively; 56/95 (58.95%) are Partially Similar or Structurally Distinct.

6. 参考对齐、部分相似、结构不同三组的端到端均值为52.13、44.05、42.37，后G均值为59.80、52.61、61.20，参考结构接近度不能可靠排序工程性能。

   Their end-to-end means are 52.13, 44.05, and 42.37, while their post-G means are 59.80, 52.61, and 61.20 for Reference-Aligned, Partially Similar, and Structurally Distinct models, respectively.

7. 在工程分至少70的31个候选中，专家判定8个存在严重布局混乱。

   Among the 31 candidates with engineering scores of at least 70, the experts identified several cases with substantial block overlap, difficult-to-trace signal routes, or poorly organized functional regions; eight were judged severely disordered.

8. 布局重组使这8个案例的块重叠全部归零、线交叉密度下降22.7–85.1%，并在7个案例中降低绕行比。

   Across the eight cases, reorganization reduced block overlap to zero in every model, reduced line-crossing density by 22.7–85.1%, and reduced routing-detour ratio in seven cases.

9. 关闭仿真反馈后，交付、可执行、工程合格率从100.00%降到53.33%、33.33%、13.33%，总分从78.46降到7.88，全部10个任务下降。

   Full MCP versus No-Simulation MCP: artifact delivery, native executability, and engineering qualification fall from 100.00% to 53.33%, 33.33%, and 13.33%, respectively, and the overall score falls from 78.46 to 7.88; unable to verify its outputs through simulation feedback, the agent scores lower on all ten tasks.

10. 仅批处理（移除MCP工具集）时总分降至18.23，前置门为60.00%、50.00%、40.00%，10个任务中8个下降。

    Full MCP versus Batch-only: removing MCP lowers the overall score to 18.23, with prerequisite pass rates of 60.00%, 50.00%, and 40.00%, and 8 of 10 tasks score lower.

Novelty：新颖性中等偏高。相比 SimuBench 的“完整性 + 可执行 + 参考相似”，SimuVerity 的关键增量是把工程需求显式转化为四类原生仿真场景，并以“前置门 + 六维性能”形成可诊断的层次化评测；这不是简单增加指标，而是把评估对象从“模型像不像参考”改为“模型是否在指定运行域内满足多维工程约束”。结构相似性分析（参考对齐却零分、结构不同却高分）和布局质量诊断也提供了新证据。不过，需求级测试、可执行工件评测、多维评分在 ASWE-Bench、VerilogEval、RTLLM 等工作中已有先例；SimuVerity 的新意主要在于跨十域的 Simulink 原生仿真落地与系统化诊断框架，而非提出全新评测范式。 Soundness：方法整体较扎实，但有若干可质疑处。优点：任务定义清楚，质量门与评分分离；参考系统须通过原生加载、图更新、编译、仿真才入集；评分逻辑与测试条件对智能体隐藏；执行环境隔离示例目录、参考模型和评分脚本；每个任务-系统对跑三次，采用 bootstrap 置信区间和配对 Wilcoxon 检验，并做聚合规则敏感性分析；专家验证显示评分器与专家判断高度一致。潜在问题：专家验证只有30个样本且全部来自 Opus 4.8 Run 1，覆盖面有限；五点评分较粗，且“合格门”与六维之间的边界依赖专家主观设计；A/Q/M/C/R/D 存在概念重叠和相关性，几何加权中的任务级权重也由专家主观给定；六种智能体与推理/上下文设置不同，系统间差异可能来自工具或推理预算，而不只是模型能力；领域任务每类仅9–11个，跨域结论的统计功效有限。综合看，作为基准的构造和报告规范，soundness 可评为中上。 Significance：对 Simulink/模型驱动工程与智能体评测社区有实际意义。它把一个工业上重要但常被简化的问题——“能生成能跑的模型”不等于“生成满足工程需求的模型”——做成了可复现、可诊断的基准，尤其适合研究带原生工具反馈的闭环智能体。低总分与消融结果说明当前智能体离工程级自主建模仍有很大距离，为后续方法提供了明确靶点。局限在于依赖商业 MATLAB/Simulink、原生仿真较慢，且 Simulink 生成比通用代码生成更窄，因此外部效度和社区扩散可能受限；但其对需求级证据、结构多样性、可读性质量的同时关注，对可执行工件评测有借鉴价值。

论文自身承认：基准依赖 MATLAB/Simulink，基于原生仿真的评估可能较慢，未来需优化效率与可扩展性。进一步局限包括：任务规模为101个、每领域仅9–11个，统计结论的领域粒度较粗；专家校验仅30个候选、来自单一智能体系统的单次运行，未覆盖其他系统和失败模式；G 门、维度权重与场景判据由专家按任务设计，存在主观性，跨基准复现需要大量工程人力；六维之间存在相关性，几何加权虽能抑制短板，但不能消除指标冗余；布局分析只看高分候选和顶层块，指标（重叠、绕行、交叉密度）不能完整代表可读性；消融只在10个选定的强任务上进行，且 Batch-only 条件改变了工具接口而非仅移除仿真反馈；没有人类工程师基线，无法判断42.86的相对意义；虽有资源隔离与去重，仍无法完全排除公开示例带来的记忆污染；此外，未报告智能体生成过程的成本、时间或 token 开销，限制了实际部署价值的判断。

后续可沿几个方向展开。一是扩大与自动化基准构建：增加领域和任务数，自动或半自动地从参考系统生成画像、场景与评分器，降低专家标注成本。二是提升评测效率与开放性：缓存或并行化原生仿真，探索 Simulink 兼容的开源运行路径，使基准更易复现。三是把布局可读性纳入正式维度或作为辅助门，与工程性能联合优化，而不是事后人工诊断。四是增加人类基线：采集工程师完成同类任务的耗时、成本与得分，给智能体成绩提供校准。五是把 SimuVerity 用作训练/推理反馈：利用四类场景和失败诊断构造密集奖励，训练闭环建模智能体，并研究仿真反馈的采样效率。六是加强防污染与泛化测试：动态生成任务参数、变化接口与运行域，测试智能体是否真正理解机制而非记忆模板。七是细粒度归因：把失败分解到块选择、连线、参数、求解器配置、控制律或动力学建模等环节，形成可操作的修复建议。

本文将科学系统视为研究者、机构、资助方、合作网络与文献共同演化的纵向生态，提出并实现 Suto（Science Utopia）——一个以 LLM 智能体为核心的持久化闭环学术生态系统模拟框架。论文的核心定位不是提出新的单点 AI 工具，而是构造一个可配置、可反事实干预的“科学之科学”试验台：把选题、合作、投稿、同行评审、拒稿重投、引用、资助与研究者流失放进同一循环，并用真实文献语料（SciEvo）锚定科学内容。作者据此回答三类问题：发表与资助规则如何塑造长期生态、个体探索策略如何影响职业与科学多样性、累积优势与偏见在何种条件下出现。其卖点在于规模（大量模拟世界与评审记录）与匹配反事实设计，试图为 AI 时代的科研治理提供因果推演基础设施。

研究背景可从两条线理解。其一，AI 正进入科研全流程：LLM 参与研究构思、实验、写作与同行评审；这些微观决策通过发表、引用、资助与人员流动汇聚成宏观科学格局，并反馈回后续决策。现实学术系统中很难做受控制度干预，反事实结果不可观测，因此需要闭环、纵向的模拟视角。其二，科学学已有若干可复用的概念与测量：探索-利用权衡（探索倾向与探索距离两个维度）、颠覆性与巩固性贡献（CD 指数）、资助断点附近的准实验比较（回归不连续）。作者指出，单纯让 LLM 产生看似合理的回复并不等于科学保真度；模拟必须（1）把选题与评审锚定在真实科学内容与研究者专长上，（2）让录用、引用、资助、预算和流失的结果进入下一年的状态，形成真正的闭环，（3）在干预时把被检验机制与它产生的下游变化分离，否则会压制反馈效应。这些构成 Suto 设计的直接动机。引言引用附录 H 说明 LLM 智能体可作为受控模拟的基底，但正文强调挑战在于保真、闭环与控制三点。

Suto 的状态与闭环结构。每个研究者 i 在第 t 年持有状态 s_i^t=(E_i, ρ_i^t, b_i^t, M_i^t, C_i^t)：E_i 为专长主题，ρ_i^t 为声誉，b_i^t 为可用预算，M_i^t 为记忆（记录既往发表、评审与资助结果），C_i^t 为由单位与合著引发的利益冲突集合。记忆把过去结果接入后续决策：先前评审可指导修改重投，发表结果可影响坚持还是更换方向。预算把科研产出与持续参与联系起来，年末更新为 b_i^{t+1}=b_i^t+f_i^t−Σ_{a∈A_i^t} cost(a)，其中 f_i^t 是当年获得资助，A_i^t 是行动集，cost(a) 是行动成本；预算耗尽的研究者失活并离开活跃群体。预算被明确解释为抽象资源约束，类比 AI 使用 token。 制度设定。研究者分大学与产业两类：大学研究者依赖外部竞争性资助，产业研究者获得与录用论文挂钩的内部资助。探索策略分三类：explorers 偏好远距离进入新领域，cautious explorers 频繁探索邻近领域以平衡新颖性与连续性，exploiters 优先延续既有方向。资助项目分基础导向（偏好理论/基础工作）与使命导向（偏好应用方向，如自主系统与安全），每个项目指定合格主题、评估申请并按面板内排名资助前若干比例。 文献锚定与场所。科学产物锚定在真实文献上，避免完全生成论文的事实可靠性主导生态动态。每个会议 c 覆盖部分主题并有录用率 α_c；投稿须与场所主题兼容。给定所选方向，智能体从语料中检索时间有效的论文并选择合适论文投稿到兼容场所；检索-锚定设计提供评审与引用的科学素材，并按年份限制可用文献。默认每个完成项目至多一次新投稿，可引用已发表工作（含自引）。录用论文进入可引用文献库，供后续年份引用。 年度六阶段管线。模拟年 t 映射到真实日历年，智能体只能投稿/引用该时点已可用的论文。（1）选题与合作：活跃智能体基于专长、资源与记忆选择新方向 d∈D；方向持续 T_d 年，每年成本 κ，总成本 κT_d。合作启用时，智能体对候选合作者 j 打分 ψ(i,j)=Σ_m w_m φ_m(i,j)，特征 φ_m 包括主题相似度、近期发表重叠、优先连接与三元闭合，w_m 为权重。（2）投稿与引用：按带宽可提交多篇；对每篇潜在投稿，从 SciEvo 检索与方向匹配且当前模拟年可用的 arXiv 候选，智能体选一个候选与兼容场所；研究成本与重投费进入预算更新；随后从可及文献中引用先前论文。（3）同行评审：每篇分配三位审稿人 R_p；审稿人根据标题、摘要与主题给出推荐分 u_jp 与书面理由，默认双盲。（4）论文决定与记忆更新：决定分为均分 ū_p=(1/|R_p|)Σ_{j∈R_p} u_jp；会议 c 对投稿集 S_c 按 ū_p 排序，对非空 S_c 录用前 max(1, round(α_c|S_c|)) 篇；作者把评审与录用结果存入记忆，负评可能影响重投并促使更严评价他人，录用成功可能强化方向；录用论文进入可引用文献。（5）资助分配与流失：大学研究者提交基于专长与既往论文的短申请；资助智能体评估项目契合、研究潜力与履历（同时考虑录用与拒稿论文）。按比例资助时，每个面板对 n 份申请排序，资助前 k=max(1,⌊rn⌋) 名，r 为资助率。为研究资助保守性，作者引入可控干预：把面板内排名转换为归一化分 e_i∈[0,1]，用 q_i∈[0,1] 表示该研究者当年平均论文距离在申请者中的百分位，调整分 ẽ_i=e_i−λq_i，λ≥0 为惩罚强度；报告实验用 λ=0，保持原始排序。（6）重投：从第二年起，有拒稿的智能体先决定放弃、修改还是重投；决策条件包括所收评审、投稿历史、当前资源与重投成本；重投稿与新投稿一起重新进入评审。闭环由更新后的研究者状态与科学记录进入下一轮决策实现：拒稿与其评审留待重投，录用论文进入可引用文献与资助评估的履历，资助与行动成本更新预算，决定谁能继续活跃并贡献后续投稿与评审。 公式与指标的算法直觉。选题距离用 ν_{p,i}^t=1−cos(p,a_i^t)∈[0,2] 度量，其中 p 是论文嵌入，a_i^t 是作者前四年工作的平均嵌入；探索距离 ED 是每篇论文到其最近前一篇论文的年度平均余弦距离，二者分别度量“偏离近期专长”与“知识空间中的连续移动”。生态多样性用归一化主题熵 H_t=−(Σ_d p_{t,d} log p_{t,d})/log|D|，并对年份用梯形面积 AUC_H=Σ_{t=1}^{T−1}(H_t+H_{t+1})/2 汇总。颠覆性用 CD 指数 CD_p=(n_focal−n_both)/(n_focal+n_both+n_prior)，n_focal 是引 p 而不引其参考文献的后文，n_both 是同时引两者的后文，n_prior 是只引参考文献而不引 p 的后文；正值为颠覆，负值为巩固。 模型与数据细节。全部模拟使用 Qwen3-32B 的 thinking 模式，temperature 0.7，结构化 JSON 输出；硬件为 80GB A100。文献语料为 SciEvo，含 1991–2025 年约 210 万篇 arXiv 论文、156 个类别，提供标题、摘要、时间戳、类别、LLM 提取关键词及来自 Semantic Scholar 的引用、作者与场所；实验选取 2016–2025 窗口内的计算机科学论文并按年组织。检索用 thenlper/gte-small 归一化嵌入对摘要与查询做余弦相似度排序，返回至多 1,000 个当年未提交候选，选择提示显示 top-k 的标题、摘要与主题；引用选择检索同一世界内已录用论文。评审提示包含标题、摘要、主题标签、审稿人专长与记忆，评分 1–5 并要求一句话理由（允许小数），同时要求把 60% 以上论文放在 2.0–2.5 或以下；实际录用按场所内排名与配额执行。默认补全预算 2,048 token，批量资助排名请求 8,192 token。记忆为只追加的带日期事件、反馈摘要与决策理由。资源参数（表 2）包括：策略/构成/断点/大学产出研究统一初始预算 100；大学 80 或 160、产业 160 或 320 的默认初始禀赋；研究成本每活跃项目年 10；项目时长 1–3 年；重投费每次 5；资助每项 20，基础导向项目 23%、使命导向项目 10% 的按比例资助（受配额规则约束）；报告实验 λ=0。实验控制的关键在于把制度规则（录用配额、资源核算、流失）与智能体决策框架分离，因此可以改变制度机制而保留同一智能体决策，得到在指定模拟假设下的下游后果。

实验按研究者层、研究结果层与制度层展开，另有大规模无干预的生态涌现部分。研究者层用三类探索策略追踪多年职业轨迹，并以只在研究者构成上不同的匹配反事实世界检验多样性；研究结果层把选题偏离与录用、引用、颠覆性联系起来，用交叉设计同时考察人口增长与拒稿重投，比较固定与逐年下降的录用率，再以重放式条件检验作者信息与网络关系披露对评审分的影响；制度层改变每项目投稿上限与资助容量（随需求扩展或固定），并用资助断点附近的局部比较考察早期窄胜者是否获得后续优势。总体设计强调匹配反事实、操纵检验、预注册式主比较与断点回归诊断，但也大量依赖单世界或少量匹配世界。

1. Suto 的总体规模为 61 个模拟世界、超过 4 万研究者与 8 千机构，并产生约 40 万出版决定和 120 万条 LLM 同行评审。

   Across 61 61 simulation worlds, Suto simulates over 40,000 40{,}000 researchers from 8,000 8{,}000 institutions, producing ∼ 400,000 {\sim}400{,}000 publication decisions and 1.2 1.2 million LLM-generated peer reviews.

2. 探索者的录用率与高影响力论文概率均最低，谨慎探索者居中、利用者最高。

   Explorers have the lowest acceptance rate ( 29.8 % 29.8\% ), compared with 37.2 % 37.2\% for cautious explorers and 39.2 % 39.2\% for exploiters (Figure 2 b), and are also less likely to produce a high-impact paper ( 0.62 0.62 versus 0.84 0.84 and 0.81 0.81 in Figure 2 a).

3. 远距离探索的代价随时间累积，第十年探索者留存率明显低于谨慎探索者与利用者。

   By year 10 10 , only 41.1 % 41.1\% of explorers remain active, compared with ∼ 53 % {\sim}53\% of cautious explorers and exploiters.

4. 谨慎探索占优的群体比利用者群体维持更高的主题熵与更多活跃方向，十年 AUC_H 也高于探索者群体。

   Cautious-heavy populations maintain 0.11 0.11 higher normalized topic entropy than exploiter-heavy populations and end with 8.5 8.5 more active research directions across all ten matched counterfactual sets (Figure 3 ). They also outperform explorer-heavy populations in ten-year AUC H \mathrm{AUC}_{H} by 0.156 0.156 on average, despite explorers making larger individual departures from prior expertise.

5. 选题距作者近期工作越远，录用率与平均评审分越低。

   From the lowest to the highest departure bin, acceptance falls from 48.0 % 48.0\% to 21.8 % 21.8\% , while mean review scores decrease from 2.45 2.45 to 2.28 2.28 .

6. 人口增长单独几乎不改变每位活跃审稿人的审稿量，而拒稿重投将其显著推高。

   Despite substantially more submissions, population growth alone leaves reviews per active reviewer close to baseline ( 2.07 2.07 vs. 2.25 2.25 at year 10 10 ), as the larger researcher population also distributes the review workload across more reviewers (Figure 5 c). With resubmission, workload instead rises to 6.64 6.64 reviews per active reviewer without population growth and 5.48 5.48 when both mechanisms are enabled.

7. 录取率下降使被拒论文的投稿尝试次数更多，审稿人年均审稿量增幅更大。

   Rejected papers also accumulate more venue attempts under the declining regime (Figure 8 b), averaging 3.93 3.93 attempts versus 3.78 3.78 under fixed acceptance. Mean annual reviews among reviewers assigned at least one paper rise from 1.7 1.7 to 5.5 5.5 under declining acceptance, compared with 1.8 1.8 to 4.6 4.6 under fixed acceptance.

8. 披露作者信息使评审分数小幅上升，预指定的跟进实验也复现了这一方向。

   Author-information disclosure raises scores by 0.055 0.055 points on the 1 1 – 5 5 scale. A separate 120 120 -paper follow-up, with this contrast prespecified as its primary comparison, finds a 0.077 0.077 -point increase ( 95 % 95\% CI [ 0.026 , 0.128 ] [0.026,0.128] ).

9. 每项目投稿上限翻倍使录用论文显著增加，但第十年仍活跃的初始研究者比例明显下降。

   Doubling submission intensity increases accepted papers by 69 % 69\% under scaling capacity and 63 % 63\% under fixed capacity, but sharply reduces long-run participation. By year ten, the fraction of initial researchers still active falls from 49 % 49\% to 29 % 29\% under scaling capacity and from 39 % 39\% to 24 % 24\% under fixed capacity (Figure 6 a).

10. 固定拨款容量主要让更多研究者从未获得资助，而获奖者之间的基尼系数仅小幅变化。

    Compared with capacity that scales with demand, the share of researchers who never receive an award rises from 22 % 22\% to 37 % 37\% with one submission per project and from 24 % 24\% to 46 % 46\% with two submissions. The Gini coefficient among funded researchers increases only modestly, from 0.36 0.36 to 0.39 0.39 and from 0.40 0.40 to 0.43 0.43 , respectively.

11. 资助断点附近的窄胜者在随后三年没有可检测的后续资助优势。

    Narrow winners show no detectable increase in subsequent funding (Figure 10 a): the estimated effect is − 1.50 -1.50 resource units ( 95 % 95\% CI [ − 14.5 , + 11.5 ] [-14.5,+11.5] ).

12. 在无干预的大规模确认世界中，资助资源基尼系数从接近平等到第十年显著上升。

    Funding-resource inequality increases steadily over time: the Gini coefficient rises from near parity at initialization ( ≈ 0.04 \approx 0.04 ) to ≈ 0.36 \approx 0.36 by year ten (Figure 11 a).

Novelty：新意主要在于集成而非单点创新。LLM 同行评审、LLM 科研智能体、探索-利用度量、CD 指数、资助断点比较都是已有方法；本文的新贡献是把选题、合作、投稿、评审、重投、引用、资助与流失整合进一个持久的、以真实文献为锚的闭环状态机，并以此支撑匹配反事实与受控干预。相比一次性 LLM 行为实验，Suto 的状态-记忆-预算-文献更新机制使结果能够跨年反馈，这是明显的方法学增量。研究问题本身（重投放大审稿负担、探索策略与多样性的关系、资源不平等能否在没有早期累积优势时涌现）也以反事实方式提出了可操作的治理命题。但框架的构件层面新意有限，且 λ=0 意味着资助保守性干预在报告实验中被保留为不惩罚，真正的机制扰动尚未充分展示。 Soundness：在内部有效性上，论文做了不少正确的事：制度规则（配额、预算、流失）与智能体决策分离，便于反事实；探索策略有操纵检验；作者信息实验有预指定的跟进与置信区间；资助断点比较采用局部线性、面板固定效应、带宽稳健性与平衡检验；附录明确承认部分比较只是描述性、评审量与投稿量因三审机制机械关联、不能推断审稿导致流失。弱点是外部有效性与统计严谨性。模拟研究者与审稿人是 Qwen3-32B 的角色扮演，分数、引用与流失受提示、评分红线和模型先验影响，未与真实会议录用率或评审分布校准；预算与流失是抽象约束，可能夸大参与下降。许多结论来自单个世界或少量匹配世界，世界级随机误差被低估。部分头条发现（如作者信息仅小幅加分）效应量小，且发生在模拟评分尺度上，难以直接外推到真实偏见。总体 soundness 中等：作为生成反事实假设的模拟器是可接受的，但不足以作为因果证据。 Significance：意义取决于其模拟生态能否被学界认可为真实机制的合理近似。若成立，Suto 为科研治理提供了现实世界难以获得的试验能力：可测试录用率、资助容量、匿名评审、探索激励等政策对审稿负担、参与度与多样性的长期影响，并为“科学之科学”提供可复现的合成纵向数据。头条发现对当前 AI 会议审稿压力、出版导向与资源集中有直接政策含义。但目前的显著性受限于 LLM 模拟的可信度：结论更像受控假设生成而非对真实学术系统的测量。因此更合适的评价是：它是一个有潜力的基础设施与议程设置工作，为后续校准、验证与政策实验打下基础。

第一，外部效度是核心问题。研究者、审稿人与资助方的判断均由 Qwen3-32B 角色扮演产生，评分与行为受提示模板、评分红线（要求多数给分落在低区间）、温度与模型先验影响，未与真实会议录用率、评分分布或评审行为校准；因此“审稿负担放大”“作者信息加分”等发现反映的是模拟器动力学，而非对真实学术系统的直接测量。第二，文献锚定部分缓解了事实可靠性问题，但投稿是检索选择真实 arXiv 论文而非生成新发现，引用网络只含世界内可及文献，引用影响与颠覆性指标内生于模拟，不能等同于真实影响力。第三，预算与流失是抽象资源约束，成本参数（研究成本、重投费、资助额）为设定值，正文未报告系统性参数敏感度；这可能导致参与率下降被高估。第四，世界级不确定性不足：部分关键比较来自单个世界或少量匹配集，附录 B.4 也自认该对比是描述性审稿需求对比，不构成因果、不提供独立世界级误差估计，且评审量与投稿量因每事件三审而机械关联。第五，资助保守性干预在报告实验中 λ=0，实际未启用惩罚机制；作者信息披露实验的效应量很小且发生在模拟 1–5 评分尺度上，外推需谨慎。第六，仅报告单一模型（Qwen3-32B），缺乏多模型与提示消融的稳健性证据；数据语料计划发布但尚未实际公开。

后续工作应优先做校准与外部验证：用真实会议的投稿、评审、录用与重投数据拟合 Suto 的关键分布，检验“重投放大审稿负担”等预测是否在现实中成立；将模拟评审分数与真实同行评审、资助决策进行对照，评估 LLM 角色扮演的系统偏差。其次，实际启用 λ>0 及更多制度干预——资助彩票、单盲/署名/开放评审、预印本、投稿上限、主题配额、负结果披露——以展示框架的政策实验能力。第三，提升智能体与生态的逼真度：从真实轨迹学习异质性策略，引入世代更替、机构进入退出、更多样化的合作与引用行为，并对预算/成本参数做敏感度分析。第四，做多模型（不同 LLM 家族与尺寸）、提示与温度消融，量化结论对生成模型的稳健性。第五，把“论文-申请-资助”耦合与负结果、可复现性建模得更明确，延长模拟窗口以观察更长期的累积优势与多样性演化。最后，按承诺发布模拟语料（逐年状态、投稿、评审、决定、引用、记忆与资助记录），为审稿质量、科研评价与科学学提供下游数据资源。

本文的定位介于AI文本检测、自动化审稿与LLM辅助写作之间，但刻意不与任何一方完全对齐。作者的核心判断是：科学论文不只是“散文”，token级AI探测器（Binoculars、DetectGPT、NTS）无法看见论文各部件之间推理连接的断裂。因此论文把“scientific slop”定义为论文级、可计数的推理连接缺陷，据此把“检测”重写为缺陷测量，把“缓解”重写为以实验记录为证据的受控修订。这一转向使检测从“该文本是否由AI生成”变成“该论文的科学推理是否自洽”，同时让检测信号直接成为可修复的缺陷清单。定位的第二个特点是把缓解与检测绑定：SciSlopHarness并不优化slop分数本身，而是在原始手稿、代码与实验输出的约束下修复连接，以对抗reward hacking。整体上，这是一篇把检测与修复统一在“科学推理完整性”这一单一准则下的工作。

“AI slop”一词被用来描述低成本、高产量、看似完成但缺乏实质的生成内容（Thorp 2026；Wang et al. 2024）。学术界中，AI生成内容已进入论文与审稿环节（Liang et al. 2025；Kobak et al. 2025），arXiv修改政策限制综述类论文，会议组织者开始用AI探测器筛查投稿。现有写作智能体（如AI Scientist、FARS）能端到端产出看似可信的论文，但生成文本可能在数据、证据上不可靠（Kacena et al. 2024；Gao et al. 2023）。检测方法多依赖学习到的文本特征或token概率（Mitchell et al. 2023；Hans et al. 2024；Ma et al. 2026），然而对科学论文而言，token级概率不足以捕捉全文关系。理论基础上，修辞结构理论（Mann & Thompson 1988）与内指称（Hyland 2023）说明节间连接的重要性；论证挖掘（Stab & Gurevych 2017）用claim–premise关系刻画论证；引用功能研究（Teufel et al. 2006）区分引用作用；图示有助于推理（Larkin & Simon 1987），但多余说明会干扰理解（Mayer & Moreno 2003）；模型行为需要具体样例才能被检验（Lipton & Steinhardt 2019）。现有检测基准（RAID、M4、MAGE、CHEAT、IDMGSP等）主要处理段落或摘要级文本，缺少全文、表格、图、代码以及配对人类对照。本文由此引入SciSlopBench与SciSlopHarness，把检测对象从局部文本提升到整篇论文的科学推理。

一、科学slop的六种度量。论文把scientific slop定义为“阻碍读者跟随论文科学推理的、反复出现的连接失败”，并按STRUCTURE、ARGUMENT、ARTIFACTS三平面给出六种可观察模式及计数规则。（1）Cross-section references（跨节引用）：单位是正文节与被标注对象（图、表、公式、算法），h_j(u)判定“对象从未在所属节之外被引用”。其依据是内指称使文本连接对读者可见；分数=未被跨节引用的对象数/所有对象数。（2）Macro redundancy（宏观冗余）：单位是至少8个token的句子，判定“句子至少一半内容以8-gram形式复制自更早的节”，用跨节n-gram重叠测量（Welleck et al. 2020），捕捉后节重复而非推进论证。（3）Argument graph（论证图）：单位是引言中的关键claim，判定“shallow claim：之前没有任何内容为其铺垫”，借鉴论证挖掘的claim–premise关系，测量claim出现在支撑语境之前的频率。（4）Citation isolation（引用孤立）：单位是引言/相关工作节中的引用句，判定“引用没有被分组、比较或与其他工作关联”，即不提供建立、区分、对比等引用功能的引用占比。（5）Figure exposition（图阐释）：单位是方法图中的内容类型，判定“对展示方法非必要的内容类型”，通过flag使方法步骤与连接更难跟随的实验细节/结果声明来识别。（6）Evidence gap（证据缺口）：单位是正文含结果表的论文，判定“全文（含附录）没有给出任何具体输入、输出或案例”。公式(1)给出每项分数：s_j(p)=1/|U_j(p)| × Σ_{u∈U_j(p)} h_j(u)，即缺陷单位占比；s_j=1表示该模式完全缺陷。检测时聚合为三平面均值并取负号，使高分倾向人类论文。 二、SciSlopBench构造。AI论文来自FARS（端到端生成，含实验执行与手稿写作）与Agents4Science 2025提交。人类锚必须通过H1–H4：作者性（arXiv首版日期≤2024，或ICLR 2026提交的Pangram AI占比≤0.05）、主轨录用、同贡献类型（method/framework/benchmark/dataset/analysis/survey）、可用源（正文≥2500词、≥4节、附录可分离）。主题匹配由语言模型在标题+摘要上打4档相似度（3=同问题同类型、2=同问题、1=同领域、0=仅作为工具/模型/数据集被引），取最高档；平局依次按实验节引用、公开评审分可得性、人-AI正文长度比≤2.5、SPECTER2余弦相似度（候选高度聚集在0.90–0.97，故余弦只作最后平局）处理。候选池先搜索AI论文引用过的论文（即论文自我定位的对象），不足时检索2690篇ICLR 2026录用论文；分配一对一，共享锚点分给更近者。FARS最终得143对（120对来自引用池、23对来自扩大池），Agents4Science得247对，合计390对。PDF论文经PyMuPDF重建出节标题、图表题注、引用、交叉引用与结果表单元格，不做内容推断；18篇同时有源与PDF的论文，重建中位回收20个正文标题、源为21个。评估指标为PairAcc（人类论文分数优于AI论文的配对比例，平局记半分）、AUROC与5%假阳性率下的TPR。 三、SciSlopHarness：定位→修订→审查循环。框架遵循harness级优化（Lee et al. 2026a）：保持修订模型固定，只改变围绕它的信息与检查。输入为原始手稿M_0与其实验记录（代码产出的结果文件）。最多三轮，每轮r执行 M_{r-1} --revision--> M~_r --review--> M_r。定位式修订中，模型收到SciSlop.md（六类slop的修复方向与实例格式；全局规则：不得编造实验/数字/引用/样例，不得增删被引文献或改动报告数字，保持方法/实验/结果不变，做移除模式的最小编辑，把位置当候选、论证不需要时保留不动）与SLOP_FINDINGS.md（检测到的问题及位置，每模式最多8条加其余计数），随后编辑LaTeX源得到M~_r。关键设计是“给发现、不给目标分”：模型可在该连接并非论文所需时保留缺陷。基于记录的审查中，审查模型按段落对齐M_{r-1}与M~_r，把差异段变为编号的before/after变更；每次并行审三条，接收规则、变更、被触及文件的全文与记录中含修订数字的行。Revert规则包括：修订内容既无手稿也无记录支持；数字被改/舍入/删除/新增而无精确匹配；给不使用对象的句子加指针；合并两篇被引文献但没有手稿陈述过的关系；删除图/表/标签/引用/结果；图编辑擦除未列短语或机制组件；新样例不是记录的逐字拷贝并命名来源。Keep规则包括：用已有材料修复列出的模式、句子确实使用所引对象、数字与引用保持不变；当记录无样例时，允许保留“未检查/未保留个体案例、结论基于聚合分数”的声明。混合变更整段回退，只有显式keep才保留。另有退休机制：单独调用提出在后续流程中保持不动的实例，必须搜索每个其他节寻找对象归属并列出所查节，仅适用于节实例与证据缺口观察；退休实例退出反馈但仍计入测量。保留稿在审查后重新测量，回退编辑不能贡献分数下降；论证图在引言变化时重测，图阐释按当前图像转录重评，被承认的证据缺口记为0.5。保存检查对照M_0：被引文献增删、悬空引用、引用目标缺失、原数字token缺失、正文字数比超出[0.8,1.25]为硬违例；标签删除、新数字、数字出现次数下降、分母下降、证据缺口从沉默变为承认/展示为审计标记。停止条件为无剩余实例、编辑无变化、连续两轮整轮回退或三轮用尽。距离计算上，每项度量的距离=第三轮后修订论文均值减匹配人类均值；方法gap=六项绝对距离之和，以四个基线中gap最小的Claude Code为基准计算63%的缩小。实现配置：编辑模型claude-haiku-4-5-20251001，审查模型claude-sonnet-5（无工具），退休调用同编辑模型；基线共享编辑模型与三轮协议。对比基线为Base prompting、Claude Code、reviewer-based refinement（Qwen2.5-32B-Instruct结构化审稿+编辑代理）、slop-aware revision（给定义与定位但不给分数公式/目标）。文本检测器为Binoculars（Falcon-7B base/instruct，超2048 token时无重叠窗口平均）、DetectGPT（t5-3b，100次扰动）、NTS；自动审稿为AI Scientist reviewer（Qwen2.5-32B-Instruct）与CycleReviewer（8B）。

实验分四组展开。第一组在SciSlopBench上比较六度量聚合与三类文本探测器、两类全文本自动审稿人的成对判定能力，并报告六项度量的单独表现。第二组把slop分数经逻辑斯蒂拟合转为AI概率，考察其与ICLR人类评审总分及四个维度的关系，并检验跨年度拒稿与接收稿的可分离性。第三组对比SciSlopHarness与四个共享编辑模型和轮次协议的修订基线，观察六项度量各自到人类均值的距离，发现一般修订残留slop、slop-aware修订出现过度纠正，而SciSlopHarness在全部度量上最接近人类均值。第四组用定性案例对比与组件消融说明分数下降究竟来自有效修复还是分数操纵，并量化无审查、无定位、无定义配置下的距离与守护条件破坏情况。

1. 六项指标聚合后的SciSlop在成对判定中以85.9%的准确率识别AI论文，明显高于Binoculars的68.7%。

   Our measures identify the AI paper in each pair with 85.9% accuracy, compared with 68.7% for Binoculars.

2. 单项指标中，跨节引用（Cross-section references）单独即可达到0.905的成对准确率，并在5%假阳性率下标记65%的AI论文。

   Cross-section references alone reaches 0.905 without a model and, at 5% FPR, flags 65% of AI-generated papers against 24% for Binoculars.

3. 最强的token级探测器Binoculars成对准确率仅0.687，全文本自动审稿人最高0.685，而SciSlop达到0.859，错误率削减超过一半。

   The best of each reaches 0.687 and 0.685, while scientific slop reaches 0.859, cutting the error by more than half.

4. 相对于最强token基线Binoculars，这些度量将检测错误率降低55%。

   These measures reduce detection error by 55% compared with Binoculars ( Hans et al., 2024 ) , the strongest token-level baseline.

5. AI概率随人类评审分数上升而下降：评审分从2升至9时，AI-likeness从26%降至12%。

   AI-likeness drops from 26% to 12% as review scores rise from 2 to 9.

6. SciSlop在2017至2025全部九个ICLR年份中区分拒稿与接收稿的表现均高于随机水平。

   Scientific slop exceeds chance in all nine years, whereas detectors fall below chance in most comparisons.

7. SciSlopHarness将到人类均值的剩余差距从1.395收窄到0.519，即相对最强基线缩小63%。

   SciSlopHarness closes the gap from 1.395 to 0.519, a reduction of 63%, and ends closest to the human mean on every measure.

8. 消融显示，仅有定义与定位而无审查时距离可降至0.11，但23%的轮次出现守护条件破坏。

   Definitions and locations reduce the distance to 0.11, but without review this comes with guard breaks in 23% of rounds.

9. 单独审查距离为0.30且有17%轮次破坏守护；定义加审查但无定位时距离为0.25；完整框架距离为0.17且无守护破坏。

   Review alone leaves most slop unrepaired at 0.30 and still breaks a guard in 17% of rounds. Definitions with review are safer, but without located instances the distance remains 0.25. In contrast, the full SciSlopHarness reduces the distance to 0.17 with no guard breaks.

10. SciSlopBench由FARS的143对与Agents4Science 2025的247对组成，覆盖计算机与数据科学、生命与健康科学、社会科学、自然科学等领域。

    SciSlopBench combines 143 matched pairs from FARS with 247 pairs from Agents4Science 2025 submissions, spanning computer and data sciences, life and health sciences, social sciences, natural sciences, and other fields.

11. 每个AI论文都配对了一篇在顶级会议主轨被接收的人类论文，迫使系统必须超越主题、体裁与文笔质量来区分二者。

    Every human-written counterpart was accepted at a top-tier venue, so a system that distinguishes the two must look beyond topic, genre, and prose quality.

12. 在总分、soundness、presentation、contribution四个评审维度上，只有SciSlop一致地给评分更低的论文打出更高的slop分数。

    Only scientific slop consistently assigns higher scores to papers rated lower across overall rating, soundness, presentation, and contribution, with statistical support in all four dimensions.

Novelty：新颖性较高但并非范式颠覆。核心新意有三点：第一，提出“scientific slop”概念，把AI检测从token/句子级推向论文级推理连接；六项度量虽借鉴修辞结构、论证挖掘、引用功能等成熟理论，但把它们组合成可计数的检测信号并用于区分AI/人类论文是新的。第二，SciSlopBench是首个以“同研究问题、同贡献类型的AI-人类全文配对”为核心的基准，并要求人类锚为顶级会议主轨录用，使检测必须超越文笔与主题。第三，SciSlopHarness把缓解定义为“在实验记录约束下的证据化修复”，用harness级优化与审查、退休机制对抗分数hacking，这一“不给目标分、只给定位与证据约束”的设计思路较有新意。需要保留之处是：度量本身是规则启发式而非学习得到；论证图单项接近随机、证据缺口在低假阳性率下召回为零，说明部分构造尚未被充分验证。 Soundness：方法学上总体稳健但有关键薄弱点。稳健之处：配对规则可追溯（保留候选池、相似度档、条件结果），一对一分配清晰；修复稿在审查后重新测量，回退编辑不计入分数下降；消融能区分“有定位无审查”与“有审查无定位”的不同失败模式，支撑了组件必要性的结论。薄弱之处在于：其一，人类锚的作者性验证使用日期与Pangram代理，可能漏掉AI辅助写作或未被检出的人类论文，标签存在噪声；其二，检测与缓解都依赖同一套六度量，尽管审查机制试图阻止分数hacking，但“最接近人类均值”仍是对同一度量的优化，缺少外部人类对修复稿科学正确性与可读性的盲评；其三，证据缺口在5%假阳性率下TPR为零，argument graph接近随机，作为实用检测信号作用有限；其四，ICLR分析用FARS配对拟合逻辑斯蒂映射，跨源、跨年迁移的校准未充分说明。 Significance：意义较大。对学术共同体，它提供了一套可落地的审稿与自查清单：六种缺陷均有明确计数规则，把“看起来不对劲”变成可定位、可修复的推理缺陷。对AI检测研究，它指出现有基准的段落级局限，并给出全文配对基准，把评估对象从“文本”提升到“论文”。对LLM辅助写作，它显示直接优化slop分数会导致过度纠正与reward hacking，负责任的缓解必须依赖科学记录，这对工具设计有实际警示作用。其ICLR跨年度区分拒稿/接收的结果把slop与真实评审后果挂钩，增加了实用性。局限是当前语料偏计算机科学、生成器有限，但框架本身可迁移，后续扩展空间明确。

第一，语料与生成器覆盖有限：AI论文只来自FARS与Agents4Science 2025，多数为计算机科学，结论能否推广到其他学科、其他生成器（GPT/Claude/Gemini/DeepSeek等）及其他写作工作流未知。第二，人类锚的“人类性”是代理判定：2024前arXiv日期或ICLR 2026的Pangram占比≤0.05，无法完全排除AI辅助写作，且2024后只依赖单一工具。第三，度量是手工规则：argument graph（0.586）接近随机，evidence gap在低假阳性率下召回为零，单靠它们难以实用化检测；跨节引用虽强但可能被简单改写规避。第四，缓解评估存在内在循环：SciSlopHarness的“成功”以同一六度量到人类均值的距离衡量，缺乏人类对修复稿可读性、科学正确性与贡献保真度的独立盲评；作者承认“记录无样例时承认缺失”是合法修复，但这可能只是把缺陷显式化而非真正解决。第五，对实验记录的依赖：框架要求存在代码产出的结果文件与可逐字引用的样例，对PDF重建或无代码论文可能无法完整执行。第六，轮次预算、单一模型族（Claude）与特定版本号限制了结论的模型无关性；ICLR跨年分析的分数校准细节（在FARS对上拟合逻辑斯蒂映射）未完全展开。

后续工作可分四线推进。（1）概念扩展：把六种缺陷扩展到“研究问题—方法—证据—结论”的整体一致性，形式化科学推理图，纳入统计效度、因果声明、可复现性等更高层缺陷。（2）基准扩展：接入更多生成器、更多学科与多语言论文，加入对抗性改写版本（SciSlopBench目前在adversarial variants列仅标记为△），并检验生成器能否通过针对性训练规避这些模式。（3）缓解深化：用更强的关系抽取与论证标注模型替代规则度量，研究“以证据为约束”的修复在真实审稿与相机就绪流程中的可用性，并进行人类盲评来验证修复质量，而不只是看到人类均值的距离。（4）应用与治理：把slop度量做成审稿人与编辑可用的开放检查工具，追踪其与撤稿、抄袭、数据造假的关联，并研究期刊与会议在筛查政策中如何使用这类全文推理信号。

We introduce 4DCodeBench, a benchmark for 4D inverse graphics through code generation, in which agents reconstruct dynamic scenes from video as executable graphics programs. To accomplish this, agents must translate visual observations into compact representations of scene structure and dynamics, by implementing abstractions such as physical simulations to reproduce complex behavior. To evaluate this capability, we curate a set of real-world videos and construct synthetic scenes spanning diverse physical phenomena, including deformation, fluid flow, and fracture. We perform extensive benchmarking of frontier models, finding that strong static reconstruction capabilities do not yet translate into reliable reconstruction of complex dynamics. 4DCodeBench provides a testbed for tracking progress toward agents that can interpret the dynamics of the world through code. Our benchmark is available at https://github.com/4DCodeBench/4DCodeBench

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。