2026-09-29

本文提出 FuseReg，一种面向表示自编码器（RAE）层融合接口的训练正则化方法。它不寻找“更好的固定融合”，而是让像素解码器与扩散生成器在训练中看到随机采样的编码器层子集，并以归一化子集均值作为隐变量。文章用线性平方误差代理目标证明该扰动保持全层均值、把跨层分歧转化为显式惩罚，并论证其在权重二阶矩上无法被任何确定性全局融合（含启发式与可学习全局门）等价替代。总体定位是训练策略与理论分析型工作，贡献集中在层融合鲁棒性，而非新架构。

表示自编码器使用冻结视觉编码器的特征作为重建和扩散的隐空间，从而把强视觉表征引入图像生成。关键问题是：编码器各层内容随深度变化，层融合定义了生成器与解码器之间的接口。浅层更保留像素细节，深层更利于生成建模；RAEv2 采用“最后 k 层求和”的固定启发式融合，导致同一隐变量必须同时服务两个偏好不同的消费者。已有工作或改变编码器、隐空间几何、训练配方，或学习一个确定性的融合规则（如 DRoRAE、注意力式多层探针），但仍收敛到单一组合。随机配置训练（dropout、nested dropout、stochastic depth、LayerDrop、slimmable networks、Matryoshka）通常服务于推理期提取更小子模型，而本文把同一机制迁移到“哪些编码器层进入解码器/生成器”这一轴，目的是覆盖所有非空层子集、缓解重建-生成差距。

FuseReg 的核心是把固定层融合替换为训练期的随机子集融合。设冻结编码器 E 对图像 x 产生 K 个候选层的归一化 token：h_k = LN(E_{l_k}(x)) ∈ R^{N×d}。固定融合写作 z_a = Σ_{k=1}^K a_k h_k，且权重满足 1^T a = 1。固定单层、固定前缀和可学习全局门都共享这一形式，因而都只暴露单一层组合给下游模型。 FuseReg 的采样分布为：对每个训练样本独立抽取原始掩码 m̃_k ~ Bernoulli(1-p)，条件在其非零，即 m ~ M_p = Law(m̃ | 1^T m̃ > 0)，隐变量为 z_m = (Σ_k m_k h_k)/(Σ_k m_k)。对 0 < p < 1，支撑集是所有 2^K - 1 个非空子集；推理时默认保留全部层，z_m 退化为全层均值 h̄ = K^{-1}Σ_k h_k。归一化是关键：按线性期望，E_m[z_m | x] = h̄，改变 p 只改变围绕部署隐变量的分歧方差，不系统性移动其均值。 两个阶段共享机制但使用不同丢弃率。解码器侧以 p_dec 采样 m，训练 ViT 解码器 D 重建 x̂ = D(z_m)，损失为 L2 加感知项和对抗项：L_dec = ||x̂ - x||_2 + λ_p L_LPIPS(x̂,x) + λ_g L_GAN(x̂)。生成器侧以 p_dit 采样 m，保留共同预测目标为全层聚合 z_full = K^{-1}Σ_k h_k。流匹配插值为 z_t = t z_m + (1-t)ε，其中 m ~ M_{p_dit}、t ~ ν、ε ~ N(0,I)，并以类别 c 为条件；DiT 回归全层目标，使用时间加权 x 预测损失：L_DiT = E ρ(t)||x_θ(z_t,t,c) - z_full||_2^2，其中 ρ(t)=max(1-t,0.05)^{-2}，ν 是移位 logit-normal 时间律。p_dit=0 恢复标准全融合目标；p_dit>0 强制生成器把多个子集融合映射到同一全层目标。 理论部分先分析采样本身。定义层均值 h̄、层偏差 e_k = h_k - h̄、分歧协方差 V(x) = K^{-1}Σ e_k e_k^T、总体 Γ = E_x[V(x)]。设子集大小 R=|S|，系数 c_K(p) = E[(K-R)/(R(K-1))]，期望在条件 R>0 的 Binomial(K,1-p) 下取。可得精确协方差恒等式：E_S[(z_S - h̄)(z_S - h̄)^T | x] = c_K(p) V(x)。因此子集采样在期望上保留 h̄，同时把方差精确注入层间分歧方向。 将该扰动放入线性平方误差消费者，可得到显式正则化。对解码器，展开 E_S||D z_S - y||^2 后交叉项因 E[δ_S|x]=0 消失，得到 ||D h̄ - y||^2 + c_K(p) tr(D V(x) D^T)。平均后惩罚项为 c_K(p) tr(D Γ D^T)，等价于 c_K(p)/K Σ_k E||D(h_k - h̄)||^2，即惩罚解码器对层偏差的敏感性。闭式最优为 D_p* = A(Σ_h̄ + c_K(p)Γ)^{-1}，其中 Σ_h̄ = E[h̄h̄^T]、A = E[y h̄^T]；这会在层间分歧大的方向上抑制 D 的响应。对 DiT，z_{t,S} = t(h̄+δ_S)+(1-t)ε = z̄_t + tδ_S，展开后多出 t^2 c_K(p) tr(W V(x) W^T) 项，再乘 ρ(t)；因此生成器侧分歧惩罚有时间依赖强度，且时间权重保持 RAEv2 速度空间损失的尺度。 文章还论证固定融合不等价：令随机融合权重 w_S = 1_S/|S|，P = I - K^{-1} 11^T 为层对比子空间投影。FuseReg 保持均值、并在每个层对比方向上产生方差；任何输入无关的确定性全局融合都无法匹配这些一、二阶权重矩，因此会诱导不同的线性目标。内部引导的交互也被显式化：x̂_guided = x̂_full + w(x̂_full - x̂_repa)，其分歧惩罚 Ω(W_guided) = (1+w)^2 Ω(W_full) + w^2 Ω(W_repa) - 2w(1+w) tr(W_full Γ W_repa^T)。两个预测器对同一层分歧方向的响应若一致会在相减中抵消，若相反则相互放大，因此仅降低全预测器敏感性不足以控制引导组合的敏感性。 实验配置：冻结 DINOv3-L 编码器，ImageNet-256 分辨率，候选 K=23 个 transformer 层；ViT 解码器从头训练，架构、参数量、优化超参与训练步预算均匹配。解码器扫描为 16 个 epoch，使用像素、感知、对抗和分类器代理项；DiT 网格为 40 个 epoch，DiT-XL 隐藏宽度 1440。解码器丢弃率集合为 {0,0.05,0.1,0.3,0.5,0.7,0.9,0.95}，DiT-Base 网格为 {0,...,0.9}，DiT-XL 的 p_dit 集合为 {0,0.5,0.7,0.9}。主比较融合包括全 k=23、k=7（层 {ℓ11,ℓ13,...,ℓ23}）以及单层 ℓ11；FuseReg 按保留层数归一化，固定融合基线保留原尺度约定。

实验分三块分离解码器与生成器效应：其一，让一个解码器在全层、稀疏子集和单层融合上重建，检验其跨融合稳健性；其二，固定生成器与采样隐变量，仅替换解码器，考察重建训练对生成的影响；其三，在 DiT-Base 与 DiT-XL 上联合扫描两个丢弃率，并分别报告无引导与内部引导结果。总体发现：随机子集训练的解码器无需重新训练即可覆盖多种融合，固定融合解码器只在训练配置上表现好；解码器稳健性可转化为生成增益，即使生成器不变；两阶段正则化在 DiT-Base 上有互补收益，但在 DiT-XL 上最优速率随指标与引导设置变化；丢弃率响应非单调，说明机制放大的层间分歧惩罚而非信号损失。具体数值见下方 claim–quote 对。

1. 扩大固定融合子集从 k=7 到 k=23 会提高重建 PSNR，但同时恶化无引导与引导 gFID，直接展示重建-生成差距。

   expanding the fused subset from k = 7 k{=}7 to k = 23 k{=}23 increases reconstruction PSNR from 22.58 22.58 to 27.04 27.04 dB but also increases unguided gFID from 1.65 1.65 to 3.01 3.01 and guided gFID from 1.06 1.06 to 1.25 1.25

2. RAEv2 固定 K=23 解码器在其训练融合上达到较高 PSNR 和较低 rFID，但在非训练融合上 PSNR 大幅下降。

   RAEv2 K=23 reaches 27.04 27.04 dB and 0.18 0.18 rFID on its training fusion but drops to 12.51 12.51 – 14.31 14.31 dB on the others; RAEv2 K=7 shows the same pattern.

3. 单个 FuseReg 解码器在 k=7、k=23 与单层 ℓ11 三种融合上都保持较强重建，且 rFID 低于 0.6。

   A single FuseReg decoder remains strong across all three ( 23.77 / 27.52 / 25.13 23.77/27.52/25.13 dB), with rFID below 0.6 0.6 .

4. 在原生 k=23 融合上仅替换解码器即可降低无引导 gFID；在 k=7 融合上替换解码器同样大幅降低无引导 gFID。

   On the native k = 23 k{=}23 fusion, swapping the plain RAEv2 decoder for a FuseReg decoder reduces gFID from 3.01 3.01 to 2.21 2.21 ; under the shifted k = 7 k{=}7 fusion, it reduces gFID from 27.73 27.73 to 1.92 1.92 .

5. 在 k=7 融合下，无引导与引导生成都随解码器替换显著改善。

   Under shifted k = 7 k{=}7 , both unguided and guided generation improve substantially, from 27.73 27.73 to 1.92 1.92 and from 16.35 16.35 to 1.42 1.42 , respectively.

6. 原生 k=23 融合的引导 gFID 在中等丢弃率出现暂时回退，在强正则化下恢复到基线水平。

   guided gFID temporarily regresses from 1.25 1.25 to as high as 1.49 1.49 at intermediate rates, then returns to 1.25 1.25 at p dec = 0.95 p_{\mathrm{dec}}{=}0.95 .

7. DiT-Base 上单独正则化解码器或生成器均改善 gFID，联合正则化达到更低的 gFID。

   regularizing either the decoder ( p dec = 0.9 p_{\mathrm{dec}}{=}0.9 , p dit = 0 p_{\mathrm{dit}}{=}0 ) or the generator ( p dec = 0 p_{\mathrm{dec}}{=}0 , p dit = 0.7 p_{\mathrm{dit}}{=}0.7 ) improves gFID from the 13.96 13.96 baseline to 12.96 12.96 and 12.09 12.09 , respectively. Joint regularization reaches 9.93 9.93 at ( p dec = 0.9 p_{\mathrm{dec}}{=}0.9 , p dit = 0.7 p_{\mathrm{dit}}{=}0.7 ).

8. DiT-Base 无引导 gFID 在低解码器丢弃率时先退化，高丢弃率才超过基线，说明速率响应非单调。

   at p dit = 0 p_{\mathrm{dit}}{=}0 , gFID initially degrades (e.g., 17.28 17.28 at p dec = 0.05 p_{\mathrm{dec}}{=}0.05 ) before outperforming the baseline at higher rates.

9. 论文报告 DiT-XL 基线无引导 gFID，并声称生成器单独正则化无改善，而联合正则化解锁进一步收益。

   When scaling to the stronger DiT-XL baseline (gFID 2.91 2.91 ), the generator’s response to regularization becomes nuanced ( Table 2(c) ). For gFID, regularizing the generator alone fails to yield improvements; however, joint regularization with the decoder successfully unlocks further gFID gains.

10. 在 DiT-XL 无引导 gFID 表中，p_dit=0 行从 p_dec=0 的 2.91 降至 p_dec=0.95 的 2.38，显示强解码器正则化且生成器不丢弃时最低。

    0 | 2.91 | 3.21 | 3.22 | 3.00 | 2.91 | 2.76 | 2.50 | 2.38

11. 内部引导下 DiT-XL 最低引导 gFID 出现在强解码器正则化且生成器不丢弃的配置，优于全零配置。

    The lowest guided gFID is 1.50 1.50 at ( p dec , p dit ) = ( 0.9 , 0 ) (p_{\mathrm{dec}},p_{\mathrm{dit}})=(0.9,0) , compared with 1.57 1.57 at ( 0 , 0 ) (0,0) .

12. 解码器丢弃率扫描显示全融合 PSNR 在轻微扰动时达到峰值，而稀疏与单层输入随丢弃率持续改善，强正则化解码器覆盖三种融合。

    Full-fusion PSNR peaks at p dec = 0.05 p_{\mathrm{dec}}{=}0.05 , while the k = 7 k{=}7 and ℓ 11 \ell_{11} inputs improve throughout the sweep. At p dec = 0.95 p_{\mathrm{dec}}{=}0.95 , one decoder reaches 23.77 23.77 , 27.52 27.52 , and 25.13 25.13 dB across the three fusions.

Novelty：创新点在于把层融合从“固定或可学习权重”重新定义为“训练分布”，并用归一化子集均值保持部署隐变量无偏。这与搜索更优固定融合的路线形成明确对比。随机丢弃、LayerDrop、Matryoshka 等机制已有，但本文将其用于层融合轴、服务鲁棒接口而非推理裁剪，并给出“分歧协方差惩罚”和“与确定性全局融合二阶分离”的理论解释。总体新颖性中等偏上：核心操作简单，概念转换和理论刻画是主要增量。 Soundness：受控实验较严谨：冻结编码器、固定生成器与采样隐变量以分离解码器效应，匹配架构、参数量与训练预算，并用线性平方损失代理目标给出可证明机制，同时明确其假设边界。但结论稳健性仍有保留：证据限于单一编码器、数据域和两个 DiT 尺度；部分叙述与表格不完全一致（如 DiT-XL 的“联合解锁”说法，而表中最优值对应生成器不丢弃）；结果多为点估计，未报告重复实验或置信区间；内部引导的交互机制只得到部分线性解释。因此内部有效性与可复现性较好，外部有效性和统计可靠性尚未充分证明。 Significance：对 RAE 子领域有实际意义：在不修改冻结编码器的前提下，缓解重建与生成对层深度的偏好冲突，并让单个解码器跨融合可用。它把“层融合选择”从一次性设计变为可训练鲁棒性问题，可能推广到任何冻结层级特征的下游接口。不过当前证据集中在 DINOv3-L/ImageNet-256 与 DiT-Base/XL，距离更广泛的编码器、分辨率和任务仍有距离，因此意义目前更多是方法性和方向性，而非已被广泛验证的通用改进。

作者自陈与本文判断一致的主要局限：实验仅覆盖 ImageNet-256、冻结 DINOv3-L 编码器、DiT-Base 与 DiT-XL，未跨编码器层级、分辨率、数据域和更长训练周期验证。两个阶段对正则化的响应不同，最优丢弃率依赖模型尺度、评价指标和引导设置，因此新场景需要分别选率，难以给出通用速率处方。理论中的采样恒等式与二阶分离是精确的，但目标分解依赖齐次线性预测器和平方损失，未覆盖混合重建损失与完整引导采样轨迹。此外，引导与融合正则化存在耦合，当前只在线性代理下解释，未系统解决；实验结果以点估计呈现，缺少不确定性量化。

后续工作可沿几条线展开。第一，跨编码器与任务泛化：在 DINOv2、CLIP、SigLIP、MAE 等编码器以及更高分辨率、视频 RAE 上检验 FuseReg，判断分歧惩罚是否普遍有效。第二，速率自适应：研究逐层丢弃率、基于输入或训练进度的调度，或与 DRoRAE 类可学习融合结合，避免手工网格搜索。第三，深化引导交互：在完整采样轨迹上刻画全预测器与 REPA 预测器对层分歧的响应，显式校准引导强度与 p_dit。第四，理论与统计强化：把线性平方损失分解扩展到混合损失和非线性流匹配，并补充多次运行、置信区间与更长训练预算，澄清 DiT-XL 上生成器正则化的真实收益。第五，考察极端 K 与计算开销，以及子集鲁棒性是否对下游可控生成、编辑和条件控制带来额外益处。

本文位于 LLM 后训练量化、量化感知训练与推理服务系统的交叉点，核心命题是：预填充（prefill）与解码（decode）具有不同的硬件瓶颈，因此不应共享同一套量化格式与权重。它把既有线索——相位置信精度、W4A4 计算量化、weight-only 压缩、拆解式服务——整合为“拆解式量化”（DQ）这一统一框架，并给出三级递进方案：格式拆解（format disaggregation）、全拆解（full disaggregation）与卸载式预填充（ODP）。相对只压缩解码权重的 GPTQ/QuIP# 类方法、相位无关的 NVFP4/INT4 计算量化，以及只优化 KV 传输的拆解服务系统，本文的增量在于把“格式—权重—存储位置”同时按相位解耦，并用 QADD 蒸馏让两阶段在共同响应目标下联合优化；同时提供对任意冻结低比特解码器只训练预填充器的能力。

现代 decoder-only LLM 对每个 token 一视同仁地既作目标又作上下文，导致输入处理与生成共享同一参数与架构；但在指令跟随场景中，逻辑上重新出现“编码器/解码器”式的分离：prefill 构造提示 KV 缓存，decode 消费缓存生成回答。硬件成本上，对 H×H 权重与 T×H 激活，线性层需要传输 𝒪(H²+TH) 个元素并执行 𝒪(TH²) 次算术；T=1 的 batch-one 解码中每个权重只贡献一次乘加，权重加载主导，因此 decode 是带宽受限；长 prefill 中 T≫1 使权重复用摊薄加载，变为算力受限。这派生出两类量化：压缩权重以减少解码带宽（复杂 weight-only 编码），以及权重+激活都量化以利用硬件原生 GEMM（INT4/NVFP4）。但紧凑的 weight-only 编码不一定是硬件原生计算格式，要跑低精度 GEMM 就需重量化权重并量化激活，这通常损害解码质量。既有拆解式服务已把 prefill/decode 放到不同加速器并通过 KV 缓存交互，但主要处理通信与调度，未系统地把量化格式与权重按相位专业化。本文据此提出 DQ：格式拆解保留 W4A4 预填充、decode 用 weight-only；全拆解进一步给 prefill 单独训练原生 NVFP4 权重；ODP 把额外 prefill 权重流式放 SSD 以避免设备显存增长；prefiller 训练则让已有冻结 GGUF 解码器也能配上专用预填充器。

DQ 的核心是把一次推理拆成两个计算通路，并让量化格式、权重、存储三者随相位变化，其训练载体是 QADD（量化感知蒸馏+拆解）。 一、QADD 如何同时训练两条通路。目标函数为最小化 KL(p_teacher ∥ p_student)，teacher 冻结在 BF16。关键是复用 SFT 标签掩码：ignored label（用户轮）位置走 prefill 通路，assistant 位置走 decode 通路，在每个量化线性层由 per-position mask 选择格式。损失采用因果位移——用 t 时刻隐藏状态预测 t+1 的目标，所以最后一个 prompt 位置以 prefill 通路预测首个回答 token；虽然蒸馏损失只监督回答目标，但梯度通过 decode 注意力读取的 prompt keys/values 回流到 prefill 权重，因此两条通路在同一前反向中朝同一响应目标优化。核心设置：100M Tülu 3 SFT 非 padding token、序列长 2048、全局 batch 64、约 2450 步、AdamW(β=(0.9,0.95), ε=1e-8)、恒定 LR 3e-6、warmup 100 步、weight decay 0.1、梯度裁剪 1.0；FP32 master weights 经直通估计器（STE）伪量化，BF16 autocast、FP32 残差流，DDP/ZeRO-2/流水并行。 二、相位置化敏感性的诊断逻辑。作者先把单个相位单独量化到 NVFP4，分别看解码重型推理基准与预填充重型长上下文基准，据此确认两阶段的误差可分离观测，为后续“格式/全拆解”的收益归因提供依据。 三、格式拆解（format disaggregation）。NVFP4 同时量化权重与激活（W4A4），预填充快但解码因激活量化受损；其 weight-only 变体 NVFP4A16 不量化激活、质量更高但失去快速预填充。格式拆解只在 decode 关闭激活量化：保留 NVFP4 的存储与 prefill 成本，decode 退化为 weight-only，还因跳过激活量化略快。对 2/3-bit 标量查找表编码 LUT2/LUT3，非拆解方案用“autocast”把低比特权重连同激活一起重量化到 NVFP4 以启用原生低精度计算；格式拆解把 autocast 限制在 prefill，decode 直接用紧凑 weight-only LUT。关键直觉是：prefill 仍消费“由低比特解码权重重量化而来的视图”，其表达容量受限于该紧凑编码，这为全拆解提供了动机。 四、全拆解（full disaggregation）。prefill 与 decode 权重同源于未量化模型，在各自格式下由 QADD 联合优化，得到原生 NVFP4 预填充 checkpoint 与独立 weight-only decode checkpoint；每个 decode bitwidth 单独训练配对的 prefill checkpoint。推理时 prefill checkpoint 逐层产出 prompt keys/values，decode checkpoint 再 attend 这些表示；缓存的层数与头维不变，故无需修改注意力结构。代价是增加一份 prefill checkpoint 存储，而 decode 权重足迹与速度不变。 五、ODP（卸载式预填充）。一个 prefill transformer block 产出其输出后，其权重在该 assistant turn 的剩余部分不再需要（其 KV 仍在使用），因此可把 prefill 权重按 block 从 SSD 流式加载、复用设备缓冲区。两个设备缓冲区即可重叠 I/O 与计算：一个 block 处理 prompt，另一个加载下一块；prefill 计算随上下文增长、加载为固定成本，故相对开销随 prompt 变长而下降（DGX Spark 上约 8K 上下文计算超过加载）。缓冲区空间从 prefill 阶段空闲的 decode 权重中等量“挖出”，生成前恢复，因此不增加设备权重驻留，代价是额外 SSD 读。该流式原理可推广到独立输入处理网络（含编码器与带 learned KV-adapter 的 prefill 模型），但不适用于 MoE：活跃参数占比小使加载相对计算更昂贵。 六、prefiller 训练（冻结解码器）。对已有预量化 GGUF 解码器，训练时把其权重反量化到 BF16 且冻结不更新，梯度穿过解码器的计算回流到 prefill 通路，NVFP4 prefill 权重据此适配该解码器所需表示；解码量化管线可完全黑盒，只需最终 checkpoint。27B 实验中只训练 prefill 拷贝的量化线性权重与文本栈归一化标度；embeddings 与 lm_head 两相共享并冻结，线性注意力 gate 投影 in_proj_a/in_proj_b 及循环参数 A_log、time-step bias 共享冻结以保持 decode 引擎动态；MTP head 省略，导出仅含 prefill checkpoint 与多模态 adapter。数据上用 faunix/Qwen3.8-27B-Distillation-40K 推理轨迹，过滤后 32,608 序列约 95M token，980 步，序列上限 8192、batch 32。 七、量化格式细节。两级缩放：沿收缩维每 16 元素一组，张量级 FP32 全局 scale s=max|W|/(6·448)，块级 FP8-E4M3 scale，使块内极值归一约 ±6；被融合的 q/k/v 与 gate/up 共享全局 scale。NVFP4 用 E2M1 幅度网格 {0,0.5,1,1.5,2,3,4,6} 带符号，W4A4 用 running-max observer 的静态 per-tensor 输入 scale。LUT 沿用两级缩放，但块 scale 吸收最大幅值元素的符号使其恒为 +6、分布不对称；LUT3A16 八层与 LUT2A16 四层网格按最小化标准正态期望二次误差并约束含 0 与 +6 优化。存储成本：LUT b 位/元素 + 0.5 位/元素 FP8 scale，NVFP4 为 4.5 位/元素；全拆解付两份，ODP 把额外一份放 SSD；lm_head 各格式均不量化。

实验在多个指令微调模型家族（Qwen 3 与 Gemma 3 各尺寸）、一个更大规模稠密模型以及若干高达万亿参数的开源大模型上进行，覆盖解码重型推理基准与预填充重型长上下文基准，并分别用真实拆解式服务与本地推理引擎测量延迟。结论呈现清晰的层级：格式拆解在解码重型任务上稳定提升精度且几乎不改变速度与存储；全拆解同时改善两类任务的精度，同时保留低比特解码的带宽收益；卸载式预填充在长上下文下几乎保留全部预填充加速而不增加显存驻留；针对冻结低比特解码器训练专用预填充器可显著恢复极低比特精度并缩短首 token 时间。大模型后训练量化验证表明，即便最保守的格式拆解也在多数模型—基准组合上正向且无显著退化，并辅以互操作性与生成长度消融。

1. 格式拆解在所有七个核心模型上提升解码重型平均精度，NVFP4 与 LUT3/LUT2 均有增益。

   Accuracy-wise, on decode-heavy tasks, format disaggregation boosts mean accuracy over the non-disaggregated scheme on all seven models by 1.9 1.9 and 3.1 3.1 for NVFP4, 4.5 4.5 and 3.7 3.7 points for LUT3, 2.5 2.5 and 1.8 1.8 points for LUT2 on Qwen 3 and Gemma 3, respectively

2. 格式拆解对预填充重型任务的精度影响很小，说明它主要是解码阶段优化。

   On prefill-heavy tasks, however, this decoding-phase optimization has an effect of less than 1.3 1.3 points for all considered model families and formats (Figure 5 , Table 1 ).

3. 全拆解相对非拆解格式同时提升解码重型与预填充重型精度，2-bit 收益最大。

   Accuracy-wise, full disaggregation improves both decode-heavy and prefill-heavy performance over non-disaggregated formats. For the former, it yields 6.3 6.3 and 5.2 5.2 points for LUT3, 10.7 10.7 and 7.4 7.4 points for LUT2. For the latter, it gains 4.1 4.1 and 4.3 4.3 points for LUT3, 5.3 5.3 and 10.5 10.5 points for LUT2.

4. 格式拆解在预填充上保留与 NVFP4 相同的计算加速（相对 BF16）。

   Speed-wise, on prefill, format disaggregation uses the same accelerated NVFP4 computations as the non-disaggregated scheme, with up to 1.49 × 1.49\times and 1.67 × 1.67\times speedup over BF16 on Qwen3-8B and Gemma3-12B.

5. ODP 在长上下文下只带来很小的预填充延迟开销，且几乎保留 NVFP4 加速。

   At context length above 16 16 K, offloading increases resident NVFP4 prefill latency by less than 5 % 5\% on Qwen 3 and 8 % 8\% on Gemma 3, coming from a cold start on the first block and synchronization logic. At 16 16 K, the streamed transformer stack remains 1.47 × 1.47\times faster than BF16 on Qwen3-8B and 1.58 × 1.58\times on Gemma3-12B.

6. 针对冻结 GGUF 解码器训练的 NVFP4 预填充器使 1-bit 解码精度翻倍以上。

   Accuracy-wise, training an NVFP4 prefiller improves 1-bit decoder accuracy by 32.5 32.5 points on MMLU-Pro and 35.3 35.3 on MMMU-Pro, more than doubling its weight-only accuracy on both benchmarks.

7. 该预填充器在 8K 上下文把首 token 时间显著缩短，形成相对 weight-only 的加速。

   Speed-wise, adding an NVFP4 prefiller through our custom llama.cpp ( Gerganov and contributors, 2023 ) extension reduces time to first token from 12.27 12.27 to 6.90 6.90 seconds at 8K context, a 1.78 × 1.78\times speedup over the weight-only baseline.

8. 在大模型 PTQ 上，4-bit 格式拆解在多数组合改善点估计，有显著增益且无显著退化。

   Format disaggregation at 4-bit improves point estimates in 11 of 13 model–benchmark combinations, with 6 significant gains at α = 0.05 \alpha=0.05 and no significant degradations (Table 2 ).

9. 相位置化敏感性诊断显示：解码重型任务上解码量化伤害更大，预填充重型任务上预填充量化伤害更大。

   We find that on decode-heavy benchmarks, quantizing decode alone incurs 2 2 – 4 × 4\times the accuracy loss of quantizing prefill alone on most models, and up to 7 × 7\times on Gemma3-1B. On prefill-heavy tasks, prefill-only quantization incurs 1.1 1.1 – 4.1 × 4.1\times the accuracy loss of decode-only quantization on seven of eight models

10. 与 RTN 预填充相比，匹配训练的预填充器在极低比特解码器上带来明显精度增益，说明训练而非仅格式选择起作用。

    Compared with the common RTN prefill, training-matched prefillers improve MMLU-Pro accuracy by 13.1 13.1 , 4.2 4.2 and 1.9 1.9 points for IQ1_S, IQ1_M and IQ2_XXS, respectively. On MMMU-Pro, the corresponding gains are 29.4 29.4 and 9.7 9.7 points for the two lowest-bit formats, while IQ2_XXS changes little ( − 0.3 -0.3 points).

11. 最低比特解码器的精度提升伴随响应长度与截断率下降，增益并非靠生成更多 token。

    IQ1_S’s mean response length falls from 14,579 14{,}579 to 6,582 6{,}582 tokens, a 54.8 % 54.8\% reduction, while accuracy rises from 24.4 % 24.4\% to 59.7 % 59.7\% . Its median falls from 10,966 10{,}966 to 2,393 2{,}393 tokens and its truncation rate from 24.57 % 24.57\% to 4.16 % 4.16\% .

12. 2-bit 解码增益中等、3-bit 出现轻微退化，prefiller 收益随位宽升高而减弱。

    The gains at 2-bit decode are around 7.4 7.4 and 6.3 6.3 points and diminish at higher bitwidths. At 3-bit decode, an NVFP4 prefiller leads to slight performance degradation instead.

Novelty：新颖性中上。单点看，相位置信精度、预填充低精度加速、在冻结解码器上的预填充适配均有先例；本文的增量在于把这些整合成统一框架，并补齐关键工程与训练环节：同一损失函数下“格式—权重—存储”三级拆解、单次前反向的 QADD、ODP 的显存 carving 与块级流式、以及对任意冻结 GGUF 解码器只训练 prefiller 而不触碰其数据或算法。全拆解用同一 teacher 联合优化两阶段权重是较新的组合，且开源 artifacts 提升可复现性。但与既有方向共享较多，原创性更多体现在系统化整合与工程完备性，而非全新概念。 Soundness：稳健性总体较好但有限制。评估广泛、用真实 vLLM 拆解式服务与多模型验证，且把 27B 精度与 llama.cpp 延迟分开测量；但误差条仅来自单次训练的后期 checkpoint 时间平均，不覆盖种子/数据顺序方差；大模型 flip 检验未做多重校正；27B 评估把 GGUF 反量化到 BF16 的 backend 与真实 GGUF 部署路径有偏差；LUT autocast 的 prefill 速度复用 NVFP4 计时且不计权重转换开销；1-bit 的精度大涨需结合生成长度/截断消融解读（作者给出了正面的长度证据）；27B 语料的基准污染被部分识别但未完全排除。整体方向性结论可信，部分绝对数值需谨慎对待。 Significance：实践意义较高。它直接解决本地/单用户服务的核心矛盾：低比特解码省显存但伤精度与预填充速度，W4A4 预填充快但 decode 精度差。格式拆解几乎零成本即可提升解码重型任务；全拆解+ODP 在不增加设备显存下同时获得快速预填充与紧凑解码；prefiller 让已有 GGUF 生态受益，而无需重训解码器。在万亿参数开源模型上的 PTQ 验证表明最保守方案即可迁移到 SOTA 模型。对拆解式服务、边缘部署、量化工具链与预填充/解码协同设计均有参考价值。

作者自陈的局限：未评估高并发批处理性能（decode 主要为 batch-one，prefill 大批量下的收益可能不同）；未测多轮与 agentic 行为；多轮中缓存重建经 prefill 可能产生与 decode 产生不同的同历史表示，缓存策略依赖的鲁棒性未验证；ODP 对 MoE 不适用，且短 prompt 会因 SSD 加载而变慢；全拆解增加总存储，ODP 以额外 SSD 读与固定带宽受限的 TTFT 为代价。更进一步的批评：LUT autocast 的 decode 端只测了激活量化调用的开销，并未完整实现权重重量化路径，prefill 计时也复用了 NVFP4 数据；27B 的评估把 GGUF 反量化为 BF16 跑 vLLM，与 llama.cpp 中真实 GGUF 解码不完全一致；误差条仅反映单次训练的时间波动，统计推断强度有限（无种子重复、flip 检验无多重校正）；3-bit 下 prefiller 出现轻微退化，说明方法并非位宽单调受益；方法依赖可辨识的 prompt/response 分隔与高质量 teacher 蒸馏数据，对无清晰分隔或数据不足的模型/场景扩展性存疑。

可跟进方向：(1) 多轮一致性——研究 prefill 重建与 decode 缓存混合时的 KV 表示漂移，设计缓存策略或训练 KV 适配器使两通路表示对齐；(2) 高并发与 MoE——在 continuous batching、大 prefill batch 下复测，并为 MoE 设计稀疏/选择性流式加载；(3) 把 ODP 与带 learned KV-cache adapter 的独立输入处理网络结合，验证二者互补还是可替代；(4) 完整实现 LUT-to-NVFP4 的 autocast 权重重量化并纳入真实计时，消除表 1 中的估算成分；(5) 诊断 3-bit 退化：prefiller 容量、teacher 目标强度、decode 格式匹配，尝试正则化或解耦训练；(6) 扩展到多模态/agentic 数据，使 prefiller 在视觉推理上直接受监督；(7) 理论分析梯度如何穿过冻结 decoder 塑造 prefill 表示，并给出交叉 decoder 泛化（interoperability）的度量；(8) 与推测解码、KV 缓存量化、分层卸载结合，做端到端系统权衡。

本文提出 RayOrch，一个面向基础模型数据准备的编程模型与分布式执行引擎，核心是把"有序、可变基数的父到子展开"与"父作用域的有序归并"作为一等结构契约，贯穿编译、调度、提交与故障隔离。它位于数据流系统与 AI 数据基础设施的交汇处：相对于 Ray Data、Daft 等把扇出后的父子关系降级为应用字段的扁平表示，以及把文档/视频当作不透明任务的粗粒度表示，RayOrch 用运行期结构谱系（structural lineage）作为在线调度与完成控制状态，而不是事后溯源或 Ray 的任务重算谱系。论文明确把适用范围限定在有限、无环的层级数据流，不支持通用 join、跨微批窗口与反馈，因此是对这一具体但实际重要的设计点给出的系统化方案。

基础模型数据准备需要把大量异构文档/视频转为结构化训练记录。MinerU、MinerU2.5、Docling、Dolphin 等文档解析系统以及 Wan、Cosmos 等视频流水线都会反复改变处理粒度：PDF 产生页、区域、表格，视频产生片段、帧、音频段；子项数量随父项输入变化且呈长尾分布。粗粒度函数把每文档/视频当作不透明作业，隐藏可并行的页/片段/帧；扁平记录函数暴露这些单元，却迫使应用记住父项与序号、跟踪完成并全局重分组以重建结果。Ray Data 的 flat_map、Daft 的 explode 都属后者，父子关系在物理批次中不被结构性解释，父级完成与失败语义由应用自建，且常引入后子阶段的 shuffle/重分组屏障。相关系统方面：Spark/Dask/Ray 提供分布式集合与任务图；Ray Data、Daft 提供流水线执行与跨记录批处理；Data-Juicer、Mixtera、tf.data、FastFlow、Trident 等处理互补的算子库、数据选择或自适应输入流水线。在结构/进度/溯源研究上，Smith 等的嵌套集合 shredded query 侧重关系查询而非黑盒 GPU 调度的在线状态；Dataflow 的水位线、Naiad 的逻辑时间戳是时间/迭代进度，并不表示某个物化 Expansion 的具体有序子序列；Titian 记录事后溯源。RayOrch 的区分点是把这些关系声明进程序、经编译器校验、运行期维护，并用于跨父批处理、有序归并与类型化失败遏制。

RayOrch 的核心是把"结构"与"执行"解耦：逻辑数据流声明域之间的父子关系，物理执行只把就绪 Grain 打包成批次，而每个 Grain 的逻辑身份、成员关系与重建顺序由运行期维护的结构谱系决定。 （1）逻辑对象与 DSL。Domain 表示一个结构层（如 PDF、Page），Entity 是该层中带唯一不可变键 k 的数据单元，记 e=(D,k)。Function 是可复用用户代码（由 RayModule 包装），Call 是 Function 的一次配置使用，Port 是调度无关的逻辑数据边，Item 是某 Port-Entity 对的值/结果，Grain 是"一个 Call 作用于一个 Entity"的调度、重试与提交单元。Expansion X=(C,e_p) 是为父实体 e_p 在子域 C 中物化的有序子实体集合。四个结构原语：F.expand(x) 把列表元素物化为有序子实体（父→子）；F.reduce(x) 是配对的父作用域有序归并（子→父）；F.filter(x,mask) 在同一域内按掩码保留/丢弃；F.broadcast(x,like=y) 使祖先 Item 在 y 的域中可见。aligned 变体保持成员对齐，可选输入影响传播但不增结构节点。编译器把符号 DSL 降为不可变图，检查无环性、域兼容性与每对 expand/reduce 匹配，并预索引结构效果；跨域误用在执行前失败。图固定成员与消费规则，具体子实体与 Grain 仍由运行期产生。 （2）结构谱系与终态事实。每个物化 Expansion 记录具体有序子集、每个子实体的直接父项与不可变零基序号，以及各结果终态。三类逻辑对象各只发布一个终态事实：Entity 发布 Published(e,o)（o 为父内不可变序号）；Item 发布 Present(v)∣Dropped∣Failed∣Suppressed；Expansion 发布 Succeeded(⟨e0,…,e_{m-1}⟩)∣Dropped∣Failed；空成功展开 ⟨⟩ 也是终态。发布不可逆：重复发布幂等，冲突被拒绝；只有谱系引擎能发布这些事实，调度器只拥有 Grain 的物理阶段与尝试代数，执行器只拥有容量与 RPC。输入传播遵循固定优先级：failed/suppressed 输入抑制输出；unresolved 输入等待；dropped 必需输入丢弃输出；否则 Grain 就绪，dropped 可选输入按缺失暴露；filter/broadcast 遵循同一规则。Reduce 只有在 Expansion、全部子成员结果与全部存活值都解析后才发出一个父 Item：dropped 成员被排除；failed/suppressed 成员抑制父项；present 值按不可变序号排序发出；零存活者发出 present 空列表。因此物理批次永远不能定义"部分文档"，它只决定哪些就绪 Grain 共享一次尝试。 （3）调度与批处理。每个输入微批内，每个 Call 持有一个 per-Call FIFO Ready Queue，这是准入队列而非分组操作：Grain 输入就绪才入队，下游 Call 只在上游结果提交后才收到条目。一个已提交结果可同时激活多个下游 Call，各 Ready Queue 独立调度而不等阶段级重分组屏障。恢复使用独立优先级队列，按精确 Grain 组重插，不扰乱正常队列顺序。资源、副本与批范围按 Call 配置。弹性预留最多从队列取出 B 条、O(B) 完成且可跨父混合；父界预留取首个就绪父项的至多 B 个兄弟并保持其余条目的相对顺序。两种策略只改变物理批次，不改 Grain 身份、成员关系或重建顺序。物理 Grain 生命周期为 waiting→ready→reserve in-flight→commit sealed；in-flight→retry ready；waiting→terminal sealed。已完成父项可立即推进下一阶段，而其他父项仍在产生兄弟。 （4）提交、失败与恢复。类型化 RecordFailure 是单 Grain 的终态；类型化 GroupFailure 为 (Call, parent) 安装局部抑制屏障：已入队兄弟在调度前被抑制，在途兄弟可完成但不能提交，已提交兄弟不受影响，无关父项与队列保持存活。非类型化 UDF 异常或基础设施失败是物理尝试失败：运行期可重试该 Grain，或替换 actor 并以更高代数重放，保持 Grain 身份不变。报告 r 只在满足 phase(G)=IN-FLIGHT ∧ r.grain=G ∧ r.generation=generation(G) 时被接受；接受的报告封存 Grain 并原子发布终态事实，代际检查拒绝重试/actor 替换后的陈旧或重复报告。 （5）语义契约。对已验证的有限无环 1:M 程序 P 与固定逐 Grain 结果 Ω，S_{P,Ω}(σ) 表示合法物理调度 σ 下的最终 Item 及其谱系顺序。契约要求任意两个合法调度的结果相等：S_{P,Ω}(σ1)=S_{P,Ω}(σ2)。该等式由四个不变量保证：批无关的 Grain 身份、唯一单调的谱系事实、代际栅栏化重试、按序号的 Reduce。若 UDF 还对批形状、输入顺序与随机性不变，保证扩展到负载字节；否则仅覆盖结构与终态。 （6）实现。RayOrch 是 Ray 上的 Python 层：每个 Call 对应一个持久 Ray actor 池，driver 保存编译计划、谱系元数据与待定 ObjectRef；负载留在 Ray object store，actor 句柄与引用只是物理执行状态，不进入 Grain 的逻辑身份。模型阶段是 Python 类，经 RayModule 包装，实现批 UDF 签名 List[Object]→List[Object]：n 个输入 Grain 对应 n 个输出值，展开行本身可为列表；worker 校验声明的参数个数与长度、存储输出列、并为每个输出 Port 返回逐 Grain 报告。UDF 不维护父 ID 或排序。阶段生命周期遵循 Torch 模块模式：__init__ 加载模型等重资源，run 执行批计算，持久 actor 摊薄初始化成本。适配器覆盖 MinerU 的渲染/页 OCR/组装（使用其 1.2B 参数 VLM）、Docling 的 layout/OCR/表格，以及 Qwen2.5-VL-7B 视频流水线的解码后模型与按源归并。

评估围绕四个研究问题展开：端到端性能与强扩展性、增益归因、FIFO 调度在父到子重批之上的附加收益、以及运行期谱系对注定失败兄弟工作的抑制。作者在统一 GPU 硬件平台上，用 MinerU、Docling 文档流水线与视频流水线，对比 Ray Data、Daft、原生 MinerU 与 Docling Serve；同时进行固定输入的强扩展扫描、固定分配对比、阶段窗口重叠分析、流式/重批/FIFO 三级消融，以及干净-中毒成对运行的受控故障注入，并单独校验身份、顺序、完整性与失败结果。总体结论是 RayOrch 在文档与视频负载上取得接近线性的扩展、在固定分配下领先各基线，且 FIFO 与谱系级故障隔离都带来可测量的收益。

1. MinerU 强扩展接近线性：处理时间随 GPU 数从 4 增至 64 而大幅下降，64 GPU 相对 4 GPU 达到 15.14 倍加速，约为理想线性扩展的 94.6%。

   On MinerU, processing time falls from 15.26 hours on 4 GPUs to 1.01 hours on 64 GPUs; the intermediate 2.02 × 2.02\times , 4.01 × 4.01\times , and 7.92 × 7.92\times speedups at 8, 16, and 32 GPUs lead to 15.14 × 15.14\times at 64 GPUs, or 94.6% of ideal linear scaling.

2. 在固定 64 GPU 的端到端对比中，RayOrch 处理全部有效页面的墙钟时间与吞吐均优于 Ray Data、Daft 与原生 MinerU，墙钟分别降低 13.1%、29.0%、51.6%。

   In the separate 64-GPU E2E comparison, RayOrch processes 174,744 valid pages in 4,295.7 seconds at 40.6788 pages/s, reducing wall time by 13.1%, 29.0%, and 51.6% versus Ray Data, Daft, and native MinerU; its throughput is correspondingly 15.1%, 40.8%, and 106.6% higher.

3. 视频负载在 8 GPU 时三者接近，但在 64 GPU 时 RayOrch 以 0.42 小时完成并获得 7.82 倍加速，优于 Ray Data 的 7.60 倍与 Daft 的 6.24 倍。

   The video systems begin at near parity on 8 GPUs, taking 3.32, 3.30, and 3.33 hours for RayOrch , Ray Data, and Daft, but diverge as the allocation grows: at 64 GPUs, RayOrch finishes in 0.42 hours with 7.82 × 7.82\times speedup, compared with 0.43 hours and 7.60 × 7.60\times for Ray Data and 0.53 hours and 6.24 × 6.24\times for Daft.

4. Docling 负载上 RayOrch 在 4 GPU 完成，端到端时间比 Ray Data 低 16.0%、比 Docling Serve 低 22.3%。

   On the 2,000-PDF Docling workload, RayOrch finishes on 4 GPUs in 9,489.07 seconds at 0.2107 documents/s, reducing E2E time by 16.0% versus Ray Data and 22.3% versus Docling Serve.

5. RayOrch 的增益来源是父级本地完成使组装/上传与 OCR 重叠，避免了基线在后 OCR 阶段的全局重组尾部。

   RayOrch ’s 3,625-second OCR window runs concurrently with its 3,628-second assembly and 3,633-second upload windows, and the run finishes in 4,295.7 seconds.

6. 在消融中，启用 FIFO 调度在 1:M 重批基础上进一步把墙钟时间从 634.1 秒降到 579.3 秒，即额外降低 8.6%。

   enabling FIFO lowers wall time from 634.1 to 579.3 seconds, an absolute saving of 54.8 seconds and an 8.6% reduction. Equivalently, the variant without FIFO is 9.5% slower than the full system.

7. 受控故障注入中，RayOrch 在 UDF 执行前抑制 6,241 个注定无用的兄弟 Grain，并把成对墙钟时间平均降低 14.93%，而基线几乎无变化。

   RayOrch prevents 6,241 ready siblings (26.5% of poisoned-parent siblings and 13.7% overall) from entering the UDF, reducing non-trigger UDF calls from 45,408 to 39,167. Across the three pairs, RayOrch reduces paired wall time by 14.65–15.24% (14.93% mean), whereas Ray Data changes by 0.16–0.22% (0.18% mean) and Daft by − 0.16 -0.16 –1.19% (0.36% mean).

8. 故障注入实验针对 99 个最大父节点注入失败，这些父节点仅占文档的 5.25% 却占页面的 51.9%。

   We inject a failure into page 0 of each of the 99 largest parents, which account for 5.25% of documents but 51.9% of pages.

Novelty：新颖性中等偏上。单独看，声明式扇出/归并、FIFO 队列、actor 池与代际栅栏都不全新；但论文把"结构谱系作为在线调度与完成控制状态"同跨父批处理解耦，并把有序可变基数展开-归并做成编译器校验的一等契约，是对既有设计空间的有意义填补。与 Ray Data/Daft 的对照清晰，但缺乏与更近期自适应系统或嵌套数据系统的深入比较；新颖性主要体现在系统抽象的重新组合与工程化，而非全新理论。 Soundness：可靠性中等偏上。设计描述较严谨：终态事实、传播优先级、代际栅栏公式与四不变量语义契约均有明确说明；实验覆盖端到端、强扩展、阶段重叠、消融与故障注入，并单独校验正确性。但缺少形式化证明（只有陈述式契约），主性能对比未报告重复次数或方差，且仅在一类 GPU 上评估；基线差距可能部分来自各系统流水线实现质量而非模型本质差异。因此结论可信，但强度有限。 Significance：意义中等到较高。基础模型数据准备是当前热点且有真实工业需求；RayOrch 已开源并适配 MinerU、Docling 与 Qwen 视频流水线，实用迁移价值明显；把父级本地完成、跨父批处理与类型化故障隔离统一起来，对需要"细粒度并行+强结构保证"的文档/视频数据流有直接意义。但性能增益属于中等改进，且适用范围被限定在有限无环层级流，不覆盖通用 join/窗口/反馈，限制了更广泛数据流场景的采用。

范围限定：仅支持有限、无环、一父多子层级数据流，明确不支持通用 join、跨微批窗口、反馈，有序归并也限定在每个源微批内，无法表达多对多关联或迭代训练反馈。正确性论证：语义契约以等式与四个不变量陈述，但无形式化证明或模型检验，对并发提交、代际重放、actor 替换下的原子性只做描述。评估单一性：所有实验在同一 GPU 平台，文档与视频负载种类有限，最大只到 64 GPU，未测更大规模或 CPU 密集阶段的单独扩展，主性能结果未报告重复/方差。基线公平性：Ray Data/Daft 的性能差距可能部分来自其流水线的后 OCR 重分组方式，论文未充分探索这些系统内能否避免该屏障。故障模型：只测试 page 0 的合成 GroupFailure，对非类型化 UDF 异常、基础设施故障、部分提交与跨 actor 一致性的评估较少。谱系开销：未讨论长尾扇出下谱系元数据的内存/序列化成本、元数据服务的可扩展性、检查点或持久化恢复代价。批处理语义：对负载字节的保证依赖 UDF 对批形状、输入顺序、随机性不变，需用户自行满足。

后续可沿几个方向推进。一是形式化验证：为代际栅栏、传播优先级与四不变量提供证明或模型检验，建立并发下提交原子性的形式保证。二是扩展表达力：加入窗口化归并、跨微批聚合、反馈/迭代，以及与 join 的受限集成，扩大适用范围。三是长尾偏斜处理：针对子数量长尾研究自适应父界保留、动态再平衡与谱系状态压缩/外存化，避免热点父项阻塞。四是故障语义泛化：支持用户定义的局部恢复策略、部分成功归并、多类型 GroupFailure 传播以及跨 actor 的分布式屏障一致性。五是多后端与异构硬件：移植到 Daft/Spark 后端、CPU/GPU 混合与更大规模多节点，验证谱系引擎的可移植性。六是基线深化：系统拆解 Ray Data/Daft 的尾部，证明增益来自模型本质而非实现选择，并增加更多数据系统与工作负载。七是持续性与审计：把运行期谱系持久化为溯源/审计记录，支持可复现性与数据治理，同时控制开销。

本文属于工具调用智能体的在线强化学习后训练方向，核心贡献是提出一种结构轴上的信用分配机制 SLCA，并将其嵌入 GRPO 形成 SLCA-GRPO。作者把问题定位为「Global Signal Conflation→跨段信用错配」：标准 GRPO/PRM 将工具执行与最终摘要的回报先聚合再归一化，使摘要奖励噪声进入工具 token 的优势估计。与已有工作的区分较为清晰：VinePPO/GiGPO/SPO 走时序轴，ToolPO 走加性本地奖励，RLTR 拆分 planner/summarizer；SLCA 走结构轴（执行 vs 表达），在单个统一策略内分别归一化并锁定路由，零额外 rollout 成本，并声明与时序方法正交可组合。论文的实证目标是跨三尺度、三基准证明该结构修复能带来可测收益，并用消融定位路由、模拟器与分层奖励三个组件的贡献。

LLM 从被动聊天到主动智能体的关键，是借助外部工具进行规划与执行。SFT 能给出强初始化，但依赖模仿固定模式，在 MCP 等大规模、快速变化的工具命名空间下脆弱，因此需要在线策略 RL 后训练超越模仿。工具调用与推理任务相似：轨迹在最终答案前存在中间工作，但它额外带有结构化 API 调用、环境注入观察与 schema 约束等可验证边界，使 rollout 可自然分解为工具段与摘要段。标准 GRPO 把统一轨迹级优势广播给所有 token；PRM 也先把 R_total=R_tool+R_sum 聚合再做优势估计。作者称此为 Global Signal Conflation，并指出其结构失败模式：摘要奖励波动进入工具 token 优势，形成跨段信用错配；在符号冲突区，失败工具调用后接正确摘要会被强化，正确工具调用后接错误摘要会被惩罚。现有缓解不关闭该通路：时序方法（VinePPO/GiGPO/SPO）处理逐步信用但仍用统一回报；ToolPO 增加本地工具奖励但摘要相关噪声仍到达工具 token；RLTR 分离 planner 与 summarizer 但放弃统一骨干。诊断性证据显示标准 GRPO 存在梯度不稳定尖峰，而工具/摘要梯度方向近似正交，作者据此把问题归因于优势幅值污染而非梯度方向冲突。此外，可扩展的工具智能体训练依赖模拟/仿真环境，因为真实 API 在 RL 规模下昂贵、不稳定或不可用；SGLS 沿此传统，但把 schema 作为控制平面以提供分段反馈。

一、总体设计。SLCA-GRPO 把诊断转化为三个设计需求：显式暴露结构化 token 段、获得分段反馈、在优化前阻断跨段优势。框架通过掩码分段、HierR 分段回报、SLCA 路由、SGLS rollout 与统一 PPO 目标实现，区别于事后梯度投影方法。 二、分段与掩码。给定指令 x~D，策略生成 y=(y_1,...,y_T)，分解为 y=[y_tool⊕y_sum]：y_tool 是推理痕迹与结构化工具调用的执行轨迹，y_sum 是面向用户的最终自然语言回答。二进制掩码 m_{i,t}∈{0,1} 标记可学习策略 token（1）与冻结环境上下文（0），既限制梯度只传到智能体动作，又为自动分段提供结构信号。自动分段不训练辅助分段器：摘要段 T_{i,sum} 定义为最后一个可学习 token 连续段 [s_{i,K_i},e_{i,K_i})，工具段 T_{i,tool} 是之前所有可学习连续段的并集，覆盖工具调用之间的中间思考块。该确定性映射保证每个梯度 token 唯一归属一个语义角色；边界情况（K_i=1 无环境注入）下工具段为空、整体当摘要处理，若任务需要工具却无解析调用则触发漏调惩罚守卫。 三、HierR 分段回报。为使分段路由有意义，回报也须分离执行质量与表达质量：R(y)=R_tool(y_tool)+R_sum(y_sum|y_tool,o)。HierR 实例化为：(i) 过程奖励 S_process，是对工具正确性与效率的稠密、结构感知评分，由五个加权分量（格式、工具名、键、值、并行度）构成；(ii) 摘要偏好 S_summary，是评估最终答案质量的终止分。第 i 条 rollout 直接计算 R_i^tool=S_process(y_{i,tool})，R_i^sum=S_summary(y_{i,sum}|y_{i,tool},o_i)（公式 1）。默认权重与匹配逻辑见附录。 四、SLCA 核心机制。(1) 解耦优势估计：对组内各 rollout，两条分段回报分别独立归一化（公式 2），Â_i^tool=(R_i^tool−μ_g^tool)/(σ_g^tool+ε_norm)，Â_i^sum=(R_i^sum−μ_g^sum)/(σ_g^sum+ε_norm)。(2) token 级路由（公式 3）：Â_{i,t}^SLCA 对 t∈T_{i,tool} 取 λ_tool·Â_i^tool，对 t∈T_{i,sum} 取 λ_sum·Â_i^sum，环境 token 取 0。这一构造只改变每个 token 上附加的标量优势，不拆分模型、不需要额外 rollout：工具 token 只被执行质量更新，摘要 token 只被回答质量更新，摘要奖励仍训练最终表达但不再给工具决策 token 供梯度。 五、理论性质。核心是逐更新优势隔离：工具 token 梯度分量对摘要回报无函数依赖，∂g_tool^SLCA/∂R_sum=0（公式 4）。局部得分函数分析进一步给出：(a) 条件噪声方差移除——把 R_sum 建模为确定期望 R̄_sum(y_tool) 加零均值噪声 ξ（方差 σ_ξ²>0），SLCA 从工具更新中移除正的摘要噪声方差项 E[w_i²||U_tool||²·σ_ξ²]（公式 10-16）；这是条件、逐更新保证，不是全局无偏优化声明。作者明确承认：统一估计器无分组偏差但暴露工具 token 于摘要条件噪声，SLCA 接受摘要侧分组偏差但将其限制在摘要 token，构成偏差-方差权衡。(b) 方向保真——在冲突区（Â_tool<0 惩罚、Â_sum>0 奖励），若 βσ_sum>ασ_tool，标准 GRPO 的内积 (ασ_tool−βσ_sum)||∇||² 为负，即朝错误方向更新、强化失败；SLCA 保持 -α∇log π 的惩罚方向。附录给出 R_tool=0.65 失败工具 + R_sum=1.0 完美摘要的具体实例。 六、稳定性实现细节（附录 A.3）。存在性过滤：工具使用天然稀疏，某些 rollout 可能无工具段；SLCA 只用该段实际存在的样本子集 I_g^s 计算均值与标准差，当有效组规模 |I_g^s|<2 时直接把优势置 0 禁用更新，避免方差塌缩（公式 17-19）。后归一化加权：λ_tool/λ_sum 必须在 z-score 归一化之后施加，否则线性缩放会被归一化抵消（公式 20）。漏调惩罚守卫：漏调惩罚 R_pen<0 只路由到摘要段（R_i^tool=0，R_i^sum=R_pen，实现中 R_pen=-0.5），直接覆盖加权轨迹分而非作加法惩罚，使「不调用工具直接回答」的负信号只通过摘要 token 传播，抑制过早摘要化。 七、SGLS。为规模化测试结构信用路由，SGLS 在不依赖真实 API 的情况下提供 schema 一致的观察：确定性 schema 校验 + 冻结的跨家族 LLM 模拟响应。非法调用立即获得结构化反馈，合法调用获得合理响应；跨家族设计缓解隐式泄漏，同时保留迁移所需的语义拓扑。 八、目标与训练。单一统一策略用 PPO-clip，把 GRPO 的统一标量优势替换为分段锁定优势（公式 5）：J(θ)=E[1/N Σ m_{i,t}·min(ρ_{i,t}Â^SLCA, clip(ρ,1−ε,1+ε)Â^SLCA)]，ρ=π_θ/π_old，并施加逐 token KL 惩罚 β D_KL(π_θ||π_ref)；G 为 rollout 组大小，N 为有效 token 总数。训练数据：Toucan-1.5M 经多阶段过滤得到 42,423 条 SFT 与 31,818 条 RL 样本（单轮 + 分解多轮），评估用 4,000 条 held-out Toucan-Test（3,000 原生单轮 + 1,000 分解多轮）。匹配对比中 SFT+GRPO 与 SFT+SLCA-GRPO 共享同一数据划分、SFT 初始化、SGLS 端点、mocker、解码、组规模 G=16、单 RL epoch 与 HierR 奖励，唯一差异是统一 vs 分段锁定优势计算。

实验分三部分：诊断统一/加性信用信号下的失败模式，检验跨 schema 与长程交互的迁移，以及消融 SLCA、SGLS、HierR。设置覆盖三个主干（Qwen2.5-3B/7B-Instruct、Qwen3-8B-Base）与三个基准（Toucan-Test 域内、BFCL V3 泛化、τ²-Bench 动态双控鲁棒）。对比六类范式：原始骨干、SFT、SFT+GRPO（匹配基线）、ToolPO、RLTR（适配）与 SFT+SLCA-GRPO；其中匹配对比在数据划分、初始化、模拟器、mocker、解码、组规模、RL epoch 数与分层奖励上保持一致，只改统一/分段锁定优势。总体结论是：SLCA-GRPO 在三主干、三基准的主对比上均值高于匹配 GRPO；消融显示去掉 SLCA、SGLS 或 HierR 任一组件都会使性能下降；执行奖励替换与权重敏感性实验下结论保持稳健；训练动态显示 SLCA-GRPO 以更少平均工具轮数获得更高成功率，而标准 GRPO 稳定在更长轨迹却无对应成功率收益，与「统一信号可刷高代理奖励但损害可执行工具行为」的诊断一致。

1. 域内 Toucan 主结果：Qwen2.5-7B-Instruct 上 SLCA-GRPO 严格 Success@0.9 三次运行均值为 79.13%，比匹配 GRPO 高 2.53 pp；3B 与 8B 对应均值差距分别为 +2.35 pp 与 +2.05 pp。

   On Qwen2.5-7B-Instruct, SLCA -GRPO has a 79.13% three-run mean for strict Success@0.9, 2.53 pp above matched GRPO. The corresponding mean gaps are +2.35 pp on Qwen2.5-3B-Instruct and +2.05 pp on Qwen3-8B-Base.

2. BFCL 泛化：Qwen3-8B-Base 上 SLCA-GRPO 总体准确率 70.31±0.50%，高于匹配 GRPO 66.96±0.32% 与 SFT 68.50±0.35%；7B/3B/8B 对标准 GRPO 的差距为 +1.36/+0.40/+3.35 pp。

   On BFCL ( Figure 3(a) ), SLCA reaches 70.31 ± \pm 0.50% Overall Accuracy on Qwen3-8B-Base, compared with 66.96 ± \pm 0.32% for matched GRPO and 68.50 ± \pm 0.35% for SFT. The 7B BFCL gap over standard GRPO is +1.36 pp; the corresponding gaps are +0.40 pp on 3B and +3.35 pp on 8B.

3. τ²-Bench 鲁棒性：三次运行均值下匹配差距为 3B +1.09 pp、7B +9.15 pp、8B +10.03 pp。

   On τ 2 \tau^{2} -Bench, the matched gaps are +1.09 pp (3B), +9.15 pp (7B), and +10.03 pp (8B), all based on three-run means.

4. Toucan 7B 全表：SLCA-GRPO 的 Name F1/ArgMatch/Process/Success 为 0.9164/0.8353/0.8766/0.7913，匹配 GRPO 为 0.8971/0.8350/0.8667/0.7660，同时 RLTR 与 ToolPO 各行较低。

   SFT+GRPO | 0.8971 ± \pm .0093 | 0.8350 ± \pm .0148 | 0.8667 ± \pm .0061 | 0.7660 ± \pm .0127 RLTR | 0.7673 ± \pm .0132 | 0.6346 ± \pm .0205 | 0.7022 ± \pm .0143 | 0.6545 ± \pm .0168 ToolPO | 0.3042 ± \pm .0168 | 0.3552 ± \pm .0192 | 0.3408 ± \pm .0157 | 0.2000 ± \pm .0136 Ours | 0.9164 ± \pm .0075 | 0.8353 ± \pm .0132 | 0.8766 ± \pm .0045 | 0.7913 ± \pm .0105

5. 7B 消融：完整 SLCA-GRPO 的 Toucan Success 为 0.7913、τ² Pass1 为 0.4102；去掉 SLCA 降至 0.7660/0.3187，去掉 SGLS 为 0.7802/0.3619，去掉 HierR 为 0.7344/0.3450。

   SLCA -GRPO | 0.8766 ± \pm .0045 | 0.7913 ± \pm .0105 | 0.6977 ± \pm .0047 | 0.4102 ± \pm .0101 w/o SLCA | 0.8667 ± \pm .0061 | 0.7660 ± \pm .0127 | 0.6841 ± \pm .0011 | 0.3187 ± \pm .0297 w/o SGLS | 0.8787 ± \pm .0051 | 0.7802 ± \pm .0112 | 0.6875 ± \pm .0048 | 0.3619 ± \pm .0195 w/o HierR | 0.8521 ± \pm .0083 | 0.7344 ± \pm .0121 | 0.6907 ± \pm .0046 | 0.3450 ± \pm .0144

6. 执行奖励替换实验：用二元 R_succ 替换 S_process 后，SLCA-GRPO 仍领先匹配 GRPO，Toucan/BFCL/τ² 分别 +2.92/+1.33/+4.64 pp。

   SFT+GRPO (w/o SLCA) | 73.51 ± \pm 1.45 | 66.28 ± \pm 0.32 | 25.54 ± \pm 2.13 SLCA -GRPO | 76.43 ± \pm 1.21 | 67.61 ± \pm 0.51 | 30.18 ± \pm 1.76 Δ \Delta | +2.92 | +1.33 | +4.64

7. HierR 权重敏感性：Uniform 配置仍高于匹配 GRPO（BFCL +0.77 pp、τ² +6.75 pp），Default 配置在测试设定中数值最高。

   The Uniform configuration sets S par = 0.20 S_{\text{par}}=0.20 and remains above the matched GRPO baseline on BFCL and τ 2 \tau^{2} -Bench (+0.77 pp and +6.75 pp, respectively). The Default configuration has the highest values among the tested settings.

8. RLTR 在 τ² 上低于 SLCA：7B 为 0.3372 vs 0.4102，3B 为 0.2850 vs 0.3563，受限于其冻结摘要器。

   RLTR trails SLCA on 7B (0.3372 vs. 0.4102) and 3B (0.2850 vs. 0.3563), constrained by its frozen summarizer in tasks requiring full conversational agent loops.

9. 支持控制实验：关闭摘要到工具的支持路径在 τ²-Bench 上有 5.51 pp 主效应，而 w/o SLCA 匹配比较同时改变了归一化与 token 支持。

   closing the summary-to-tool S → T S\!\to\!T support path has a 5.51 pp main effect on τ 2 \tau^{2} -Bench, whereas the matched w/o SLCA comparison changes normalization and token support together.

10. 梯度范数稳定性诊断：SLCA 的标准差低于 GRPO，相对降低为 3B 25.0%、7B 13.1%、8B 2.5%。

    Model Backbone | Ours Std ( σ SLCA \sigma_{\text{SLCA}} ) | Baseline Std ( σ Base \sigma_{\text{Base}} ) | Improvement ( ↓ \downarrow ) Qwen2.5-3B-Instruct | 0.156 | 0.209 | 25.0% Qwen2.5-7B-Instruct | 0.094 | 0.108 | 13.1% Qwen3-8B-Base | 0.312 | 0.320 | 2.5%

Novelty：新颖性属于中等偏上。核心思想——按结构段分别归一化优势并在统一策略内锁定路由——在工具调用 RL 中是有针对性的新机制：它把诊断对象从「梯度方向冲突」纠正为「优势幅值污染」，并给出可形式化的隔离、方差移除与方向保真性质。与现有工作的边界划分清楚：时序方法（VinePPO/GiGPO/SPO）处理逐步信用但保留统一回报，ToolPO 只是加性增强，RLTR 放弃统一骨干；SLCA 声明与时序方法正交可组合。不过，实现层面本质是「分段掩码 + 分段 z-score 路由」，在诊断明确后属于较为直接的构造，SGLS/HierR 更多是支撑性工程；因此新意主要来自问题定义与结构性修复的清晰度，而非算法复杂度。 Soundness：方法学上较扎实：匹配对比严格控制了数据、初始化、模拟器、组规模、epoch 与奖励，使 SLCA 与 GRPO 的差异只来自估计器；多次运行给出均值与标准差；消融与执行奖励替换、权重敏感性实验增强了稳健性。理论部分审慎地把结论限定为条件、逐更新保证，并明确承认偏差-方差权衡与 A_sum 分组偏差，没有过度宣称。主要扣分点：Toucan 的 Success@0.9 是对过程分的阈值化而非独立任务结果；ToolPO/RLTR 使用各自特定协议，非完全匹配，直接数值对比需谨慎；三次运行的统计功效有限；梯度范数标准差是描述性指标，缺乏显著性检验；规模止于 8B 且为模拟环境。总体 soundness 良好，但证据强度部分依赖协议设计与解释。 Significance：若其诊断成立，该工作对工具调用智能体的在线后训练有实际意义：SLCA 零额外 rollout、单策略、可与时序信用方法叠加，修复成本低，便于工业化部署；对 MCP 等大规模命名空间下的可执行性尤其相关。论文在三尺度、三基准上给出正向信号，τ²-Bench 上幅度较大，域内与 BFCL 的提升较温和。限制显著性的因素：尚未与 VinePPO/GiGPO/SPO 组合验证其「正交可组合」主张；未在更大模型或真实 API 上验证；部分收益可能来自奖励协议而非结构性修复本身。总体看，这是一个有启发性、可落地的结构性修复，值得领域关注，但离「改变训练范式」尚有距离。

论文自身列出的局限包括：(1) 分段假设——SLCA 假定工具调用与自由文本之间有清晰边界，内联代码生成等无明确边界的场景需要学习式分段器；(2) 奖励偏差——S_process 依赖与金标轨迹匹配，当多种合法工具序列都能完成同一请求时可能低估替代方案，执行式判断器（附录 D.12）只是补充；(3) Toucan 严格 Success@0.9 是对过程分的阈值化，而非独立任务结果标签；(4) A_sum 分组偏差——SLCA 仍在组内跨不同工具后状态归一化摘要回报，不是状态条件值估计，显式子分组会使有效组规模按 G/C^K 指数衰减；(5) 工具段内时序信用未解决——单个标量 A_tool 路由到全部工具 token，无法区分 Action 1 与 Action 2，且未测试与 VinePPO/GiGPO/SPO 的组合；(6) 规模与仿真——模型止于 8B、环境为 SGLS，更大规模与真实 API 对比留待未来。此外可补充的观察：三次运行均值统计功效有限，无显著性检验；ToolPO/RLTR 的协议非完全匹配，交叉比较需谨慎；诊断证据（梯度范数、成功率与轨迹长度的相关性）是描述性的，不能严格确立因果。

后续工作可从五条线展开。其一，组合验证：把 SLCA 的工具段内部再接入 VinePPO/GiGPO/SPO 的时序信用分配，检验「结构轴×时序轴」是否叠加增益，这是论文最直接的开放主张。其二，分段泛化：对代码生成、内联工具调用或无明确终止块的任务，训练轻量分段器或引入概率软分段，使路由不依赖「最后一个连续段=摘要」的启发式。其三，摘要优势去偏：用软分组、层次归一化或学习式价值函数/树搜索 rollouts 替代跨状态 z-score，缓解 A_sum 分组偏差而不指数缩小有效组规模。其四，奖励协议升级：把执行式 R_succ 作为默认工具回报以减少金标匹配偏差，并系统研究过程奖励各权重的鲁棒性与可迁移性。其五，规模化与真实环境：在更大主干、MCP 规模命名空间、真实 API 或混合仿真-真实环境上验证，并补充更多运行次数与显著性检验；理论上也可把局部方差结论推广到完整 GRPO 组归一化的全局协方差。

Scaling language models to long contexts is limited by the quadratic cost of self-attention. Block sparse attention offers an efficient alternative, but selecting the retained blocks remains a bottleneck. Conventional block selection requires scoring all query-block pairs and therefore remains quadratic in sequence length. To address this issue, we propose PISA, a block-sparse attention mechanism that employs a pyramid Top-K selection strategy. The main idea is to gradually narrow down the candidates across different levels, making it more efficient to find the most relevant keys. Specifically, we construct a coarse-to-fine hierarchy of keys and perform selection from the coarsest level. At each level, LogSumExp scoring is applied to a bounded candidate set to select candidates for the next finer level, continuing until the finest level is reached. Through pooling, we construct O(log N) levels of keys, yielding an overall complexity of O(Nlog N), where N denotes the sequence length. We

仅依据摘要，无法可靠判断方法 soundness 与实验充分性，请以原文为准。

本文是一篇面向真实机器人、以大型视觉-语言-动作（VLA）模型为对象的在线强化学习（RL）后训练工作。它不试图取代预训练或演示模仿，而是在任务微调之后引入第二阶段真实交互，以突破演示上限，解决高精度操作（化学实验中的转移、插拔、对齐等）中演示策略残留误差导致的间歇性失败。其定位夹在两条已有路线之间：仿真 VLA-RL 可扩展、成本低，但视觉与接触动力学的 sim-to-real 差距使其难以用于精密操作；紧凑策略的真实 RL 效率较高，但任务内泛化与先验能力有限。本文主张直接对大型预训练 VLA 做真实世界在线 RL，并以两个瓶颈为切入点：算法稳定性（价值估计不可靠引发策略漂移）与系统效率（大 VLA 计算开销限制吞吐和样本效率），分别提出 ACoB 算法与 ACoB-Stream 架构，形成 VLA-Precision 框架。

预训练 VLA 通过大规模多模态数据获得广泛可迁移能力，少量任务演示即可执行多样操作并泛化。但“广泛适应”不等于“精密高效”：关键阶段的小残差仍会造成间歇失败。行为克隆（BC）直接学习演示动作，分布外误差会累积，性能受演示质量封顶；RL 通过时间信用分配从交互中学习长期动作价值，有望突破演示上限。已有工作分为仿真与真实两类：仿真 VLA-RL 支持大规模并行、容错交互，但 sim-to-real 差距在精密操作中导致对齐误差与接触不稳；真实世界 RL 分为“大预训练 VLA 的 RL”和“紧凑机器人策略的 RL”两类。后者如 HIL-SERL、ConRFT、Robo-Dopamine 在接触丰富任务上有效，但任务内泛化有限、绝对 Q 最大化易牺牲先验性能并漂移、或依赖过程奖励模型的 OOD 幻觉；前者如 π*0.6、RL Token 保持更广动作先验，但需大量真实 rollout（数百到上千次）或把改进外置到辅助策略，端到端适应受限。算法层面，已有方法多用 BC 约束稳定探索，但很少改进价值估计本身，RL 更新仍受价值误差影响；系统层面，紧凑策略的异步 actor–learner 与重放优化不能直接迁移到大 VLA，EXPO-FT/RL Token 通过不把梯度传过 VLA 来降本，却把奖励改进限制在辅助策略中，难以在统一策略内累积。本文据此提出 ACoB（快速行为学习与渐进价值校准跨时间尺度耦合）与 ACoB-Stream（围绕经验-上下文状态与策略状态生命周期的流式训练架构），目标是在有限真实交互、有限演示与有限人工干预下，把大型 VLA 稳定地优化到高精度操作水平。

一、问题形式化与参数化。Stage I 在任务演示上做全参数模仿学习，得到任务先验 Θ_IL；Stage II 从 Θ_IL 初始化真实在线 RL。任务建模为 MDP M_ℓ=(S,A,P,r,ρ0,γ̄)，状态 s_t=(o_t,q_t,ℓ) 包含视觉、机器人状态与指令；动作为 H 步动作块 a_t=(u_{t,0},…,u_{t,H-1})，执行块得到块级回报 R_t^(H)=Σ_{h=0}^{H-1} γ^h r_{t,h}，块级折扣 γ̄=γ^H。策略从微调后的 π_0.5 初始化，只优化动作专家中的 LoRA 参数 θ：Θ_f 为冻结的多模态前缀参数，ψ 为 Stage I 继承的冻结动作专家参数；动作生成为 a_t=G_{ψ,θ}(z_t,ε_t)，其中 z_t=F_{Θ_f}(o_t,ℓ,q_t) 是多模态前缀上下文，ε_t~N(0,I)，G 是 flow-based 动作专家。目标是最大化 J(θ)=E[Σ_t γ̄^t R_t^(H)]。闭环异步过程为：Actor 用部署参数 θ̄_n 采 rollout τ_n，写入经验池 E_n（含重放缓冲 R、修正缓冲 C、上下文缓冲 K）；Learner 从批 B_n 用 ACoB 更新 θ_n，再同步部署 θ̄_{n+1}。 二、ACoB 的 critic 设计。价值模型为 K 个任务特定 critic 的集成，采用价值-优势分解 Q_{φ_k}(ω,â)=V_{φ_k}(ω)+A_{φ_k}(ω,â)，其中 ω_t=(o_t,q_t) 是视觉-本体感觉分量。动作块先经 OpenPI 归一化 ã=T_t(a)，再展平为 â=C(ã)=vec(P_c ã_{0:H})，P_c 剔除无效动作维度。这一分解把状态价值 V 与动作依赖的 A 分开，是后续偏好排序只作用于 A、避免干扰状态价值的关键。 三、全局回报传播（TD）。设 a_t^exec 为实际执行块（自主推理或人工修正）。每条转移 ξ_t=(s_t,a_t^exec,r_t,s_{t+1},d_t)，r_t 为 H 步逐步奖励向量。对 s_{t+1} 用当前策略采样 bootstrap 动作 â_{t+1}^{θ_n}=C(G̃_{ψ,θ_n}(z_{t+1},ε))，构造 TD 目标 y_t=R_t^(H)+γ̄(1-d_t) min_k Q_{φ̄_k}(ω_{t+1},â_{t+1}^{θ_n})，再最小化 L_TD=E[1/K Σ_k (Q_{φ_k}(ω_t,â_t^exec)-sg(y_t))²]。目标 critic 取 min 是悲观集成，抑制过估计；递归 bootstrap 沿执行轨迹传播长程回报。 四、局部偏好排序。关键动机：若人工修正在中途覆盖了策略提议并最终成功，TD 只看到“被执行的动作”，被覆盖的原提议没有后继观测，可能保持被高估，误导后续策略改进。为此保留原提议 a_t^prop。干预标志 i_t=1 时执行 a_t^hum，否则执行 a_t^prop；有效性条件 c_t=1 当且仅当 i_t=1 且 ||â_t^exec-â_t^prop||₂>ε_a。原提议不进入 TD，只在状态匹配的排序损失中校准：L_rank=E_{c_t=1}[1/K Σ_k [m_c-ΔA^pair_{t,k}]₊²]，其中 ΔA^pair_{t,k}=A_{φ_k}(ω_t,â_t^exec)-A_{φ_k}(ω_t,â_t^prop)，m_c 为排序间隔。该损失强制“修正动作的优势高于原提议”，直接修复局部信用模糊。总 critic 目标 L_critic=L_TD+λ_rank L_rank（λ_rank=50）。由于 Q=V+A，V 是跨动作共享的状态分量，排序梯度只进入 A，从而隔离动作依赖差异。 五、相对优势策略改进。为把价值信号转成可靠策略梯度，ACoB 不直接最大化绝对 Q（会放大早期价值误差、驱动策略漂移），而是做成对优势比较。当前策略与冻结参考 θ_0 用同一噪声 ε 解码，得到 â_t^θ 与 â_t^ref，消除随机解码扰动；再在同一 critic 内先求优势差、后做悲观集成。记 A_{t,k}^x=A_{φ_k}(ω_t,â_t^x)，x∈{θ,ref,prop}。比较基线 b_{t,k}=A_{t,k}^ref+c_t[A_{t,k}^prop-A_{t,k}^ref]₊：无修正时等于参考优势 A^ref，有修正时等于 max(A^ref,A^prop)。悲观相对优势 ΔA_t=min_k[A_{t,k}^θ-sg(b_{t,k})]，只有当所有 critic 都认为当前动作优于基线时才为正。策略目标 L_rel=E[κ softplus((m_π-ΔA_t)/κ)]，m_π 为期望优势间隔，κ 控制软度；critic 与比较分支冻结，梯度只经 â_t^θ 流入 θ。softplus 软间隔避免在已充分改进后继续追逐 critic 分数，起稳定作用。 六、Flow-matching 行为克隆与参考正则。BC 数据包括任务演示、成功的在线执行和有效人工修正（指示 χ_t^beh=1），损失 ℓ_t^FM=1/(H d_m)||[v_{ψ,θ}(x_η,z_t,η)-u_η]_{0:H}||²_F，即预测 flow 速度。与把 BC 仅作分布约束的既有方法不同，ACoB 让 BC 在早期快速吸收人工修正、改善行为并提升后续经验质量。冻结参考 θ_0 则提供参考正则，限制偏离任务微调策略。整体策略目标权重为 (w_BC,w_rel,w_ref)=(0.25,0.50,0.25)。 七、非对称协同自举的直觉。快时间尺度上，干预引导的行为学习迅速吸收成功与修正动作，改进策略并持续提高在线经验质量；慢时间尺度上，随着自主经验累积，TD 全局回报传播与状态匹配偏好排序逐步校准价值估计，输出越来越可靠的相对优势。两者形成跨尺度闭环：行为学习改善经验，经验改善价值，价值再指导策略。参考正则与悲观相对优势共同抑制漂移。 八、ACoB-Stream 架构。设计原则是“不变状态解耦”与“按需流式”，围绕经验-上下文状态与策略状态的生命周期分四阶段：①经验-上下文形成：跨更新复用冻结 VLM 前缀的 KV 上下文，避免策略更新时重复计算；②经验-上下文持久化：上下文去重 + 磁盘支持的滑动窗口采样，降低存储冗余、限制随机访问开销；③经验-上下文访问：目标对齐的上下文检索，只加载当前/后继所需上下文并按需预取；④策略状态同步：可训练子空间（LoRA）策略分发，降低同步开销、加速部署。四阶段构成闭合的经验-策略流。 九、训练与数据细节。硬件为 4×A800 GPU；初始 reset 范围在 x/y/z 各 3 cm；执行视野用 step-wise delta 且 H_e=3（论文指出更大的 H_e 会因递归误差累积而退化）；Stage I 对 VLA-Precision 用 60–120 条演示、5,000–15,000 步，而 π0/π0.5 基线用 120–200 条演示、25,000–30,000 步 SFT；在线阶段仅更新动作专家的 LoRA。

实验在真实机器人上进行，覆盖化学实验场景下多类高精度操作（接触密集、轻接触、无接触与双臂协调），并在多种机械臂平台上与三类真实世界 RL 基线和两个大型 VLA 基线比较。整体评估报告成功率、单任务训练时长、回合时长与执行速度倍率；在线训练评估报告自主成功率、有效成功率、干预次数与干预率；离线评测在代表性任务上比较演示微调与在线 RL 后的策略，并给出离线成功率与回合时长。系统部分用若干消融式 actor–learner 基线（去 KV 缓存、磁盘全随机采样、朴素上下文访问、动态 CPU 内存方案）衡量更新吞吐与 critic-to-actor 循环延迟。算法消融分别移除 critic 偏好、actor 行为克隆与相对优势改进。结果显示完整方法在成功率、最差任务表现、干预率、训练时间、执行速度、吞吐与延迟上均占优，且每个被移除组件都造成明显退化，说明行为学习、价值校准与相对优势三者缺一不可。

1. 总体性能：VLA-Precision 在九项任务上取得平均最高成功率、平均在线训练时长与平均成功回合时长，并报告成功试验数与最差任务表现。

   Compared with the baselines, VLA-Precision achieves the highest average success rate of 98.3% after an average of 45.8 min of online training per task and completes successful trials in 27.6 s on average. It succeeds in 177 of 180 held-out trials, reaches 100% on seven tasks, and maintains at least 90% success on every task.

2. 相对基线提升：相对两个 VLA 基线的成功率与执行速度提升，以及相对最强真实 RL 基线 Robo-Dopamine 的提升。

   Relative to π 0.5 \pi_{0.5} and π 0 \pi_{0} , VLA-Precision improves average success by 30.5% and 38.9% and improves average execution speed by 8.7% and 15.9%, respectively. Its worst-task success rate is 90%, compared with 10% for π 0.5 \pi_{0.5} and 5% for π 0 \pi_{0} . Relative to the strongest real-world RL baseline, Robo-Dopamine, VLA-Precision improves average success by 88.3% and average execution speed by 61.2%.

3. 在线 RL 训练指标：五个代表性任务上的自主成功率、有效成功率、干预次数与干预率，及相对 Robo-Dopamine 的百分点提升。

   Across the five tasks, autonomous success rate, effective success rate, interventions, and intervention rate average 98.0%, 99.0%, 2,517.4, and 0.024%, respectively. Relative to Robo-Dopamine, the strongest baseline, VLA-Precision raises autonomous and effective success rates by 92.0 and 49.5 percentage points while reducing the rate of human intervention by 40.46 percentage points.

4. 逐任务基线失败：在 2 mL 移液瓶转移任务中，HIL-SERL 无自主成功且干预率极高，ConRFT 与 Robo-Dopamine 自主成功仅达 5%，凸显绝对 Q 最大化的漂移问题。

   HIL-SERL begins with limited task-specific competence and never achieves autonomous success. Its effective success rate remains below zero because assisted success cannot offset the 91.95% final intervention rate. ConRFT and Robo-Dopamine enter with task-specific behavior learned offline and lower intervention rates to 49.70% and 42.84%, yet both end at only 5% autonomous success.

5. 离线 VLA 测试：VLA-Precision 在五个代表性任务共 100 次试验中成功 99 次，相对 π0.5 与 π0 的成功率提升，且四项单臂任务全成功、双臂任务达到 95%。

   Overall, VLA-Precision succeeds in 99 of 100 trials, compared with 61 for π 0.5 \pi_{0.5} and 50 for π 0 \pi_{0} , improving average success by 38 and 49 percentage points, respectively. Notably, it reaches 100% on all four single-arm tasks and 95% on bimanual tube brushing.

6. 离线测试速度：VLA-Precision 的成功回合平均时间低于 π0.5 与 π0。

   VLA-Precision also completes successful trials in 26.65 s on average, compared with 29.32 s for π 0.5 \pi_{0.5} and 32.05 s for π 0 \pi_{0} .

7. 系统吞吐主结果：Disk ACoB-Stream 达到最高更新吞吐与最低 critic-to-actor 循环延迟，相对 No KV Cache 获得吞吐与延迟优势，说明跨更新冻结前缀复用的收益。

   Disk ACoB-Stream achieves the highest update throughput and the lowest mean critic-to-actor (CTA) cycle latency, completing 15,666 CTA cycles in 150 min at 1.7407 CTA/s and 0.574 s per cycle. Compared with No KV Cache, it delivers 10.95 × \times the throughput and reduces mean latency by 90.9%, demonstrating the computational value of cross-update frozen-prefix reuse.

8. 滑动窗口采样优势：全历史随机采样在回放工作集超过页缓存容量后退化，而 Disk ACoB-Stream 保持吞吐，证明滑动窗口采样维持磁盘局部性。

   full-history random sampling begins to degrade at 43 min as the replay working set exceeds the Linux page-cache capacity, causing more frequent disk-to-CPU transfers, with its throughput eventually declining from 1.56 to 0.45 CTA/s, while Disk ACoB-Stream reaches 1.74 CTA/s in the final 5-min bin, showing that sliding-window sampling preserves disk locality as replay grows.

9. 目标对齐检索与按需预取：相对朴素上下文访问提供吞吐与延迟优势，验证只加载和传输所需上下文的收益。

   Objective-aligned retrieval and on-demand prefetch jointly provide 1.80 × \times the throughput and 44.4% lower mean latency than Naive Context Access, confirming the benefit of loading and transferring only required contexts.

10. 算法消融总体结果：完整 ACoB 的最终自主成功率与干预率，以及移除 critic 偏好、actor BC、相对优势后的退化幅度与干预次数增加。

    Full ACoB reaches 96.25% final autonomous success with a 0.03% intervention rate on average. Removing critic preference, actor BC, or relative advantage reduces autonomous success to 26.25%, 20.00%, and 8.75%, while increasing intervention rates to 10.57%, 9.24%, and 24.93%. Interventions across the four tasks also rise from 10,080 to 16,580, 19,581, and 28,806.

11. 执行视野增大退化：把执行视野从 3 增至 6 时自主成功率大幅下降、动作预测 RMSE 上升，暴露 step-wise delta 的递归误差累积局限。

    Specifically, increasing H e H_{e} from 3 to 6 reduces average autonomous success from 58.3% to 6.7% and increases relative action-prediction RMSE by 29.3%.

12. 移除相对优势的消融：用直接 Q 最大化替代相对优势改进产生最大退化，说明相对优势对抑制漂移的必要性。

    Replacing relative-advantage improvement with direct Q maximization produces the largest degradation: an 87.50-point success drop and 24.93% intervention rate.

Novelty：本文的新意主要在“组合式”而非单一构件：ACoB 用局部偏好排序解决被人工修正覆盖的提议无法被 TD 正确赋值这一真实 RL 中的具体信用分配盲点，并把策略改进设计为同噪声解码下的逐 critic 优势差、悲观取最小、以冻结参考与有效修正构造比较基线的相对优势软间隔目标，明显区别于常见的 BC 分布约束或绝对 Q 最大化。ACoB-Stream 把大 VLA 在线 RL 的开销问题组织成经验-上下文与策略状态四条生命周期，以不变状态解耦与按需流式为原则，也与纯规模扩展或把 RL 改进外置到辅助策略的路线不同。不足是每个局部思想（advantage、BC 正则、KV 复用、滑动窗口、LoRA 同步）都有先例，单点创新强度中等；真正的贡献在于针对真实 VLA-RL 的稳定性-效率双瓶颈做了一次系统性整合，并给出可复用的训练协议。 Soundness：方法与推导总体自洽：MDP 定义、V-A 分解、TD 与偏好排序互补、相对优势基线构造、softplus 软间隔的作用都有清晰逻辑，且真实机器人多任务、多平台、算法与系统双消融提供了较强经验证据。审稿视角可质疑之处包括：一是基线与本文在模型规模、演示数量、微调步数上并不对齐，HIL-SERL 是紧凑策略、ConRFT/Robo-Dopamine 基于 Octo、π0 系列又不同，横向对比难以完全归因于算法；二是“有效成功率低于零”的度量语义未精确定义，且真实试验缺乏多次种子/置信区间；三是系统消融的吞吐收益与算法本身耦合，未完全剥离 ACoB 的计算特性；四是 λ_rank 与三项权重等关键超参未见敏感性分析。整体判断：方法合理、证据充分，但外部公平性与统计稳健性仍有提升空间。 Significance：该工作对真实世界 VLA-RL 有较强的实践意义：它证明在数十分钟级训练、有限演示与有限人工干预下，能把大型 VLA 稳定提升到高精度操作的高成功率，并提供了可复用的算法与系统设计原则。对化学实验自动化等精密操作场景尤其有应用价值；其“行为学习先行、价值校准渐进、相对优势抑制漂移”的非对称协同思路，对在线 RL 的稳定性问题也有启发性。局限在于任务域与平台多样性有限、结论主要来自单一实验室环境，因此其外部有效性和跨任务可迁移性仍需后续验证。

一是任务与平台局限：九项任务集中在化学实验操作，仅一项双臂任务且序列长度有限，缺乏长序列、多精密阶段、其他接触/视觉分布（工业、家庭、移动操作）的验证。二是公平性与归因：方法与基线的模型规模、演示数量、微调步数不一致，HIL-SERL 为紧凑策略，ConRFT/Robo-Dopamine 基于 Octo，π0 系列为另一类 VLA，横向对比难以完全分离算法贡献与预训练/初始化差异。三是统计稳健性：真实机器人试验次数有限，未报告多次种子、置信区间或显著性检验；“有效成功率低于零”等指标定义不清晰，可能影响结论解读。四是人工依赖：ACoB 依赖关键阶段人工干预与修正质量，干预判定（i_t、c_t 阈值）如何自动化、错误或噪声干预如何过滤未深入讨论，实际部署中人力成本可能被低估。五是长视野问题：论文明确承认 step-wise delta 在执行视野增大时误差累积、成功率骤降，当前仅以 H_e=3 缓解，未在框架内根本解决；讨论中给出的 chunk-wise delta 尚未整合进主系统。六是系统评估的边界：吞吐结论在特定 GPU、磁盘与 Linux 页缓存条件下得到，Dynamic CPU RAM 基线已显示复杂内存层级会使部分收益收窄，跨硬件与更大规模集群的可扩展性未充分论证。

可沿以下方向跟进：其一，将执行视野扩展与 chunk-wise delta 动作表示纳入 ACoB 主系统，缓解长序列双臂任务中的递归误差累积，论文讨论已给出明确动机；其二，把任务特定的 ACoB 推广到共享大 VLA 的多任务真实在线 RL，研究任务条件价值函数、交互经验跨任务迁移、数据重平衡与灾难性遗忘抑制；其三，用学习到的干预触发或置信度门控替代人工介入，降低在线训练人力成本并过滤错误修正，使“干预引导”更可扩展；其四，为相对优势更新与偏好排序提供收敛性/漂移界理论分析，解释悲观 min 与 softplus 软间隔在非平稳真实数据下的稳定性来源；其五，把 ACoB-Stream 的状态生命周期管理推广到更多 VLA 主干与异构云端-边缘/多机集群，验证“不变状态解耦+按需流式”在大规模条件下的可扩展性；最后，扩展任务域（精密装配、柔性材料、移动操作等）并补充多次种子与置信区间报告，以检验外部有效性。

Tactile-JEPA 是一篇面向分布式触觉传感器（电子皮肤/e-skin）的自监督表征学习论文。它没有像既有方法那样把税元信号重排成图像，而是直接在多元时间序列上预训练，并利用税元连接图引导“局部+全局”双尺度掩码采样，得到拓扑感知、多尺度的税元表征。论文的核心主张是：现有SSL主要服务视觉型触觉传感器（GelSight/Digit），电子皮肤税元稀疏且不规则排布，直接复用视觉SSL次优；Tactile-JEPA填补了“仅用传感器自身信号和已知布局、无需标签或仿真特权信息即可显式建模拓扑”的预训练空白。其贡献包括方法本身、跨数据集与跨任务的一致增益，以及证明图掩码优于图像块掩码、掩码尺度控制表征局部性/全局性的消融研究。

触觉在视觉遮挡、接触密集、易碎物体操作中是不可替代的模态，但VLA等机器人学习管线主要依赖视觉。触觉传感器大体分两类：视觉型（GelSight、Digit，输出高分辨率图像）与分布式电子皮肤（压阻、电容、磁性，如ReSkin、Xela uSkin、AnySkin，输出多变量时间序列，通道即税元）。视觉型传感器可直接适配MAE、DINO、I-JEPA等图像SSL，代表工作有Sparsh、Sparsh-X；分布式电子皮肤方面，T-DEX把信号重排成三通道图像用BYOL预训练，Sparsh-skin把每个税元当独立token做自蒸馏，STAT做时空掩码重建，但它们要么丢弃连通性、要么只把拓扑当作每税元位置特征。Tactile-GAT与TacGNN虽然构建税元邻接图，却是端到端监督训练，不学可迁移表征；HyperTaxel虽做预训练，但其对比目标需要仿真中才能获得的接触面几何。由此形成的缺口是：需要一种只用传感器信号+已知布局、显式编码税元连通性的自监督预训练方法，这正是本文的定位。

Tactile-JEPA 把预训练建模为“在嵌入空间预测被掩码税元的表示”，其机制分五层： 第一，输入表示。设电子皮肤有 N 个税元、每税元 m 个传感轴（压阻 m=1，磁性 m=3），在时长 T_w 的短窗内取 τ 帧，得到 X∈R^{N×τ×m}。每个税元的窗内响应 x_i 先被一个跨税元、跨窗口共享的仿射投影 W∈R^{d×mτ} 展平并映射到 d 维，再做层归一化（式1）。因此一个税元的完整短窗构成一个语义单元，整个窗口变成 X̃∈R^{N×d}，维度只取决于税元数，与帧数无关。窗口取 T_w≈0.1s（Sparsh-skin 100Hz 下 τ=10，DECO 30Hz 下 τ=3），灵感来自人手在滑移后调整握力的时延；袜子数据集14Hz，改用 τ=5（约0.36s）。 第二，税元连接图。G=(V,E) 的节点是 N 个税元，边连接已知布局中相邻的税元。构图不依赖三维坐标，仅需邻接关系；对双手这类两部分传感器，G 自然形成两个连通分量。 第三，图引导的双尺度掩码采样。采样 n_c 个上下文区域和 n_t 个目标区域。局部掩码是连通子图：随机选种子税元后用 Dijkstra 扩张逐层加入相邻税元，直到填满预算；它覆盖紧凑区域，编码局部接触模式。全局掩码是在整图均匀随机选税元，反映整只手/整体的接触状态。上下文掩码按全局逻辑构造，所有目标税元从上下文中剔除，避免重叠。默认配置为1个上下文（覆盖50–90%税元）、4个目标（2局部+2全局；双部件传感器每部件各1局部1全局），每个目标覆盖其采样域的10–18%。这一设计是关键创新点：局部目标学细粒度接触，全局目标学整体状态，混合后得到通用表征。 第四，编码与预测。编码器是ViT-Tiny变压器（12块、d=192、3头、MLP扩比4），在税元维度做双向注意力；每个税元嵌入先加上可学习的位置嵌入 e_i。上下文编码器 E_θ 只处理上下文税元（式2），目标编码器 E_θ̄ 处理全部税元（式3）。预测器 P_φ 是只有4块的同构变压器，接收“上下文表示 ∥ (目标位置嵌入+可学习掩码向量 u)”，在拼接序列上做注意力，只保留目标位置的输出（式4）。预测器故意做窄，迫使信息保留在编码器表示中。 第五，SSL目标与优化。损失是预测表示与目标编码器输出切片之间的MSE，并加stop-gradient（式5），平均到所有上下文-目标对；反向传播只更新上下文编码器，目标编码器是上下文编码器权重的EMA。这种JEPA式“潜空间预测+stop-grad+EMA”避免直接重建含噪原始信号，也不易坍塌。 训练与数据细节：预处理上，磁性Sparsh-skin做基线校正（减无接触均值）后按轴标准化；压阻传感器无接触时归零，故只做标量标准化（袜子按子集分别统计）或除以每手固定最大值（DECO）。Sparsh-skin与袜子编码器训500 epoch、全局batch 256；DECO编码器训150 epoch、batch 2048。优化器AdamW，学习率从1e-5线性预热到1e-4再余弦衰减到1e-6，权重衰减从0.04升到0.4。DECO双手共2124税元，为控制序列长度，把 n_g=4–5 个相邻税元的联合响应投影为单个token。下游评估时编码器冻结，仅训练轻量任务头：窗口级任务用“注意探针”（1层3头变压器查询token池化+两层MLP），姿态估计用序列解码器串联多窗口，DECO策略用视觉嵌入+触觉池化嵌入+动作token经两层双向变压器解码。

作者在三个公开数据集上评估：Sparsh-skin（磁性Xela uSkin、Allegro单手、遥操作play数据）、Tactile socks（压阻针织袜、人体双脚、人类活动数据）、DECO-50（压阻Inspire双手、双手遥操作装配）。下游任务覆盖力估计、手内平面姿态估计、物体分类、动作分类、全身姿态估计，以及DECO上的视觉-触觉操作策略学习。基线包括端到端、BYOL、MAE、DINO，均在与Tactile-JEPA相同的时间窗/短窗条件下比较。结果表明，Tactile-JEPA在力估计和手内姿态上总体领先，在袜子动作分类与全身姿态上也有改善；在DECO策略任务上排名靠前且训练稳定，而BYOL和DINO出现坍塌。消融对比了图像块式I-JEPA掩码、纯局部、纯全局与“局部+全局”混合掩码，证明图采样优于图像块掩码，双尺度混合是通用性最好的默认选择；此外还显示局部上下文会损害姿态与策略、全局上下文更通用。

1. 摘要报告Tactile-JEPA相较先前最强方法，力估计误差降低6.3%，手内朝向误差降低20.8%。

   Tactile-JEPA reduces force estimation error by 6.3% and in-hand orientation error by 20.8% over the prior state-of-the-art, with consistent gains in other downstream applications, including policy learning.

2. 在Sparsh-skin力估计总RMSE上，Tactile-JEPA取得14.05±0.73 cN，低于端到端15.00±0.92、DINO 16.66±1.17、MAE 21.55±2.06和BYOL 23.79±0.96。

   Force estimation | RMSE [cN] ↓ \downarrow | 15.00 ± \pm 0.92 | 23.79 ± \pm 0.96 | 21.55 ± \pm 2.06 | 16.66 ± \pm 1.17 | 14.05 ± \pm 0.73

3. 在Sparsh-skin手内姿态θ方向RMSE上，Tactile-JEPA为5.48±0.39度，明显优于端到端7.20±0.87、BYOL 6.92±0.36、MAE 8.38±0.70和DINO 8.27±0.44。

   θ \theta -RMSE [ ∘ ] ↓ \downarrow | 7.20 ± \pm 0.87 | 6.92 ± \pm 0.36 | 8.38 ± \pm 0.70 | 8.27 ± \pm 0.44 | 5.48 ± \pm 0.39 ∗

4. 在Tactile socks动作分类上，Tactile-JEPA为96.91±1.92，高于DINO 95.63±1.53与端到端92.97±1.26；BYOL和MAE均坍塌。

   Action classification | Accuracy ↑ \uparrow | 92.97 ± \pm 1.26 | collapsed | collapsed | 95.63 ± \pm 1.53 | 96.91 ± \pm 1.92

5. 在Tactile socks全身姿态估计上，Tactile-JEPA为13.42±0.33 rad，低于DINO 13.78±0.19与端到端14.37±0.30。

   Full-body pose est. | RMSE [rad] ↓ \downarrow | 14.37 ± \pm 0.30 | collapsed | collapsed | 13.78 ± \pm 0.19 | 13.42 ± \pm 0.33 ∗

6. 在DECO-50视觉-触觉策略上，MAE取得最低误差0.4400±0.0021，Tactile-JEPA次之0.4634±0.0029；BYOL和DINO坍塌。

   Vision-only | 0.5132 ± \pm 0.0103 Vision + Random embeddings | 0.4969 ± \pm 0.0118 Vision + End-to-end tactile encoder | 0.4922 ± \pm 0.0058 Vision + BYOL-pretrained encoder | collapsed Vision + MAE-pretrained encoder | 0.4400 ± \pm 0.0021 Vision + DINO-pretrained encoder | collapsed Vision + Tactile-JEPA encoder (ours) | 0.4634 ± \pm 0.0029

7. 消融中，默认2L+2G在力估计14.05±0.73与手内x精度95.74±1.05上最好；4G策略误差最低0.4600±0.0019；图无关的4I-JEPA三项均较差。

   4I-JEPA | 14.99 ± \pm 1.03 | 93.50 ± \pm 1.46 | 0.4959 ± \pm 0.0083 4L | 15.52 ± \pm 1.03 | 94.32 ± \pm 1.86 | 0.4705 ± \pm 0.0145 4G | 15.17 ± \pm 0.96 | 95.32 ± \pm 1.65 | 0.4600 ± \pm 0.0019 2L+2G | 14.05 ± \pm 0.73 | 95.74 ± \pm 1.05 | 0.4635 ± \pm 0.0044

8. 相较最强基线，Tactile-JEPA在Tactile socks上动作分类精度提高1.28%，全身姿态RMSE降低2.6%。

   On Tactile socks, it improves action classification accuracy by 1.28% and reduces full-body pose RMSE by 2.6%.

9. 训练稳定性方面，BYOL在Tactile Socks和DECO-50上坍塌，MAE在Tactile Socks上坍塌，而Tactile-JEPA在所有数据集上稳定。

   BYOL collapses on both Tactile Socks and DECO-50, while MAE collapses on Tactile Socks.

10. 计算效率方面，Tactile-JEPA在所有数据集上比DINO预训练快65–75%，且下游性能持平或更好。

    Tactile-JEPA pre-trains 65–75% faster than DINO across all datasets while matching or exceeding its downstream performance.

11. 预训练资源：Sparsh-skin 6.1小时、袜子动作与姿态编码器0.7与2.0小时、DECO-50 5.5小时，均在四块A100 80GB上；下游头单卡训练。

    Tactile-JEPA pre-training uses four NVIDIA A100 80 GB GPUs: 6.1 h for Sparsh-skin, 0.7 h and 2.0 h for the Tactile socks action and pose encoders, and 5.5 h for DECO-50. Downstream heads are trained on a single GPU, taking 0.6–2.1 h, 0.2–0.4 h, and 4.0 h respectively.

Novelty：方法层面的真正新意集中在“掩码采样”：把I-JEPA/JEPA的潜空间预测从像素网格迁移到税元连接图，并引入局部（Dijkstra扩张的连通子图）与全局（均匀散点）双尺度目标掩码。编码器、预测器、EMA目标网络、MSE+stop-gradient都基本沿用标准JEPA结构，输入投影也借鉴Sparsh-skin的每税元token化。因此新颖性是“组合式但针对性强的创新”：它解决了一个明确缺口（电子皮肤拓扑未被SSL显式利用），并通过消融把贡献归因到图采样与尺度混合，而非提出全新架构。对社区而言，这是清晰的增量贡献而非范式突破。 Soundness：实验设计较严谨：三个数据集覆盖不同传感原理、载体与任务；每个SSL方法训多个编码器种子、每编码器训多个下游头，报告均值与标准差，并用单侧Welch t检验比较前两名。消融能分离图采样（4L与4I-JEPA同预算、同连通性，仅采样域不同）和尺度（4L/4G/2L+2G）的贡献，论证链条清楚。主要问题是：无多重比较校正，显著性证据偏弱；部分基线（BYOL、DINO、MAE）在个别数据集坍塌，使“相对增益”部分来自基线未调优而非方法本质优势；DECO策略上MAE反而更好，作者只能以“不稳定/无跨数据集一致性”解释，削弱了统一优势的论断；图掩码消融仅在少数任务上展示，且对构图敏感性的讨论不足。总体soundness中等偏上，结论与证据基本匹配。 Significance：实际意义较明确：机器人学习社区正急需可复用的触觉编码器，而电子皮肤因拓扑稀疏不规则长期缺少专用SSL。Tactile-JEPA证明只需传感器信号与已知布局即可稳定预训练，且冻结编码器可迁移到力/姿态/分类/策略等多类任务，这对数据稀缺、标签昂贵的触觉场景有实用价值。它不要求下游有布局信息，便于部署。局限是评估仍以离线数据集与遥操作策略为主，尚未在真实闭环机器人上验证；数据集数量与规模有限，跨载体泛化证据还不够强。综合看，它是有价值的方法学贡献，对电子皮肤表征学习方向的推动大于对通用SSL理论的推动。

一是缺少真实机器人闭环评估：DECO策略只是离线模仿学习，没有在线成功率、接触稳定性或力控指标，无法证明表征在部署中的价值。二是对传感器布局/构图依赖：方法假设已知税元邻接图，论文未讨论图如何自动构建、对布局误差或布线不规则是否鲁棒，也未测试税元缺失/故障时的表现。三是时间建模有限：预训练只在一个短窗内做空间掩码预测，跨窗时序留给下游解码器，长时接触动力学、滑移检测、力历史等可能未被充分编码。四是评估广度有限：只用了三个数据集（DECO还只取装配子集），未覆盖电容式传感器和更多载体；DECO为降复杂度把4–5个相邻税元聚合成token，损失了空间分辨率。五是统计严谨性：显著性检验未做多重比较校正，个别结论依赖基线坍塌带来的差距，DECO上MAE优于Tactile-JEPA也削弱了“一致最优”的主张。六是方法本身的新颖性偏增量，编码器与JEPA骨干均为现成组件，增益的可推广性需更大规模验证。

后续可从四方面推进。其一，闭环与在线验证：把冻结的Tactile-JEPA编码器接入真实灵巧手或双手机器人的强化学习/模仿学习，报告在线成功率、力控精度与接触稳定性，评估其对控制频率推理的支持。其二，扩大预训练规模与跨载体泛化：收集更多电子皮肤类型（电容、光学皮肤）、更多载体（手、臂、足、躯干）与任务，研究跨传感器、跨布局的迁移，以及构图/缺失税元的鲁棒性。其三，扩展时序与多模态：将JEPA式预测扩展到跨窗口的时空掩码或序列级目标，融合视觉、本体感觉与触觉做联合嵌入，服务于VLA管线。其四，理论分析与可解释性：分析图掩码尺度如何改变表征的局部性/全局性，给出构图先验的理论依据，并研究多尺度混合的最佳比例、目标预算与上下文覆盖率等超参数的自动化选择。

本文提出 FoMo，把参考图像质量评价（reference-based IQA）所需的"感知距离"监督信号，从昂贵且带噪的人工标注（MOS、2AFC）转移到扩散模型的生成轨迹上。其核心是：让两个样本沿同一条去噪轨迹运行到某个中间时刻后独立分叉，并把这一"分叉时刻"作为逐点（pointwise）感知距离标签，从而构造一个全自动、无人工标注的数据生成管线。论文将该方案定位为对 BAPPS、PieAPP、NIGHTS 等 2AFC 数据与 KADID-10k 等 MOS 数据的替代或补充，并配以 RankNet 风格的全局排序损失训练 IQA 度量。作者声称 FoMo 在多个基准与多种骨干上总体优于人工标注方案，尤其在不饱和的 PIPAL 基准与 Transformer 骨干上优势明显，因此可作为可扩展、免标注的训练信号来源。

参考 IQA 度量不仅要判断两幅失真图中哪一幅更接近参考图，还应产生跨失真类型与严重程度全局一致的排序。为此，传统数据集采用不同形式的人工监督。MOS 最直接、天然支持全局排序，但成本高且脆弱：KADID-10k 为生成一万余张失真图，需要从两千余名受试者收集每图约三十个评分，且跨数据集之间同一失真图的绝对分数并不一致。这推动了 2AFC 成对偏好标注的流行（BAPPS、PieAPP），其相对判断比绝对评分更可靠、标注者一致性更高，但二值成对结果不直接编码全局排序，训练时也看不到图像的全局排名。理想情况是拥有稠密的逐点质量信号以直接优化全局秩相关，但人工收集干净一致的逐点信号在大规模下不可行。与此同时，扩散模型家族（DDPM、score-based SDE、flow matching/rectified flows）共享同一结构：前向过程按"由细到粗"逐步破坏信息，反向过程则"由粗到细"恢复图像；FLUX 采用 rectified flow 形式 x_t=(1-t)x_0+tε。已有研究指出，低噪声阶段恢复不可察觉的细粒度细节，中间噪声阶段重建可感知的判别性内容，高噪声阶段只恢复颜色分布等粗属性；Decatur 等人的分支生成工作也表明，轨迹的分支时刻控制着输出之间的视觉相似度。FoMo 正是利用这一结构，把生成过程中的分叉时刻转化为可训练的感知距离标签。

核心假设：扩散反向过程按时间重建图像，早期步决定粗结构，中期重建物体结构与纹理等可感知内容，后期只补充几乎不可察觉的细节。若两个样本在时刻 t 之前共享同一条去噪轨迹、t 之后独立重采样，则它们共享的是 t 之前已被重建的内容；t 越晚（噪声越小），共享的感知细节越多，两图越接近；t 越早，越多判别性内容在分叉前被破坏并独立再生成，两图差异越大。这一分叉时刻 t_s 被当作以参考图为锚点的距离标签。 数据生成流程（采用 FLUX.1-dev）： 1) 设总去噪步数 S=50，均匀采样分叉步 s∈U[0,49]，由噪声调度得到插值系数 t_s=S(s)。 2) 对参考图 x_0，按 rectified flow 前向形式构造噪声隐变量 x_{t_s}=(1-t_s)x_0+t_s ε，ε~N(0,I)。 3) 从 x_{t_s} 起执行剩余 S-s 步去噪，得到变体 x_0^s；由此得到带标签三元组 (x_0, x_0^s, t_s)。 4) t_s 越大表示分叉时噪声越强、相对参考图的感知偏离越大。单次生成存在随机性，但自动化允许大规模采样以降低标签方差（附录 G）。 5) 训练集共 480k 对：其中 240k 对以 ImageNet 真实图作参考，240k 对以 FLUX 生成的合成图作参考，混合真实域与合成域以扩大覆盖。 标签选择：主标签是插值系数 t_s，也可用分叉步 s。二者在分辨率变化下性质不同：单纯缩放（resize）保留全局场景内容，分叉步 s 可保持不变，但 t 因噪声调度的分辨率依赖需在 log-SNR 空间平移；随机裁剪（random resize crop）改变可见内容，s 不再不变，而 t 作为逐像素前向混合比例在裁剪后仍保持。附录 E 对此有详细讨论，主实验以 t_s 为标签。 训练目标 RankBCE：与 2AFC 的三元组二元交叉熵不同，FoMo 标签是逐点的，每个 (x_0, x_0^s) 自带独立距离值 t_s，不依赖共享锚点。对 batch 内 B 对预测距离 {d̂_i} 与标签 {t_s^i}，构造 B×B 真值比较矩阵 Y：y_ij=1[t_s^i < t_s^j]（i 比 j 更近时为 1），标签相等时取 0.5。损失为 ℒ=-1/B² Σ_i Σ_j [y_ij log σ(d̂_j-d̂_i) + sg((1-y_ij) log σ(d̂_i-d̂_j))]。直觉上，σ(d̂_j-d̂_i) 是模型认为 i 比 j 更接近的概率；y_ij=1 时希望 d̂_i<d̂_j。第二项是对称互补方向，并被施加 stop-gradient，从而在求和遍历所有 (i,j) 对时只让"正方向"项回传梯度，避免与转置项重复计梯。该形式改编自 RankNet，但监督的是 batch 内全部 B×B 对的全局距离排序，而非孤立三元组，从而隐式施加传递性。更大 batch 意味着更多比较对、更丰富的逐步监督。 骨干与训练细节：CNN 骨干为 LPIPS-Alex/VGG（特征金字塔接线性预测头）与 DISTS（学习特征整合的 α、β）；Transformer 骨干为 DINOv3、CLIP、MAE，冻结特征提取器并追加三层 ViT 层与 [CLS] token 输出距离 logit。由于拼接序列不对称，推理时对 Transformer 采用 1/2[d̂(u,v)+d̂(v,u)] 对称化，训练时随机交换输入顺序。DreamSim 按其原始配置用 LoRA（r=16, α=1, dropout 0.3 作用于 qkv）微调，并强制 224 分辨率。除 DreamSim 外 batch=64，CNN 学习率 2e-4、Transformer 学习率 1e-4，约 240k 次更新，单张 RTX A40 训练；评测以 SROCC 为主，附录另含 KROCC 与 PLCC。

论文先用单参考人类排序研究和跨参考 2AFC 研究验证分叉时刻的感知有效性：人类判断与分叉顺序高度一致，且标签与人类共识的一致率随分叉间隔增大而单调上升；用现成感知指标代替观察者的大规模检验也显示分叉标签具有跨参考的全局一致性。主实验中，FoMo 在全部评测基准与骨干组合上取得总体最佳，在最具区分度的 PIPAL 上全面领先、Transformer 骨干增益尤为突出，在其余基准上 CNN 骨干与强基线相当、Transformer 骨干多数领先。消融表明 RankBCE 目标一致优于 2AFC 与 L1，FoMo 标签优于 KADID-10k 的 DMOS；增大批大小对 Transformer 有益、CNN 在中批饱和；不同扩散生成器均可工作但 FLUX 最强；靠前的分叉步最富感知信息。逐失真类型分析显示 Transformer 几乎全面领先，失败集中于训练数据未覆盖的像素噪声、局部损坏与全局光度变化。

1. 单参考人类研究中，人类对五个变体的相似度排序与分叉时刻排序的 Spearman 相关为 0.970（30 名受试者、1,982 次响应、190 张 ImageNet 验证集参考图）。

   According to our experimental analysis, human perceptual judgments demonstrate strong alignment with the divergence timestep ordering, yielding a Spearman rank correlation of 0.970 across 30 participants and 1,982 responses collected over 190 reference images sampled from the ImageNet [ 8 ] validation set.

2. 跨参考 2AFC 研究中，人类单次选择与分叉时刻诱导顺序的一致率为 90.2%，Fleiss' κ=0.82，达到几乎完美的评分者间信度。

   Human choices agree with the ordering induced by the forking timesteps in 90.2 % 90.2\% of individual responses, with a Fleiss’ κ \kappa [ 12 ] of 0.82 0.82 indicating almost perfect inter-rater reliability [ 21 ] .

3. 一致率随两个分叉时刻的间隔单调上升：间隔 1–10 步时为 64.3%，11–20 步为 90.0%，21–30 步为 97.0%，31–40 步为 99.5%，41–50 步为 99.8%。

   Agreement rises monotonically with the gap: 64.3 % 64.3\% for gaps of 1–10 timesteps, then 90.0 % 90.0\% for gaps of 11–20, 97.0 % 97.0\% for 21–30, and 99.5 % 99.5\% and 99.8 % 99.8\% for 31–40 and 41–50.

4. 大规模检验中，在 20,000 个参考-变体对上，分叉标签与 LPIPS-Alex、LPIPS-VGG、DISTS、DreamSim 的 SROCC 分别为 0.932、0.915、0.904、0.904。

   Against that pooled ranking the forking label reaches a Spearman Rank Order Correlation Coefficient (SROCC) of 0.932 with LPIPS-Alex, 0.915 with LPIPS-VGG, 0.904 with DISTS and 0.904 with DreamSim.

5. 主结果显示 FoMo 在四个基准、七种骨干上总体最佳，并在 PIPAL 上对全部七种骨干大幅领先，尤其是 Transformer 骨干。

   Across four benchmarks and seven backbone architectures, FoMo achieves the best overall performance. On PIPAL [ 18 ] , the least saturated and the most important benchmark, FoMo outperforms the existing datasets and their objectives, in all seven backbones by a large margin, especially in Transformer-based backbones.

6. 在 TID2013、CSIQ、LIVE 三个基准上，FoMo 在 CNN 骨干上与基线相当，在 Transformer 骨干上优于多数基线。

   On the other three benchmarks, TID2013 [ 30 ] , CSIQ [ 22 ] and LIVE [ 34 ] , FoMo performs comparable to baselines on CNN backbones, and outperforms most of them in Transformer backbones.

7. 消融显示 RankBCE 一致优于 2AFC 与 L1；在 Rank 目标下，FoMo 的 LPIPS-Alex 与 DINOv3 分别达到 0.733 与 0.699，而 KADID-10k 的 DMOS+Rank 仅为 0.625 与 0.309。

   LPIPS-Alex [ 43 ] | 0.733 | 0.592 | 0.440 | 0.733 | 0.592 | 0.390 | 0.625 | 0.611 | 0.577 DINOv3 [ 35 ] | 0.699 | 0.622 | 0.694 | 0.697 | 0.614 | 0.695 | 0.309 | 0.145 | 0.298

8. 增大 batch 对 Transformer 骨干持续有益，而 CNN 骨干 LPIPS-Alex 在 batch 为 64 时达到峰值。

   Performance improves with batch size increases, especially in Transformer-based DINOv3 backbone, whereas in CNN-based backbone LPIPS-Alex, the performance peaks at batch size of 64.

9. 跨生成器实验中，每生成器只用 10k 对（约主训练集的 2%）训练，四个生成器都超过 CNN 最好人工基线 0.622，Transformer 除 SD-XL 外都至少匹配 0.508；FLUX 在两种骨干上都最强。

   training on any of the four surpasses the best human-annotated dataset for the CNN backbone ( 0.622 0.622 , Table 1 ), and with the Transformer backbone every generator except SD-XL at least matches its best human-annotated baseline ( 0.508 0.508 ). The approach therefore does not depend on FLUX specifically, but the choice of generator is not immaterial either. FLUX.1 is the strongest option for both backbones, by margins well outside the data-sampling error bars, and the Transformer-based models benefit the most from the strong generator.

10. 时间步范围消融显示 50 步过程中的前 35 步（更接近噪声态）最重要，末 15 步细粒度精修几乎不可感知，两个 LPIPS 骨干去掉这些步后反而达峰。

    Within a 50-step process, the initial 35 steps, which are closer to the noise state than the clean image state, has shown to be the most important. The final 15 steps of the generation process are dedicated to refining fine-grained details that are barely perceptible to the human eye. Since such subtle refinements carry little perceptual significance, incorporating these steps into training may introduce noise into the learning signal, and the two LPIPS backbones indeed peak without them.

11. 逐失真类型分析显示，失败在两种骨干上一致地集中于三个族：加性像素噪声、小区域损坏、对比度变化与均值偏移等全局光度变化。

    The failures are consistent across both backbones and concentrate in three families (Table 13 lists every type): additive pixel noise, corruption confined to a small region, and global photometric shifts such as contrast change and mean shift.

12. Transformer 骨干上，FoMo 监督在几乎所有基准的几乎所有失真族上领先，且增益最大处正是骨干自身最弱的 PIPAL 超分辨率族与 CSIQ 噪声/对比度族。

    With the Transformer backbone, FoMo supervision leads on almost every distortion family of every benchmark (Table 12 ). The gain is largest exactly where the backbone on its own is weakest, the super-resolution families of PIPAL, and the noise and contrast families of CSIQ.

Novelty：新颖性中等偏高，但主要体现在"监督信号来源"与标签定义，而非度量架构本身。把扩散去噪轨迹的分叉时刻转化为逐点感知距离标签，再用 RankNet 全局排序损失训练参考 IQA，这一组合在此前的 IQA 数据管线中未见；它把 Decatur 等人的分支生成观察、Choi 等人的轨迹感知分层，以及 DIFT、DiffSim、AnoDDPM、DifFIQA 等"用扩散模型当感知代理"的线索，合并成一个可扩展、免标注的标注方案。与这些工作不同，扩散模型只用于离线生成标签，推理时不参与。不过，分叉时刻=距离的直觉相对自然，核心损失也直接借用 RankNet，因此方法层面的原创点集中在数据生成流程与标签的全局一致性验证上。 Soundness：论证链较完整：先以两个人类研究验证分叉时刻与人类感知一致，再用现成感知指标做大尺度代理验证，随后进入训练实验；主表覆盖多基准、多骨干并附标准差，消融覆盖目标/标签/批大小/生成器/时间范围，附录补充 KROCC/PLCC 与逐失真族分析。主要弱点在于：主实验同时改变"数据"与"RankBCE 目标"，虽消融试图分离，但对外宣称的增益归属仍部分混淆；RankBCE 的 stop-gradient 形式偏离标准 RankNet，文中未充分论证为何只让正方向项回传梯度、是否破坏成对概率的对称性；DreamSim 使用 LoRA 与 224 分辨率，训练配置与其他骨干不同，横向可比性有限；评测以 SROCC 为主，在 LIVE/CSIQ 等接近饱和的基准上区分度不足；合成标签只覆盖扩散模型能表达的失真族，泛化边界未做受控检验。 Significance：若结论稳健，其意义在于把参考 IQA 训练从昂贵且不可靠的人工 MOS/2AFC 中部分解放出来，提供一种可大规模扩展的逐点标签来源，并为"全局排序目标优于成对偏好"提供新的实证支持。这对参考 IQA、图像恢复任务的评价与优化都有实用价值，也可能迁移到视频、音频等需要感知距离的领域。但目前其覆盖受限于扩散模型能重合成的失真类型（像素噪声、局部损坏、光度变化缺席），更像对人工标注的互补而非完全替代；在部分传统基准上对 CNN 骨干只是相当甚至局部落后，也提示其最大价值在于需要细粒度、大覆盖全局排序的评测场景。

作者承认：训练数据由扩散模型生成，度量在分布外、自然界罕见的人工失真上可能失效，建议在新域训练扩散模型后再生成该域样本以缓解。除此之外还有若干局限：逐失真族分析明确显示，加性像素噪声、局部区域损坏、对比度/均值偏移等全局光度变化三类系统性失效，而这些失真不在生成式标签的覆盖内；标签只编码"分叉时刻的顺序"，不是绝对 MOS，难以直接用于绝对质量回归；生成质量依赖所选扩散模型，SD-XL 明显偏弱、FLUX 最强，说明方法并非与生成器无关；480k 对 FLUX 采样与单卡 240k 步训练仍有一定成本；真实/合成参考各半的域混合可能引入合成域偏差；t 与 s 标签的分辨率性质虽在附录讨论，但主实验未充分展示多分辨率鲁棒性；人类验证覆盖的参考图与失真范围有限，不足以证明对所有失真类型均成立。

可跟进的方向包括：用 rectified flow、一致性模型或蒸馏采样降低造标签成本，使在线生成标签成为可能；将 t_s 校准到 MOS 或与真实失真数据库混合，补上像素噪声、局部损坏、光度变化等盲区；从心理物理学角度理论化分叉时刻与 JND/感知尺度的关系，例如 log-SNR 与感知差异的映射；把方法扩展到视频、音频、3D 渲染的感知距离；用分叉树一次性生成多层级距离对，替代逐对采样以提高效率；在医学、遥感等 OOD 域训练域内扩散模型再生成标签，验证作者提出的迁移路径；研究带 stop-gradient 的 RankNet 损失的更严谨形式与收敛性质；把 FoMo 标签用作图像恢复模型训练的直接优化信号，而不只是评测指标。