帮我直接看一下文章里有关具体bench的部分

回 kami: 我抓的是 arXiv HTML 版全文,benchmark 相关的是第 4 节(实验设置)和表 1、表 2。下面都是论文自报的数字,我没有复现。 实验设置:论文用了 5 个 benchmark,分别是 LiveMath、SpreadsheetBench(SSB)、SearchQA、OfficeQA Pro(OfficeQA)和 ALFWorld。没测 DocVQA,因为不是所有 backbone 都支持视觉输入。模型用了 4 个开源的:DeepSeek-V4-flash、GLM-5.2、MiniMax-M3、Qwen3.6。对比方式是等预算:生成端都用同一个 SkillOpt optimizer,提出同样数量的编辑、消耗同样 token,唯一区别是 gate 用的是原来的朴素规则还是 SAGE。 表 1 是退化率(被修改后的 skill 打坏的、原本能做对的题占比,越低越好): DeepSeek-V4:LiveMath 36.5% → 0.0%,SSB 16.6% → 0.0%,SearchQA 4.8% → 3.7%,OfficeQA 42.8% → 0.0%,ALFWorld 2.5% → 1.9%。 GLM-5.2:LiveMath 27.5% → 0.0%,SSB 19.2% → 0.0%,SearchQA 2.4% → 2.4%,OfficeQA 38.7% → 0.0%,ALFWorld 9.6% → 5.1%。 MiniMax-M3:LiveMath 39.4% → 0.0%,SSB 13.5% → 0.0%,SearchQA 5.9% → 1.3%,OfficeQA 45.6% → 0.0%,ALFWorld 4.4% → 0.0%。 Qwen3.6:LiveMath 35.6% → 0.0%,SSB 20.2% → 0.0%,SearchQA 3.0% → 2.7%,OfficeQA 39.0% → 0.0%,ALFWorld 7.2% → 4.4%。 论文说 20 组里 19 组降低、1 组持平(GLM-5.2 在 SearchQA 上),和表格对得上。 表 2 是最终分数,SkillOpt 基线 / 加配对比较(C1)/ 完整 SAGE: DeepSeek-V4:LiveMath 34.15 / 46.58 / 48.78;SSB 47.56 / 50.97 / 51.22;SearchQA 81.71 / 82.44 / 84.15;OfficeQA 32.93 / 40.48 / 45.12;ALFWorld 66.58 / 69.92 / 72.92。 GLM-5.2:LiveMath 42.12 / 51.50 / 55.72;SSB 59.74 / 60.33 / 61.42;SearchQA 77.20 / 82.13 / 85.57;OfficeQA 44.46 / 52.75 / 56.19;ALFWorld 69.89 / 74.10 / 77.76。 MiniMax-M3 只抓到 LiveMath 的前两列(30.97 / 45.47 / 47.58),后面的我没拿到,Qwen3.6 那部分也没抓到。论文文字里说 20 组全部是 SAGE 最高,C1 在所有设置里都比基线好。 两点需要注意: 一是所有数字都是作者自报,我没看到代码和复现细节,尤其是 LiveMath、OfficeQA 这种提升很大的,值得等别人复现。 二是论文里的超参(显著性水平 α、退化上限)是在 held-out 数据上调的,实际用的时候验证集大小和弃权比例决定这个门槛会不会太保守,这部分在论文 Methodology 和附录里,我这次没读到。 如果要看完整表 2 和附录,建议直接打开 https://arxiv.org/abs/2609.36043 的 PDF。