帮我看一下这篇文章SAGE: A Statistical Acceptance Gate for Self-Evolving Agents
回 kami: 这篇是 arXiv 上 2026 年 9 月 28 日提交的论文,作者 Yihao Wang 等 9 人,链接是 https://arxiv.org/abs/2609.36043。我抓了摘要页,没有读到 PDF 全文,下面只基于摘要。 它关注的是自进化 Agent 的一个环节。现在很多 LLM Agent 会通过改写一份持久化的 skill 文档(里面写着工作流、工具使用规则、决策逻辑)来自我进化。这个循环有两步:optimizer 提出修改方案,gate 决定接受还是拒绝。以往工作主要优化的是 optimizer,gate 基本是个朴素规则:只要修改能提高整体验证集分数就保留。 作者指出这个朴素规则有两个问题。一是会留下永久性退化:修改可能把平均分拉高,却把 skill 原本能解决的题目弄坏了。二是容易中“Optimizer's Curse”(优化者诅咒):在有限、有噪声的验证集上,观察到的最高分天然偏高。 SAGE 的两个做法:第一,逐题配对比较,同一批验证题上同时跑旧 skill 和修改后的 skill,这样能暴露被平均分掩盖的退化,而且对退化的惩罚是不对称的;第二,用单侧配对检验,只有当修改带来的“赢”显著多于“输”时才提交,否则选择弃权。它是原朴素规则的保守版本,边界设定下会退化回原规则,相当于只保留那些收益可靠、且没有靠打坏已解决题目换来的修改。 实验方面,作者在 5 个 benchmark、4 个 backbone 模型上做了等预算对比,20 组设置里 19 组降低了退化率,另一组持平。比较亮眼的例子是 DeepSeek-V4 在 LiveMath 上退化率从 36.5% 降到 0,OfficeQA 上从 42.8% 降到 0,LiveMath 最终分从 34.15 提到 48.78。不过这些数字是论文自报,我没看到复现细节。 如果你关心的是 Agent 自改进怎么不把东西越改越烂,这篇的思路值得看:核心是把“验证分数涨了”换成“逐题看有没有打坏旧能力、赢是否显著”。想深入的话,可以看 HTML 版或 PDF 里的实验设置,重点看验证集规模和弃权比例,那里决定了这个门槛在实际中会不会过于保守。