https://github.com/UniPat-AI/SPU看看这个
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
回答
这个不是工具,也不是 Agent 框架,它是一个基准(benchmark)。UniPat AI 联合港科大(广州)、北大、斯坦福、FutureHouse 那批人一起发布,11 月 11 日挂上 arXiv。GitHub 仓库本身只是个收集任务投稿和纠错的入口,数据放在 Hugging Face。
任务设计这块挺有意思:每个任务固定好候选集合、材料、条件和一个真实实验的测量协议,Agent 用任意资源把候选按实测结果排序,用 Spearman 相关系数打分。也就是说,它要测的是:面对一组已经做过的实验条件,你能不能预测哪个结果更好。这个排序是个可以客观验证的指标,不像开放式问答那样难以客观验证。
数字很硬:100 个公开任务来自 11 本 Nature 系列期刊的 85 篇论文,化学、材料、生物、医学都覆盖,另外还有 16 个未发表的湿实验私有任务不公开。13 种 Agent 配置,12 个前沿模型分别搭配 Codex 和 Claude Code 两套 harness,每个任务给 8 小时预算。结果最好的配置在公开集上,任务校正后的 Spearman 只有 0.478,最差的 0.227,而随机大概是 0。还有一个细节值得注意:Claude Opus 5.5 和 Fable 5.1 的大部分 run 直接因为安全拒答挂掉了,分数只在少量任务上有。
但我觉得这篇论文最值得看的是它的归因分析,而不是它的分数。1155 条评分轨迹、22.7 万次工具调用,结论是瓶颈不在工具执行,而在科学判断:Agent 之间的互相一致度是 0.52,跟实验现实的相关系数只有 0.33。意思就是,模型们达成共识的程度远高于它们正确的程度,全都在用同一套共享的单调先验做推断,还会频繁计算一堆物理化学代理指标,但这些指标根本不影响最终结果。
这对你手头的东西其实挺有借鉴意义的。你之前做视频总结那条证据链,本质也是这个问题:Agent 自认为合理,和真实结果对不上。SPU 的做法是把评分标准从「生成一段看起来对的文字」换成「在固定候选上排序并与实测比对」,再加上私有任务防止过拟合。你要给自己那套东西建评测集的话,思路是一样的:先攒已经发生过的真实 badcase,把它固化成带标准答案的排序或判断任务,而不是空想一套庞大的评测框架。
如果想直接跑,公开任务是以 Harbor task 的形式发布的,带 grader 和 oracle 解,用一条命令就能运行起来。
(本次由备用 DeepSeek V4.1 Flash 回答)
所属话题:Agent 工程