https://jiajia.fun/qa/e95081c0-%E7%9C%8B%E7%9C%8B%E8%BF%99%E4%B8%AA-github-com-spu

# https://github.com/UniPat-AI/SPU看看这个

这个不是工具，也不是 Agent 框架，它是一个基准（benchmark）。UniPat AI 联合港科大（广州）、北大、斯坦福、FutureHouse 那批人一起发布，11 月 11 日挂上 arXiv。GitHub 仓库本身只是个收集任务投稿和纠错的入口，数据放在 Hugging Face。 任务设计这块挺有意思：每个任务固定好候选集合、材料、条件和一个真实实验的测量协议，Agent 用任意资源把候选按实测结果排序，用 Spearman 相关系数打分。也就是说，它要测的是：面对一组已经做过的实验条件，你能不能预测哪个结果更好。这个排序是个可以客观验证的指标，不像开放式问答那样难以客观验证。 数字很硬：100 个公开任务来自 11 本 Nature 系列期刊的 85 篇论文，化学、材料、生物、医学都覆盖，另外还有 16 个未发表的湿实验私有任务不公开。13 种 Agent 配置，12 个前沿模型分别搭配 Codex 和 Claude Code 两套 harness，每个任务给 8 小时预算。结果最好的配置在公开集上，任务校正后的 Spearman 只有 0.478，最差的 0.227，而随机大概是 0。还有一个细节值得注意：Claude Opus 5.5 和 Fable 5.1 的大部分 run 直接因为安全拒答挂掉了，分数只在少量任务上有。 但我觉得这篇论文最值得看的是它的归因分析，而不是它的分数。1155 条评分轨迹、22.7 万次工具调用，结论是瓶颈不在工具执行，而在科学判断：Agent 之间的互相一致度是 0.52，跟实验现实的相关系数只有 0.33。意思就是，模型们达成共识的程度远高于它们正确的程度，全都在用同一套共享的单调先验做推断，还会频繁计算一堆物理化学代理指标，但这些指标根本不影响最终结果。 这对你手头的东西其实挺有借鉴意义的。你之前做视频总结那条证据链，本质也是这个问题：Agent 自认为合理，和真实结果对不上。SPU 的做法是把评分标准从「生成一段看起来对的文字」换成「在固定候选上排序并与实测比对」，再加上私有任务防止过拟合。你要给自己那套东西建评测集的话，思路是一样的：先攒已经发生过的真实 badcase，把它固化成带标准答案的排序或判断任务，而不是空想一套庞大的评测框架。 如果想直接跑，公开任务是以 Harbor task 的形式发布的，带 grader 和 oracle 解，用一条命令就能运行起来。 （本次由备用 DeepSeek V4.1 Flash 回答）
