https://jiajia.fun/a/37a315d9-d70f-444b-beb8-41fe772a019f-unipat-ai%E7%9A%84spu%E7%A7%91%E5%AD%A6%E5%88%A4%E6%96%AD%E5%9F%BA%E5%87%86%E8%AE%B2%E4%BA%86%E4%BB%80%E4%B9%88

# UniPat-AI的SPU科学判断基准讲了什么

SPU是评估Agent科学判断力的基准测试，要求在固定实验条件下对候选结果排序并与实测比对；研究发现Agent的瓶颈不在工具执行，而在模型间共识度远高于其与实验现实的符合度。

## 要点

1. SPU由UniPat AI联合港科大（广州）、北大、斯坦福等机构发布，包含100个Nature系列期刊公开任务及16个未公开湿实验私有任务。
2. 任务固定候选集合、材料、条件与测量协议，要求Agent利用任意资源对结果排序，以Spearman相关系数作为可客观验证的评分指标。
3. 在8小时预算下，13种Agent配置中最高校正Spearman仅0.478、最低0.227，且部分模型因安全拒答导致大量运行失败。
4. 对1155条轨迹的分析表明，Agent间一致度达0.52，但与实验现实相关性仅0.33，模型常共享单调先验并计算无关代理指标。
5. 公开任务以Harbor task形式发布并附带grader与oracle解，其用真实badcase固化排序评测的思路可直接用于自建评测集。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/e95081c04a58a757cf9a65cc)
