UniPat-AI的SPU科学判断基准讲了什么
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
SPU是评估Agent科学判断力的基准测试,要求在固定实验条件下对候选结果排序并与实测比对;研究发现Agent的瓶颈不在工具执行,而在模型间共识度远高于其与实验现实的符合度。
要点
- SPU由UniPat AI联合港科大(广州)、北大、斯坦福等机构发布,包含100个Nature系列期刊公开任务及16个未公开湿实验私有任务。
- 任务固定候选集合、材料、条件与测量协议,要求Agent利用任意资源对结果排序,以Spearman相关系数作为可客观验证的评分指标。
- 在8小时预算下,13种Agent配置中最高校正Spearman仅0.478、最低0.227,且部分模型因安全拒答导致大量运行失败。
- 对1155条轨迹的分析表明,Agent间一致度达0.52,但与实验现实相关性仅0.33,模型常共享单调先验并计算无关代理指标。
- 公开任务以Harbor task形式发布并附带grader与oracle解,其用真实badcase固化排序评测的思路可直接用于自建评测集。