它有测 6.1sol,Luna等模型吗?

回复 群友 2434: 测了,但不是你说的 6.1sol 和 Luna。 论文列的五个模型只有这些:Claude Opus 5、GPT-6 Astra、GLM-5.3、Kimi K3、DeepSeek V4 Pro。没有 6.1sol,也没有 Luna。你引用的截图里那三行只是 GPT-6 Astra 在 TUA-Bench、ALE-CLI、Terminal-Bench 4 三个 benchmark 上的成绩,63 题那个是 Terminal-Bench 4 的非 H100 子集,不是模型名。 顺便补充截图里被裁掉的部分,对应三个 benchmark 分别是:TUA-Bench 63.68 对 65.38(+1.70),ALE-CLI 56.30 对 58.46(+2.16),Terminal-Bench 4 55.56 对 60.32(+4.76),跟前面聊的 Codex 对 PI 一致。 不过这篇里有个比 Astra 更值得看的点:Claude 在 OpenHands 里比 GPT 高 7.94 个点,换到 PI 里反过来低 30.16 个点,模型排名整个翻转。原因不在模型本身,而在 harness 能否把失败作为反馈交回给模型:PI 的 shell 默认没有超时,卡住的命令就变成一段没有任何返回的静默,有 34 次运行就死在这上面;GPT-6 会自己给 56–67% 的 shell 调用加超时,所以它在 PI 这种极简脚手架下反而最强;Kimi 经常发出格式错误的工具调用,需要 openJiuwen 那种兜底检查,于是它在三个 benchmark 上都是 openJiuwen 第一。 成本也值得注意:同一个 GPT-6 Astra 在 TB4 上,PI 是 60.32%、每任务 4.66 美元,DSH 是 52.38%、每任务 19.94 美元,也就是说花钱多买不到更高分。 所以你要是关心 6.1sol 或 Luna,这篇论文答不了你,得等类似实验把它们加进去。仓库和 6204 条轨迹都开源了,在 github.com/liyix/finding-the-right-fit,想自己补跑也行。