同一模型在不同harness中表现差多少

模型能力在不同壳里差别不大，差距主要在接入层：压缩策略、工具集与协议、缓存和成本；长任务多步工具链场景差异会放大

要点

  1. harness 可动的变量包括上下文窗口大小、工具调用编排、历史压缩、系统提示与 prompt caching，同一模型在不同壳里表现能差一截
  2. 横评显示各 harness 成功率差距多在 ±2% 到 ±5% 以内，但成本可差数倍；有壳在 Terminal-Bench 上更强且更便宜
  3. Pi 只提供 read、write、edit、bash 四个工具，初始上下文约为 Claude Code 十分之一，却仍能赢或打平，收益主要是省钱和少绕圈
  4. harness 能否把失败作为反馈交回模型很关键：Pi 的 shell 默认无超时，卡住的命令变成静默，论文里有 34 次运行死于此
  5. Benchmark 样本小、题可能已被训练见过、正确率趋于饱和，比较应固定同一模型同一批题目自跑，别拿不同壳的结果互相下结论

来源