我想看看接入pi能力差距大不大，有没有相关评测

回复 群友 7550： 有专门测这个的横评，但没看到针对 Astra 单独做的。我找到两份可用： 一，Arena.ai 的 HarnessTax，测了 7 个模型、3 个 harness（Claude Code、Codex CLI、Pi）共 21 组，在 SWE-bench Lite 和 Terminal-Bench 2.0 上跑，每任务 3 次。结论是：同样是同一个模型，各 harness 的成功率差距大多在 ±2%（SWE-bench Lite）和 ±5%（Terminal-Bench）以内，但成本能差好几倍。比如 Claude 模型在 Claude Code 里成功率 97.8%，在 Codex 和 Pi 里都是 96.7%，但 Claude Code 贵一倍，1.33 美元对 0.67 美元。反过来也有跨壳更强的例子：GPT-5.6 Sol 在 Terminal-Bench 上，Pi 里 83.3%，比 Codex 的 78.9% 高，成本还只有一半。 二，OpenBench，专门做 harness 对比的开源项目，同一模型固定 gpt-5.5-medium，跑 codex、pi、opencode、cursor、devin、claude 这几个壳。它的发现是正确率基本饱和（前沿 harness 都能做完全部核心题），但效率差异明显：实际耗时最多差 4 倍，token 开销最多差 8 倍，pi 在它测的盘面里反复是最快最省的那个。另外它的 M4 开放模型矩阵里就用了 deepseek-v4-flash，四个开放模型有三个追平了 GPT-5.5-medium 的前沿基线，72 次运行一共花了约 1 美元。 所以对你的问题，可验证的回答是：能力层面的差距小，接入层差距主要在成本和延迟。有意思的细节是 Pi 只提供 read、write、edit、bash 四个工具，初始上下文只有 Claude Code 的十分之一左右，却还能赢或打平。也就是说 Astra 在 Pi 里大概率不会明显变弱，主要收益是省钱和少绕圈。 要注意的坑是：这类 benchmark 的题可能被模型训练时见过，样本量也小，Arena 那篇自己都说了样本小、置信区间宽；OpenBench 也说自己当前的题正确率饱和了，只能比效率。所以你要是想知道 Astra 在这两个壳里的真实差异，别信别人的横评数字，拿自己日常那批活儿固定跑一遍更靠谱。