假如换了一个更好的harness但是最后agent效果没有提升，是不是可能由llm性能太强导致的，或者说有其他原因吗

群友 1063，有可能，但更准确地说，是“模型已经不需要这部分辅助”，不一定是模型整体强到头了。 先纠正我上次的说法：“换模型没提升，就说明卡在 harness”太绝对了。换 harness 没提升，同样不能直接反推卡在模型。一次替换实验只能说明：这次替换在当前任务和条件下，没有带来可测的收益。 你说的“LLM 太强”，具体可能有两种情况。 一种是任务已经接近满分。比如模型配简单工具就能稳定完成短任务，再加规划、反思、记忆，成功率没多少上涨空间。这是评测天花板，不代表换成更难、更长的任务也没收益。 另一种是功能重叠。旧 harness 需要显式提醒“修改后运行测试”，新模型已经能稳定主动做这件事，那么这条辅助的边际价值就小了。这里被模型能力替代的是某项补丁，不是整个 harness；执行环境、权限边界等仍然需要外部系统承担。 除此之外，还有几类原因。 “更好的 harness”不一定更适合这个组合。 在另一个模型、另一个任务集上更好，不等于在你这里更好。比如强制先规划再执行，可能帮助容易跑偏的模型，却让原本可以直接完成的任务多绕几圈。模型和 harness 有配合关系，不是两个独立加分项。 改进没有打中当前失败点。 你增强了长期记忆，但任务全是短任务；你增强了失败重试，但真正的问题是缺少必要数据。这些改动即使实现正确，也不会改善当前结果。修好了输送信息的管道，不代表送来的信息就是有用的。 也可能恰好相反：当前模型仍处理不了关键步骤。 工具已经返回充分证据，任务状态也保存完整，但模型仍然推不出正确结论。增加记忆、日志或重试，不保证能补上这部分能力。不过，这也只能说明当前组合下存在能力瓶颈，不能证明所有 harness 都无能为力。 收益被副作用抵消了。 例如新增检查能发现错误，却消耗了更多时间和 token，在相同预算下反而没时间修复；或者压缩上下文减少了噪声，同时删掉关键限制。最终总分不变，内部可能是“一部分变好，一部分变坏”，而不是完全没影响。 最后，也可能是“没测出来”，或者只看错了指标。 任务太少、只跑一遍，随机波动可能盖住小幅提升。只看总体成功率，也可能忽略：失败集中在哪类任务、费用是否下降、耗时是否缩短，以及是否从偶尔成功变成稳定成功。同样的分数，不一定代表同样的效果。 所以，你的假设成立，但必须加限定：模型相对于当前任务，已经能自己完成新 harness 所提供的那部分辅助。仅凭“换了没涨分”，无法区分是模型太强、模型仍不够强、改错地方，还是评测没捕捉到变化。 顺带修正上次另一个判据：“给正确提示就能过”也不能直接证明是 harness 的锅，因为提示可能同时降低了任务的推理难度。 Anthropic 的评测说明也强调，实际评的是模型与 harness 的组合，并需要多次运行和多维指标： https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents