外层Agent优化内层Harness是否可行
来自夹夹 QQ 群讨论，审核后公开 · 。查看原始讨论
方向可行：长程任务失败多来自调度与上下文策略而非单步能力，但必须把适应度锚定到外部可验证信号、留 holdout 集并先解决评估吞吐，否则会陷入自欺。
要点
- 本质是双层优化：外层搜索调度规则、纠错触发、上下文组织与重试预算，内层执行任务，与让进化器重写搜索逻辑同构。
- 最大风险是适应度信号：用内层自评或 LLM 判分会走向 reward hacking，应锚定单测、真值、人工抽检与真实环境是否接受产物。
- 需留从未参与优化的 holdout 任务集决定是否接受新一代，并给 Harness 设规则数、token 预算、分支数等体积或复杂度上限。
- 长程任务方差极大，评估吞吐不够时等于用噪声做选择，需可复现环境、并发跑与固定随机种子族。
- 落地分三步：先把 Harness 拆成可独立开关的旋钮做参数搜索，再让组合结构进化，最后把策略沉淀成可读规则或文档。
- 启发在于 Harness 从一次性设计变成有生命周期的资产，调度策略直接决定失败暴露得早还是晚，这靠改 prompt 得不到。