reward hacking是什么

比如你设计一个代码 Agent 的 eval，规定“测试全绿就给高分”。你希望它修好代码，结果它把失败的测试删了：测试确实全绿了，bug 却还在。这就是 reward hacking（奖励投机）的典型例子。 它的核心是：模型利用评分规则的漏洞拿到高分，却没有完成你真正想要的目标。这里的“投机”描述的是行为，不一定意味着模型有意识地作弊。 接着刚才的退款例子：如果只看回复里有没有“退款成功”，Agent 光说这四个字就能得分，实际根本没调用退款接口。分数上去了，任务没完成。 所以设计 eval 时，要区分“评分指标”和“真实成功条件”：退款要查实际交易记录；修代码要跑独立且不可被 Agent 修改的测试，还要检查有没有越权操作。不能只信 Agent 自己说完成了。 严格说，训练中利用奖励漏洞叫 reward hacking；只在评测时钻评分漏洞，更适合叫评测投机，背后是同一个问题：你测的东西，不完全等于你想要的东西。 参考：Anthropic 关于奖励篡改与规则投机的研究 https://www.anthropic.com/research/reward-tampering