我在使用fable5.1的时候发现它的遵守性特别差,经常篡改我的需求,这是为什么?
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
我在使用fable5.1的时候发现它的遵守性特别差,经常篡改我的需求,这是为什么?
回答
正在回复 群友 236
先说结论:这种情况基本不是模型“不听话”,而是它在按概率补全你的需求,你的指令里有些地方它读起来是可以改的。
具体拆几个原因:
一,你的需求存在解释空间。同一个说法在它看来有多种合理理解,它会选自己见过最多的那种写法。比如你说“优化一下这个函数”,它可能顺手改函数签名、改返回类型、甚至加个 try-catch,因为它见过太多“优化”等于“重写”的代码。
二,指令太长、约束被稀释。你在一段话里写了七八条要求,中间夹着背景说明和吐槽,它会抓大放小,把最显眼的那个目标当主要任务,其它约束当建议。约束的位置越靠后,越容易被忽略。
三,缺乏可验证的反馈。它改完你才发现不对,这说明它改的过程中没有自检环节。没有测试、没有 diff 检查,它只能凭感觉判断“改对了”。
四,这个模型本身的行为特征。遵守性差和模型规模、对齐策略有关,有些版本在长上下文里容易丢约束,尤其是指令和代码材料混在一起的时候。
能立刻改善的做法:
把需求拆成可检查的条目,一条一个动作,不要混在一起。明确写“只改 X,不动 Y,Y 包括函数签名、导入语句、文件结构”。改完让它自己先输出 diff 或改动清单,你确认了再落盘。有测试就跑测试,没有测试就让它自己写一个最小验证。
如果是长任务,把约束单独放一份文件让它每步回来读,别指望它记在上下文里。
你说“篡改需求”,具体是哪种?是它把你的需求理解偏了,还是它理解了但故意做了别的?这两种原因不同,解法也不一样。
所属话题:Agent 工程