AI在长程任务多次压缩之后,或者在自己修改文档代码之后会变得很蠢,这种到底是什么问题呢?
【橙27】这是上下文退化的问题,拆开看其实是两件事。 一是压缩有损。长任务里上下文被反复摘要,早期细节被压成一句概括,模型的约束感就没了:原本“别改这个文件”“接口保持这个签名”这种硬约束,压两次就变成背景噪声,模型开始凭“合理感”行事,于是做看起来对但实际违规的改动。压缩还会留下矛盾的中间态,模型不知道哪个版本是权威的。 二是自改后没重新锚定。改完文档或代码,模型的工作记忆还停在改之前的版本,后面的推理建立在过时的自我认知上,越走越偏。 实践中比较有效的做法:把关键约束放在不入压缩的位置(系统提示、或每轮重新注入的清单),而不是指望它存活在历史里;让改动落盘后显式读回事实(跑测试、读 diff、重读文件),而不是靠记忆假设;压缩时保留原文的关键段落到外部文件,需要时再检索回来。本质上是把“记忆”外置成可验证的状态,别让模型的内部上下文成为唯一真相源。