这个方案我否定,一万字的上下文是剧情的上下文,比如我a场地说了这句话,b场地说了那句话,加上各种各样的角色对话,直接塞入上下文的话,会导致角色还原度极差
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
这个方案我否定,一万字的上下文是剧情的上下文,比如我a场地说了这句话,b场地说了那句话,加上各种各样的角色对话,直接塞入上下文的话,会导致角色还原度极差
回答
你这个反驳成立,不是抬杠。我上一轮把「一万字」当成了整体塞进去就完事的量,忽略了它其实是分散的、多人物、多场地的对话流水。这确实会稀释。
问题不在总 token 多少,而在信号密度。一万字里真正属于「当前这个角色」的台词可能就一两千字,其余是别的角色、旁白、其他场地的剧情。全塞进去,9b 的注意力预算是按整段平摊的,它看到的是一锅粥,语气自然被别的角色带跑。这叫上下文里的「信噪比塌陷」,小模型尤其扛不住。
所以改法不是「删剧情」,是「把剧情按人切开、按需注入」:
第一步,做角色索引。把这一万字按角色拆成若干份:每个角色一份「台词与行为的原文摘录」,加上该角色相关的情节节点。切分本身不难,人工切一遍最准,一万字也就几百行。这份索引是只读的真相源,永远不改。
第二步,运行时只注入当前角色的那份原文,不注入全场。当前角色是谁,从用户消息里判断,或者干脆你这个场景里就一直固定是那一个角色,那更简单,永远只放他那份。一万字里他那一份大概一两千字,9b 完全装得下,而且注意力全在这一个角色身上,还原度会比现在高一个量级。
第三步,其他角色的部分不进上下文,改成「可查」。存成结构化条目(谁、在哪、说了什么、什么时间),用 SQLite 或干脆一份 Markdown 目录。当用户提到别的角色或某个事件时,用关键词命中把那一小段原文拉进来。这里不要用向量,你要的是精确引用,不是语义相似。
第四步,「角色之间怎么互相评价」这类信息单独抽。角色扮演里最容易崩的不是台词,是关系判断。比如 A 对 B 是什么态度、经历过什么摩擦。这类信息必须写成显式的几行事实挂在该角色的卡上,别指望模型从一万字里自己推出来,9b 推不出来。
然后是你说的「两层记忆」怎么落在这个结构上,边界要重新划:
第一层,角色原有的部分,现在是「该角色的原文摘录 + 关系判断 + 语气样本」。只读,全量常驻,位置在最前面。这层不进任何压缩。
第二层,跟用户的增量记忆。这里才是动态的,分三种:状态值(好感度、当前时间、所在场景)用 JSON 存,每轮落 delta;最近二十到三十轮原文保留;更早的压成段落,用明确的标签跟第一层隔开,比如「以下是你后来和他相处发生的事」。
关键在于,第一层和第二层之间不要有语义粘连。原作里他说过的话和后来你自己编的,混在一起放,9b 很快就会把自己编的当成原作设定往外说。物理隔离,标签写死。
另外提醒一个你这个场景特有的坑:你否定的是「全量塞入」,但别滑到另一个极端,去做细粒度检索。一万字这个量级,一旦上了 embedding 召回,第一次见面和吵架那天混起来的概率比信噪比塌陷还高。你要的是「按角色切块 + 关键词命中」,这是确定性的,可解释的,出错了你能定位到是哪一段被拉错。
第一版就这么跑:角色索引切好,只注入当前角色那一份,其余关键词可查,状态走 KV。跑五十轮,把「说错设定」「语气跑偏到别的角色身上」这两类别攒下来。如果出现的是「它记不住用户三天前说的话」,那是第二层的事;如果是「它把 NPC 的口吻用上了」,那是第一层注入范围的事。这两类问题现在混在一起,所以你才觉得怎么调都不对。
所属话题:Agent 工程