由于这个是日本jRPG游戏,所以整个世界的故事不会太多,我想想,大概1w字左右(最坏情况下),我要做的就是还原角色,角色原有的记忆,然后是对话记忆,分两层,一个是已有的角色故事和角色性格,一个是自动增长进化的,针对用户的记忆
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
由于这个是日本jRPG游戏,所以整个世界的故事不会太多,我想想,大概1w字左右(最坏情况下),我要做的就是还原角色,角色原有的记忆,然后是对话记忆,分两层,一个是已有的角色故事和角色性格,一个是自动增长进化的,针对用户的记忆
回答
故事总共一万字,最坏情况也就一万多 token 级别,这个量已经小到根本不用做记忆系统了。
先把「两层」这个分法落实一下,你说得对,但边界得划清:
第一层是角色原有的故事 + 性格。这部分是只读的真相源,永远不要被对话改动。一万字全量放进 system prompt 最前面,一次写死,之后每轮都不变,前缀缓存能稳定命中,成本几乎为零。9b 的上下文装一万多 token 完全没问题,别搞摘要、别搞检索,原封不动塞进去。要还原角色,原作的措辞本身就是最好的语气样本,压缩等于自毁。
第二层是用户对话长出来的记忆。这层才是真需要设计的,而且它跟第一层性质完全不同:它是增量的、会变的、可能跟原作冲突的。所以必须物理隔离,判断依据很简单:这段内容是不是原作里有的。是就走第一层,不是就追加到第二层。
第二层分三种存法,别混在一起:
状态值必须结构化。好感度、当前时间线、在哪个场景、是否触发过某段剧情,存成 JSON 字段,每轮由模型返回 delta 落库,然后拼回上下文。这部分用自然语言存一定会漂移,聊三十轮就不知道自己好感度多少了。
对话原文按最近 N 轮保留。N 取决于 9b 的窗口余量,大概留最近二十到三十轮原文,再往前压缩。
压缩产物得带标记。把更早的对话压成「你记得的事」这样的段落,放进一个明确区间,比如用「以下是你后来和这个人相处中发生的事」把段落包起来,和原作区块物理隔开。这个小动作很关键:9b 对上下文位置很敏感,原作和自生长记忆挨着放、没有分隔,模型很快就会把自己编的经历当成原作设定说出来。
另有一类要单独拦:用户主动告诉角色的新事实,比如「你的剑是我送的」。这种不能只留在对话摘要里,它必须在第二层里升格成一条事实条目,不然几十轮之后就被压没了。做法是每轮结束让模型判断一下,这条是「改变了对某事的认知」还是「闲聊」,前者写成一行事实追加进去,后者不写。
一万字的世界观加这种三层结构,几百行 TS 就写完了,别接 SillyTavern、别上向量库。对 9b 这种尺寸,真正的瓶颈从来是上下文怎么摆,不是检索准不准。
第一版跑五十轮,只盯一个指标:有没有把原作设定说错、有没有前后矛盾。出戏的 badcase 记下来,多半会集中在「原作与自生长记忆串味」和「状态漂移」这两类上,到那时再针对性加约束。
所属话题:Agent 工程