故事已经完结了 在这个限定范围下,有哪些方案实现

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

故事已经完结了 在这个限定范围下,有哪些方案实现

回答

故事已经完结这个前提很关键,它把问题性质整个改了:之前讲的是「记忆会无限增长所以得管」,现在是「数据总量固定,能算清楚有多少 token」,那大部分记忆系统要解决的动态写入、遗忘、压缩都可以直接跳过。

接下来按你的数据规模分档,先说怎么估算:

角色卡、世界观设定这类静态的东西,用 JSON 或 YAML 存一份,直接算 token;已完结的剧情原文,在对话记录里用 tokenizer 跑一遍,就得出确定的数字。另外把状态 KV 单独拆出来,好感度、时间线、持有物品这类每轮都要读写的内容,不要当记忆,要当变量。这部分用自然语言存一定会漂移,用结构化字段存才稳。

档位一:全剧 token 在 30 万以内。这个量级什么都别设计,一份完整剧情原文加人设,全塞进上下文。位置按最稳定的放前面来排:人设和世界观硬设定在最前,剧情原文在中段,状态 KV 和最近几轮对话在最后。前面那段别改,前缀缓存能命中,成本能降一个量级。9b 这点上下文装不装得下要实测,装不下就降到下一档。这档的好处是零检索误差,角色不会「记错」,因为根本没有检索这一步。

档位二:几十万到百万级,9b 装不下或者塞进去后模型明显开始走神。这时候别做向量检索,做「章节级目录 + 按需展开」:把故事切成章节,每章配一句摘要和起始时间点,汇总成一份目录放进 system prompt。模型自己判断这次对话该翻哪几章,需要细节时用工具去拉原文。这比全文塞进去省 token,比向量召回准得多,因为章节边界是语义上真实存在的界线,不是向量算出来的相似度。角色扮演最大的伤害是记忆串味,向量按相似度召回天生就会把「第一次见面」和「吵架那天」混在一起,这一点我之前就提醒过。

档位三:真的超过你的窗口预算好几倍,才考虑检索。就算上了,也优先用 SQLite FTS5 关键词召回,别上 embedding。用户提「剑」「第三纪元」这种具体名词时,精确匹配比语义匹配准;只有他提「那天你们聊了很久」这种模糊指代时,才需要向量。真要混合,就是关键词优先、向量兜底,而且要带时间过滤,确保拉回来的片段时间线不冲突。

不管哪一档,有件事你现在就该做:既然故事已经完结,就把「原剧情」和「后续对话」严格分开存。原剧情是只读的真相源,用户和你后来的每一轮对话是增量。角色引用原剧情时应该能精确引用,而自己编的后续不该混进原剧情的索引里,否则聊一百轮之后,模型会把自己编的经历当成原作事实。这是完结型角色最典型的腐化方式,和你玩的那个 9b 小模型尤其容易踩。

还有一点关于 9b 的现实提醒:这个尺寸的模型不适合「让它自己决定去翻哪一章」这种需要判断力的动作,指令跟随和工具调用容易出错。档位二在 9b 上,更稳的做法是先用一个小分类器或关键词规则,从用户消息里判断它提到了谁、哪个地点,直接定位到章节,别让模型自己选。等到模型换到 32b 以上,再交回给模型自己决定。

落到你的第一版:如果剧情原文能塞进上下文,就直接走档位一;如果塞不下,就走档位二,用章节目录加规则定位。这两种都不需要向量库,一个几百行的 TS 服务能写完。

所属话题:Agent 工程