世界树做完了,记忆功能你觉得该怎么办,因为本地模型还是qwen9b模型,我觉得这部分可能很难办,先说说这个模型的上下限吧
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
世界树做完了,记忆功能你觉得该怎么办,因为本地模型还是qwen9b模型,我觉得这部分可能很难办,先说说这个模型的上下限吧
回答
先说 qwen3 9b 这个尺寸的上下限,因为你这套设计的天花板基本由它决定。
上限方面:指令跟随和结构化输出够用,只要格式约束写得死(JSON schema 级别),让它每轮吐一个 delta、判断这条是不是新事实,这类闭式任务 9b 能稳。中文角色扮演的语感也还行,毕竟 qwen 系中文语料厚。长一点的原文照抄、语气模仿,给它三五条样本它能追上。
下限有三个,全在你这个场景上:
一是长上下文注意力稀。你不是塞不进去,是塞进去它会平摊注意力。超过几千 token 有效信息之后,中段内容基本被忽略,位置偏后的约束遵守度会掉。所以你世界树做得再完整,一次性怼进上下文等于白做。
二是让模型自己决定「该去查什么」,它判断力不够。给它工具让它选章节、选检索词,它十次能对六七次,剩下三次是致命的——角色扮演里记错一次设定,用户就出戏了。所以调度权必须在你手里,用规则、关键词、场景 tag 定位,别交给它。
三是不擅长隐式状态维护。好感度、时间线这类变量,你不显式喂给它精确值,它会自己编,而且每轮编得不一样。
所以记忆这块我的建议很明确:把记忆拆成「谁来决定」和「谁来生成」。
决定权全部拿到代码侧。当前场景、当前在场角色、最近提到的人名地名,用关键词和结构化字段算出来,不让模型参与。9b 只负责生成——按你给它的注入块写台词。这样它的短板(判断)被绕开,长板(生成)被用满。
存储按读写频率分三类,一类一种存法:
状态层,JSON 字段,每轮由代码读出来、拼进上下文末尾,同时要求模型返回增量更新(比如好感度 +2)。这层不能自然语言存,聊三十轮就开始漂。
事件层,每条一行结构化记录——谁、在哪、对谁、做了什么、第几轮,落 SQLite。这是给检索用的,不是给模型看的。多带几个字段的成本很低,但能让你后面查「这个角色在村口说过什么」这种带过滤的查询变得精确。
对话层,最近二十到三十轮保留原文直接进上下文,更早的压成段落。压缩产物必须用明确标签和原作区块隔开,否则 9b 会把自己编的经历当原作设定往外说。
注入顺序也要定死,因为 9b 对位置极敏感:角色卡(提炼+锚点)放最前、只读、永不变,能命中前缀缓存;然后世界树的场景相关切片;然后检索到的三五条原台词,包一层语义外壳;最后状态 KV 和最近对话。前面那段一动不要动。
一万字剧情量加 9b 这个组合,我的判断是别上向量库、别接现成记忆框架,一个 SQLite 加几百行 TS 就够。真正的瓶颈从来不是存不下,是每轮往里塞什么、塞多少、塞在哪。你先把「本轮注入块」当唯一要调试的对象,跑五十轮记两类 badcase:设定说错的、语气串到别的角色身上的。前者是检索或注入范围问题,后者是切块粒度问题,两类修完再谈优化。