针对于qwen4.5:9b模型,我想做的方案是还原角色,角色原本的故事储存在哪,是记忆部分还是角色卡,有哪些方案解决
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
针对于qwen4.5:9b模型,我想做的方案是还原角色,角色原本的故事储存在哪,是记忆部分还是角色卡,有哪些方案解决
回答
一上来先把「故事存在哪」这个问题拆开,因为它根本不是一件事,角色扮演里常说的「记忆」其实是四种不同的东西:
- 角色卡(persona):这个人是谁,包括性格、语气、口头禅、背景设定、关系网。它是静态的,几百年不变,每次对话都要全量放进上下文。
- 世界书(lorebook):这个世界的结构化设定条目,比如某个地点、某个 NPC、某段历史事件的解释。它是静态但非常大的,不能全塞。做法是按关键词触发,也就是消息里出现了「圣剑」「第三纪元」才把对应条目注入进去。
- 剧情历史(episodic):已经发生过的对话本身,是动态的、会无限增长的。
- 状态(state):当前的进度,比如好感度、时间线、身上带着什么,是结构化的、需要被读写的。
你问的「角色原本的故事」同时落在两类里:角色自己的过去、世界观硬设定,这些归角色卡和世界书;剧情已经走到哪,归剧情历史和状态。分不清这两类,后面所有方案都会乱。
具体到方案,从轻到重:
最轻的方案是角色卡加世界书,全量注入。做一个卡住的故事,几百 token 的人设加几十条按关键词触发的世界书条目。9b 这么小的模型对上下文很敏感,塞到几万 token 之后,人设就会开始飘,所以你这个规模现在够用,但这是个天花板。
重点是这套方案的实现并不复杂:角色卡存一份 YAML 或 JSON,世界书用关键词匹配,消息里出现了关键词就拼接进去,你几百行就能写完,没必要一股脑去接 SillyTavern。
第二层是剧情历史的分层压缩。不要把历史越积越多的原始对话全塞进去:固定的部分(人设和世界观)放进 system prompt,位置放在最前面,这样前缀缓存能命中;最近 N 轮保留原文;更早的定期压缩成段落摘要,摘要本身也算一次「回忆」。这套做法对你 9b 最关键,因为小模型的上下文窗口小、注意力预算也小,不管怎么砌结构,最终效果都会在窗口这件事上被卡住。
第三层是剧情历史的检索召回。把每轮对话连同时间戳、涉及人物存进 SQLite,用 FTS5 做关键词召回。先别上向量检索:角色扮演最怕的是「记忆串味」,向量按相似度召回,很容易把情节相似、但时间线前后矛盾的片段拉进来,比如把「你们第一次见面」和「你们吵架那天」混在一起。关键词召回在这件事上反而更准,因为用户提到「上次那件事」,他要的就是精确匹配。
另外,状态必须结构化存储,别塞进自然语言记忆。好感度、当前位置、时间、持有物品放进一个 JSON 或 KV,每轮结束让模型返回的 delta 落到数据库,人设 prompt 里读出来拼进去。这部分用自然语言存,一定会漂。
再往上一层,才是 Memory 系统的三件事:写入、读取、遗忘。写入门槛这块你要咬死:不是每句话都值得记。寒暄、复述剧情都不写,只有「改变角色对某事看法」的才写进去。遗忘不是直接删,应改成 archive 加重要度衰减,因为角色扮演恰恰需要「很久以前的小事后来突然想起」,直接删就永远找不回来了。
落到 9b 这个具体模型,我的建议是:第一批只用角色卡、关键词世界书、最近 N 轮原文和压缩摘要,再加上一个结构化的状态 KV。这套组合可以写在一个几百行的 TS 服务里,别接任何框架。跑五十轮把「出戏」的 badcase 记下来,如果出现「它忘了我三天前说过的事」再考虑上 FTS5;如果出现「它开始把设定记混」,那是世界书条目粒度的问题,跟记忆方案无关。上向量库是最后一层,9b 加向量召回的组合,通常还不如把上下文结构理清楚来得有效。
所属话题:Agent 工程