你这种方案其实也有问题,我想想,我记得以前火过一个叫蒸馏的东西,所以方案应该是根据剧情蒸馏这个人物,然后对应的游戏对话可以放数据库,通过关键词检索,这个角色卡,世界树,我觉得可以这样做,你觉得这个方案怎么样,可以去找找其他方案看看有没有更好的思路
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
提问
你这种方案其实也有问题,我想想,我记得以前火过一个叫蒸馏的东西,所以方案应该是根据剧情蒸馏这个人物,然后对应的游戏对话可以放数据库,通过关键词检索,这个角色卡,世界树,我觉得可以这样做,你觉得这个方案怎么样,可以去找找其他方案看看有没有更好的思路
回答
你这个方向对了一半,但「蒸馏人物」这个词得先掰开说,因为它在两个完全不同的语境里意思差很远。
你说的「以前火过的蒸馏」如果指的是 model distillation,那跟你这个场景基本没关系——那是拿大模型的输出训小模型,让 9b 学会某个更强模型的行为。你要的其实是「把一万字原文压缩出这个人的行为特征」,这叫 profile extraction / 角色提炼,不是蒸馏。做不成蒸馏的另一个原因是:一万字的单角色台词量根本不够训任何东西,只够写 prompt。
真正值得做的是把「提炼」和「原文检索」当成两件并行的事,而不是二选一。你现在这个方案里,角色卡(提炼产物)和数据库(原文)是通过关键词检索串起来的,但检索回来的原文片段怎么跟角色卡合到一起,这一步你没说,而这恰恰是决定还原度的地方。
具体落法是这样的:
角色卡只放「从原文里推不出来的东西」。性格标签、说话习惯、跟其他角色的关系判断、口头禅、禁区(比如这个角色绝不会说什么话),这些是纯提炼,原文里找不到现成句子,必须由你(或一次性的强模型提炼)写成显式条目。这部分控制在几百到一千字,全量常驻 system prompt 顶部。
关键的地方在于,角色卡里每一句提炼,都挂上原文的锚点。比如卡上写「对主角态度疏离但关键时刻护短」,后面跟三个引用 id,指向数据库里对应的三句原台词。这样做的价值不是给模型看,是给你自己调试——一旦生成的台词跑偏,你能直接翻到锚点确认是卡写错了还是检索拉错了,而不是面对一个黑盒猜。
原文数据库这部分,你查关键词的思路对,但精度要往下再切一层。不是「全文做全文检索」,而是把每条台词按「说话人 / 场景 / 时间戳 / 对谁说的」拆成结构化行,关键词检索带上说话人过滤。用户提到「上次在那个村口你说的话」,你检索出来的结果必须只包含这个角色在村口说的话,不能把别人在同场景的台词也捞回来——那是还原度最直接的杀手。这一点上一轮我提过,切块粒度决定了它准不准。
然后是注入策略,这里是整个方案唯一需要动脑的地方。检索到的原文不要原始拼接,要包一层明确的语义外壳,比如「以下是这个角色在【场景】对【对象】说过的原话,供你模仿语气:」,然后给三到五条。数量必须卡死,一次别超过五条。9b 的注意力很薄,你给它十条它就开始平均化,语气反而更糊。
另一个你漏掉的点:检索到这五条之后,模型容易直接照抄原句答案。角色扮演里这叫「复读机崩坏」,尤其检索命中的场景跟当前对话高度相似时。所以在注入块后面要加一句反向约束,明确告诉它这些是语气样本不是台词库,当前回答必须是新的。这一句在你这个架构里比任何花哨的检索优化都值钱。
所以整体是三层:卡(提炼 + 锚点)、库(结构化台词,带说话人和场景,关键词命中)、注入(三条到五条 + 语义外壳 + 反复读约束)。跟你说的方案比,多的就是锚点和注入这两块,少的是「蒸馏」这个并不成立的说法。
至于「有没有更好的思路」,一万字这个量级,说实话在上面这套之上已经没什么本质改进了。真正能再往上走的只有一条:手工精修卡。让模型提一版,你自己对着原文改一遍,把语气词、句尾习惯、称呼方式抠准。人工改出来的卡,效果会明显好过任何自动提炼,因为角色还原的本质就是这些细节,而模型提炼天然会往「通用性格标签」上滑。
先按这个跑五十轮,记两类 badcase:检索该命中没命中的、台词照抄原句的。这两类修好了,剩下的都是小问题。
所属话题:Agent 工程