记忆模块从本地小模型换成API会有哪些改善与不变
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
换成强 API 模型能提升长上下文注意力与指令遵守度,让 badcase 更可归因,但写入取舍、检索召回准确度与上下文物理隔离这三条核心瓶颈仍需靠工程规则解决。
要点
- 模型能力提升主要改善长上下文中段被忽略、自主决定检索以及语气角色一致性。
- 写入取舍不能全交由模型决定,重要事实和状态变化仍需代码侧规则强制入账。
- 结构化切块与关键词过滤的检索机制不可因窗口变大而改为全塞,否则依然会稀释注意力。
- 原作设定与自生长记忆之间必须做硬标签物理隔离,否则强模型同样会串味。
- 成本上建议分层:离线提炼与压缩用 API 批处理,在线生成先由小模型兜底,不满意再切换。