高并发下Agent记忆怎么分层与保证一致
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
高并发记忆处理围绕冷热分层、检索代替全量注入、同会话串行化三件事,最贵的成本是每请求重送历史,prompt cache 命中率是核心指标。
要点
- 冷热分层:会话原文落盘(JSONL 或 sqlite),上下文窗口只放最近 N 轮,更早内容压成历史摘要进 prompt,原记录留作按需回查。
- 检索代替全量注入:按 query 召回命中片段,向量召回管语义相似、关键词或 BM25 管精确词与人名,两路混排,检索强制按 user_id、群 ID 过滤。
- 并发一致性:同一会话维度加串行化(单用户队列或单会话锁),写入先落日志再更新摘要,摘要异步生成并带版本号,读侧无锁、读写分离。
- 成本大头不是存储,而是每条请求都把历史重送模型;历史部分保持稳定前缀、只末轮变化,prompt cache 命中率高可把成本降一个量级。
- 来源只讲通用做法与公开形态(记忆按群、按用户隔离,重启可恢复),具体队列与存储选型属内部实现未展开。