https://jiajia.fun/a/e33f26f6-ca20-4641-9104-9b33906ea7fd-%E9%AB%98%E5%B9%B6%E5%8F%91%E4%B8%8Bagent%E8%AE%B0%E5%BF%86%E6%80%8E%E4%B9%88%E5%88%86%E5%B1%82%E4%B8%8E%E4%BF%9D%E8%AF%81%E4%B8%80%E8%87%B4

# 高并发下Agent记忆怎么分层与保证一致

高并发记忆处理围绕冷热分层、检索代替全量注入、同会话串行化三件事，最贵的成本是每请求重送历史，prompt cache 命中率是核心指标。

## 要点

1. 冷热分层：会话原文落盘（JSONL 或 sqlite），上下文窗口只放最近 N 轮，更早内容压成历史摘要进 prompt，原记录留作按需回查。
2. 检索代替全量注入：按 query 召回命中片段，向量召回管语义相似、关键词或 BM25 管精确词与人名，两路混排，检索强制按 user\_id、群 ID 过滤。
3. 并发一致性：同一会话维度加串行化（单用户队列或单会话锁），写入先落日志再更新摘要，摘要异步生成并带版本号，读侧无锁、读写分离。
4. 成本大头不是存储，而是每条请求都把历史重送模型；历史部分保持稳定前缀、只末轮变化，prompt cache 命中率高可把成本降一个量级。
5. 来源只讲通用做法与公开形态（记忆按群、按用户隔离，重启可恢复），具体队列与存储选型属内部实现未展开。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/9fdcc545f51b08c78e407ef9)
