上下文压缩的设计原则与KV Cache关系

压缩的本质是把隐式推理提炼成显式结论再喂给模型；按阈值低频触发、不动静态头部时，压缩与 KV Cache 是接力配合而非矛盾。

要点

  1. 注意力机制是模式匹配与检索，不擅长单次前向跨多轮归纳，因此压缩要把试错过程提炼成已确认事实、关键决策、失败教训和未解约束。
  2. 按信息生命周期分层：大段工具输出优先折叠或替换为文件路径引用，用户约束、架构决策、报错根因和 TODO 必须完整保留。
  3. 压缩不能每轮修改历史前缀，否则打碎 Prefix Cache；应保持 System Prompt 与最近几轮不动，接近预算阈值（如 75%～80%）时批量替换早期消息。
  4. 重试次数、改动文件列表、工作目录等精确状态由框架代码确定性提取，LLM 摘要只负责语义进展与排障结论。
  5. 时机上互补：未满的日常轮次靠 Cache 只追加，触发上限或注意力稀释时做一次压缩腾出新的前缀空间。
  6. 位置上互补：静态 System Prompt 与压缩摘要放在最前作为新稳定前缀，后续对话继续高命中 KV Cache。

来源