KV Cache 与 Prompt Cache 怎么区分

KV Cache 是单次请求内的计算数据结构，Prompt Cache 是把前缀 KV 跨请求持久化复用的系统与计费特性，本质是同层不同维度。

要点

1. 作用阶段不同：KV Cache 服务于 Decoding 阶段，避免每生成一个 token 重算历史；Prompt Cache（Prefix Caching）服务于 Prefill 阶段，跳过相同前缀的重复预填充。
2. 生命周期与位置不同：KV Cache 通常只在一次请求内活于 GPU 显存；Prompt Cache 跨请求保留数分钟到数小时，并用分页机制把不活跃 KV 块卸载到 CPU 内存甚至 SSD。
3. 视角不同：KV Cache 是算法与推理引擎视角，关注显存占用、带宽、量化压缩；Prompt Cache 是应用与计费视角，关注 Prompt 结构设计与成本。
4. 工程做法：把固定的 System Prompt、工具定义、长文档放最前，动态问题放最后，以触发缓存命中，降低首字延迟并节省输入 token 费用。

来源

• 原始讨论 1