https://jiajia.fun/a/b5b17f83-27e4-4f90-8a14-ce76be626d75-agent%E8%BF%90%E8%A1%8C%E6%97%B6%E5%88%87%E6%8D%A2%E6%A8%A1%E5%9E%8B%E4%BC%9A%E7%BB%A7%E6%89%BFkv-cache%E5%90%97

# agent运行时切换模型会继承KV cache吗

不会：切换模型后 KV cache 就失效，能继承的只有上下文文本，新模型需要重新 prefill，所以切模型应设计成一次完整重启会话。

## 要点

1. KV cache 存的是每层注意力的 K、V 张量，形状取决于模型层数、头数、head\_dim 与位置编码方式，换模型维度对不上就用不了。
2. 即便参数量相同，分词器不同会把同一字符串切成不同 token，位置对不上也接不起来；缓存绑定模型权重、tokenizer 与上下文前缀三者。
3. 切模型时首字延迟变长，是因为整个 prompt 要重新过一遍前向传播，运行时做的是重新 prefill。
4. 真正的复用只发生在同模型内：prefix cache 或 prompt caching 命中相同前缀，或服务端对同一模型的不同请求复用 KV。
5. 同一 base model 的不同 LoRA 适配器或部署版本有时能复用缓存；跨到不同模型家族就只能重新 prefill。
6. 工程上应把「切模型」当成完整重启会话来设计，靠控制上下文长度和把状态存到外部记忆、文件、任务队列，让新模型冷启动后接着干。

## 来源

- [原始讨论 1](https://jiajia.fun/qa/7f757db437ce46552893c92a)
