agent运行时切换模型会继承KV cache吗
来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论
不会:切换模型后 KV cache 就失效,能继承的只有上下文文本,新模型需要重新 prefill,所以切模型应设计成一次完整重启会话。
要点
- KV cache 存的是每层注意力的 K、V 张量,形状取决于模型层数、头数、head_dim 与位置编码方式,换模型维度对不上就用不了。
- 即便参数量相同,分词器不同会把同一字符串切成不同 token,位置对不上也接不起来;缓存绑定模型权重、tokenizer 与上下文前缀三者。
- 切模型时首字延迟变长,是因为整个 prompt 要重新过一遍前向传播,运行时做的是重新 prefill。
- 真正的复用只发生在同模型内:prefix cache 或 prompt caching 命中相同前缀,或服务端对同一模型的不同请求复用 KV。
- 同一 base model 的不同 LoRA 适配器或部署版本有时能复用缓存;跨到不同模型家族就只能重新 prefill。
- 工程上应把「切模型」当成完整重启会话来设计,靠控制上下文长度和把状态存到外部记忆、文件、任务队列,让新模型冷启动后接着干。