长程视觉Agent的KV cache与记忆瓶颈如何解
长程多模态任务的瓶颈在KV cache膨胀、注意力被背景稀释、视觉记忆无法有损压缩，解法是把工作记忆与原始视觉存储拆开，并用外部精确探针做闭环验证。
要点
- 高分辨率图切patch后视觉token动辄几百上千，多步交互后历史截图塞满上下文，推理速度与成本迅速恶化。
- 上下文堆几十张图后注意力被背景噪声分散，难以跨帧对齐早期局部细节与当前状态。
- 视觉记忆不能像文本那样摘要压缩，总结成文字会永久丢失未被注意的空间与颜色细节。
- 主流做法是旧画面定期清出上下文、只留文字状态笔记维持推理，原图无损存外部并按帧号回看裁剪。
- 配套在每步动作后引入数学与物理的客观评估做硬核验，可切断长程误差累积与幻觉传递。
- 本质是用外部精确探针加闭环验证，补视觉模型在精细度量和长程一致性上的短板。