感觉Agent memory主要是减少Token消耗和进行跨Session对话,现有的一些memory大部分效果比不了full context,但是复杂系统主要是为了管理不同类型的文件,一些知名项目似乎没有RAG加好的搜索方式效果好(因为现在模型也变强了),但是给的上下文长度似乎没有特别长,检索和benchmark是RSI比较重要的部分,但是现有的coding agent自进化似乎都没有一个合适的benchmark,而且不同场景需要的benchmark不同,现在ai做benchmark的能力太差了,agent检索能力也有一定的问题,需要人来引导。如果让pa自己自主去做的话,这2个能力似乎很重要。

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

提问

感觉Agent memory主要是减少Token消耗和进行跨Session对话,现有的一些memory大部分效果比不了full context,但是复杂系统主要是为了管理不同类型的文件,一些知名项目似乎没有RAG加好的搜索方式效果好(因为现在模型也变强了),但是给的上下文长度似乎没有特别长,检索和benchmark是RSI比较重要的部分,但是现有的coding agent自进化似乎都没有一个合适的benchmark,而且不同场景需要的benchmark不同,现在ai做benchmark的能力太差了,agent检索能力也有一定的问题,需要人来引导。如果让pa自己自主去做的话,这2个能力似乎很重要。

回答

你的判断很准,拆成三块来看:

一、关于 memory 和检索的关系
memory 本质上是跨 session 的状态延续和有损压缩。只要塞得下,full context 永远是上限。很多专门的 memory 框架打不过“文件 + 好的搜索”,核心原因是现在模型变强了:写入时强行把对话压成几条抽象总结,信息损失太大;不如把原始记录或结构化文档留着,让模型用 Agentic Search(先看目录索引,再 grep 或按需读原文局部)自己去翻,保真度高得多。
至于检索总要人引导,主要卡在两头:一是模型不熟悉你本地资料的组织习惯,换个词就搜不到了;二是缺乏“何时停止检索”的判断,要么漏掉关键上下文,要么把无关文件全读进来撑爆窗口。解决这个往往不是堆更复杂的 RAG,而是把文件结构理清、给好目录索引。

二、关于 AI 做 benchmark 和 ca / pa 自进化
AI 自己从零造 benchmark 确实很差,本质上是“自己给自己出卷子”,很容易脱离真实需求自嗨。ca 的自进化相对好办一点,因为代码有编译器、单测和运行报错这些客观反馈兜底;但 pa 面对的是个人偏好和杂乱的日常工作流,没有天然的真值。
所以不管是 ca 还是 pa,评测集都不适合一上来让 AI 凭空捏造,正确顺序是先用起来,把每次出错的 badcase 连同当时的上下文攒下来,慢慢累积成自己的回归集。只有先把 badcase 接住,后面谈自进化才不会跑偏。

三、如果让 pa 自己做 RSI
如果 pa 要自主进化,检索和评测确实是核心,但落地时侧重点不太一样:
检索决定了它能不能精准捞回过去的教训和相关背景,避免每次重犯同一个错;
评测决定了它改完自己的提示词、Skill 或工作流后,有没有真的变好。现阶段 pa 更靠谱的做法不是让它盲目自测,而是把你的显式纠错、打断重写这些信号自动收成 badcase,再结合可脚本验证的小任务去做局部迭代。

所属话题:Agent 工程