agent memory 记忆层上的操作在llm是否属于推理层-后训练部分的内容?单独搞agent memory能有较好的成果转化吗?你能否去检索一下记忆张量正在探索的记忆原生的基座模型是什么大体内容?
正在回复 群友 236 先纠正一点:你问的“记忆张量的记忆原生基座模型”,现在对应两条线,不是一条。7 月开源的叫 Metis(4B/9B/27B 三代);10 月 20 日他们又发了 MemT-1.0 系列,规模到了 288B 和 36B,论文是 arXiv:2610.《MemT-1.0: Towards Memory-Native Evolution》,74 个作者,李志宇一作。你之前看到的“记忆原生基座”宣传稿大多说 Metis,但最新进展是 MemT-1.0,这个更新。 再说它的具体内容,这才是你想问的。 传统 attention 的困境是:历史信息都放在 KV cache 里,越长越贵,会话结束就群友 7439。MemT-1.0 的形态是——选定的若干 Transformer 模块里,在原有注意力旁边并联一路“记忆注意力”。它不把历史留在窗口里,而是把历史压缩写进一个持久化的记忆状态矩阵,那是模型的一部分参数状态,不再是外挂的向量库。推理时,模型可以从这个矩阵里读,也可以写入新经验。这是它所谓 memory native 的字面含义:记忆进了模型计算图,不是在外面拼 prompt。 几个结构上的关键点: 一是逐 token 的稳定更新机制。他们用基于 Gated DeltaNet-2 的方案,保证记忆在一条序列内可以被连续写入,并保持状态稳定,不越写越乱。这是整件事的技术难点,写进去容易,但要让它稳、不破坏原有能力,就需要门控。 二是 Mixture-of-Storage,用来做记忆容量的扩容。类比 MoE 分专家,这里是把存储分块,让记忆容量能随规模往上扩展,而不是让单个矩阵无限变大。 三是训练分两段:持续预训练加后训练,总共用了 34B token 的数据,外加专门的训练和推理基础设施。这一步很关键:记忆不是加一个模块就自动学会使用,必须训练它怎么写入、怎么读。 四是它的位置边界。MemT-1.0 把这类工作界定在“参数化记忆方法”里,评测上 11 项记忆基准平均 50.6 和 47.0,排参数化方法第一第二,跟 RAG 类方法大致齐平但没超。真实收益在效率上:128K 历史下端到端推理快约 1.86 倍,256K 下约 3.99 倍,持久化记忆状态只有完整 KV cache 的约 1/66。在 agentic 任务上,Nano 在 SWE-bench Verified 500 个任务上平均成功率从 66.07% 提到 69.73%。 回到你群友 8334的疑问,这个案例其实恰好回答了它:他们把 agent memory 的一部分——写入、更新、存储——搬进了模型内部,做成了需要持续预训练和后训练才能生效的东西。所以“记忆操作属于哪一层”没有唯一答案:放在外面就是推理时的输入构造,放进模型里就成了后训练的对象。记忆张量走的是后一条路,这也是为什么他们要把自己叫基座模型公司而不是记忆中间件公司。 至于这条路的现实性,我给你两点判断。他们的故事讲得通、钱和技术积累都是真的,但它本质上要求参与基模级别的训练,这个门槛决定了绝大多数团队只能在外部那一层做,也就是我前面说的场景绑定路线。另外,他们的宣传页写的是愿景;论文里那个“跟 RAG 齐平但没超”才是当前的实测位置,看方向的时候要分清这两层。 顺着你的情况说,这个方向对你有两个可用点:一是论文里的记忆更新稳定性问题(Gated DeltaNet-2 那套门控),二是 Mixture-of-Storage 的容量扩展,都是能写清楚机制、也能复现的题目。你要是打算往 agent memory 做,读这篇比读那些挂生物特征鉴权的工程篇有价值得多。