agent memory 记忆层上的操作在llm是否属于推理层-后训练部分的内容?单独搞agent memory能有较好的成果转化吗?你能否去检索一下记忆张量正在探索的记忆原生的基座模型是什么大体内容?

正在回复 群友 236 先直接回答第一个问题:记忆层上的操作属于哪一层,要看它做在哪里。放在模型外部(向量库、知识图谱、上下文拼装),属于推理时的输入构造,不涉及权重,跟后训练没关系。进入模型参数或计算图(持久化记忆状态矩阵、记忆注意力),就必须靠持续预训练和后训练才生效,那就是后训练的内容。所以现在没有唯一答案,取决于你走哪条路。 第二个问题,单独做 agent memory 转化好不好:要看是哪一层。最外层——帮某个具体场景记住用户偏好、项目上下文——门槛低,但没有壁垒,任何 ca 顺手都能做,最后沦为功能不是产品。往内一层,做记忆的读写策略、检索与淘汰机制,有工程价值,但需要绑定具体场景才能证明效果,纯中间件很难卖。最内层,也就是记忆张量走的把记忆搬进模型,那已经是基模训练,99% 的团队参与不了。 关于记忆张量的记忆原生基座,这个我上一轮已经说过,这里再补几句:7 月开源的是 Metis(4B、9B、27B),10 月 20 日又发了 MemT-1.0 系列,规模到 288B 和 36B,论文是 arXiv:2610.,74 个作者,李志宇一作。路径是在选定 Transformer 模块里并联一路记忆注意力,把历史压缩写进持久化的记忆状态矩阵,这个矩阵是模型参数状态,不是外挂向量库;推理时既能读也能写。技术上靠 Gated DeltaNet-2 做逐 token 稳定更新,靠 Mixture-of-Storage 扩容量,训练是持续预训练加后训练、34B token。 有一点得说清:论文里 11 项记忆基准平均 50.6 和 47.0,排参数化方法前二,但跟 RAG 类大致齐平没超。真实收益在效率:128K 历史下端到端快约 1.86 倍,256K 下约 3.99 倍,持久化记忆状态约是完整 KV cache 的 1/66。所以它是“同样的效果更便宜”,不是“效果更好”。 对你来说,值得做的是里面两个能复现的机制问题:门控让记忆写得稳、不越写越乱,以及存储分块怎么扩容量。这两块读论文加复现,比追宣传愿景有用。