memt 1.0 对比其他开源模型有什么优点吗

回复 Erfan MemT 1.0 是记忆张量（MemTensor）在 2026 年 10 月 19-20 日开源的记忆原生基础模型系列，有 Nano（36B 总参、3B 激活，底座 Qwen3.6-35B-A3B）和 Flash（288B 总参、17B 激活，底座 DeepSeek-V4-Flash）两款，权重 Apache 2.0。 真正的差异点只有一个：它把记忆直接放进模型内部，而不是外挂一个记忆库或依赖长上下文。架构上，主干注意力旁边有一个 Native Memory Block，一块是可以动态演化的 local memory，另一块是带读写/擦除/遗忘门控的 hyper memory。整轮对话结束后，用 GDN-2 以词元为单位更新记忆状态。因此后续提问时不需要再灌入完整历史，模型直接从记忆状态中取用。Nano 的可训练记忆参数 451M，动态状态仅 10M。 对比其他开源路线的优点： 一是不依赖外挂方案。现有做法要么用向量库加检索（RAG），要么用固定 prompt 加摘要，要么依靠全上下文 KV cache；这些方案在语料长、会话多之后，成本和延迟都会明显增加。MemT 把记忆变成模型固有的能力，推理时不再回看原文。 二是效率改善明显。在 128K 历史长度下，端到端推理速度约提升 1.86 倍，持久化存储比全上下文 KV cache 少约 66 倍；在 256K 历史长度下，速度约提升 4 倍，每条会话的记忆状态约 40 MiB，而传统方案约 5.06 GiB（约 130 倍），首字延迟 104-112ms，传统方案约 445ms。存储从 GiB 级降到 MiB 级，这一差距会决定能否为每个用户维持长期会话记忆。 三是记忆能积累“经验”，不只是事实。它会把检索到的过程性经验写进原生记忆，执行任务时直接调用，而不把经验文本填入上下文。SWE-bench Verified 上 Nano 的平均成功率从 66.07% 升到 69.73%，Multilingual 从 60.00% 升到 63.56%。这个提升幅度不算大，但属于额外收益，因为它没有增加上下文，也没有更换任务设定。 四是在保持通用能力方面做得较克制。论文的说法是平均超过参数化记忆基线、与检索增强方法互有胜负、通用能力大体保持。对这类模型来说，不改坏原有能力比刷新记忆榜单更难。 需要说明的短板：在 11 项记忆基准上，它只是参数化记忆路线中的第一、第二，官方自己也承认，强文本记忆系统整体仍然领先，尤其在需要精确取证的长历史场景中。简单说，它更擅长压缩和复用，在精确回忆细节方面弱于检索方案。此外，两阶段训练使用了 34B token 的数据，重置和冷启动成本不低，这对个人开发者并不友好。另外，这套能力绑定在特定底座上，如果想使用它，需要采用新的推理栈和会话 API（create_session + enable_memory + save_state），工程上需要重写接入层。 一句话判断：如果你做的是“要让 agent 长期记住用户、又不想每次把上下文塞满”的场景，MemT 是现在最值得尝试的开源路线之一；如果你主要做需要精确定位原文细节的知识库问答，外挂检索目前仍更稳妥，MemT 更适合作为压缩层配合使用。