上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累

10 月 20 日,据新民晚报、环球网等媒体报道,来自上海的“记忆张量”团队正式发布并开源记忆原生模型 MemT-1.0 系列。和以往“每次对话都从零开始”的大模型不同,这一系列把可持续存在、能够更新的内部记忆纳入模型计算,让历史信息和任务经验在后续相关任务中被直接调用,不必再重复提供原始历史文本。开源包含 MemT-1.0-Flash 与 MemT-1.0-Nano 两款,参数规模分别为 288B 与 36B。
记忆原生到底解决什么问题
今天的大模型大多是“无状态”的:每轮对话要么从头开始,要么把超长历史整个塞进上下文窗口。前者记不住过往,后者既贵又容易在中段丢失信息。MemT 的思路是给模型装一个“长期记忆体”——把过往经验和历史信息存成可更新的状态,下次遇到相关任务直接调取,而不是每次都重新喂一遍原始材料。
架构上做了三件事
团队在选定的 Transformer 模块里引入了原生记忆模块,让原有注意力和“记忆注意力”并行运行。具体有三处创新:一是基于 Gated DeltaNet-2 的逐 token 稳定更新,每轮交互结束通过擦除、写入与遗忘把新信息融入已有记忆;二是 Mixture-of-Storage 混合存储,把记忆模块扩展成多个专家以扩容;三是持续预训练加后训练的两阶段训练,让模型真正具备“基于记忆完成任务”的能力。
实测数字说明了什么
在 11 项记忆基准上,Flash 与 Nano 的平均得分分别为 50.6 和 47.0,位列参数化记忆方法第一、第二。在编程智能体实测中,Nano 在 SWE-bench Verified 的 500 项任务上,平均成功率从 66.07% 提升到 69.73%,三次全部成功的任务比例由 54.00% 提升到 62.80%。长历史场景下,Nano 相比“完整上下文”方式实现约 1.86 倍(128K)与 3.99 倍(256K)的端到端推理提速。
和“长上下文”不是一回事
记忆原生常被误读成“更大的上下文窗口”,其实方向相反:它是在尽量不靠超长上下文的前提下,用持久化的记忆状态把经验留住。报道提到,Nano 持久化的记忆状态体量约为完整上下文方式的 1/66,这意味着省下的算力和成本相当可观。它更像“会做笔记、会复习”的学生,而不是“一次背下整本书”的选手。
要保留的边界
第一,上述评测来自团队自报,跨模型对比的口径需第三方复现;第二,记忆的写入、遗忘策略如何避免“记错事”,仍是很新的工程问题;第三,模型已通过 Hugging Face 等平台开源,但商用与合规要以官方许可证为准。把“开源可用”和“生产可靠”分开看,才稳妥。
一句话:MemT-1.0 把“记忆”从提示词里抽出来、做成了模型的一部分,给大模型从“会推理”走向“会积累、会成长”提供了一条具体路径。







