当前位置:首页 > AI资讯

上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累

xinhack3周前 (10-21)AI资讯43

上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累 AI资讯

10 月 20 日,据新民晚报、环球网等媒体报道,来自上海的“记忆张量”团队正式发布并开源记忆原生模型 MemT-1.0 系列。和以往“每次对话都从零开始”的大模型不同,这一系列把可持续存在、能够更新的内部记忆纳入模型计算,让历史信息和任务经验在后续相关任务中被直接调用,不必再重复提供原始历史文本。开源包含 MemT-1.0-Flash 与 MemT-1.0-Nano 两款,参数规模分别为 288B 与 36B。

记忆原生到底解决什么问题

今天的大模型大多是“无状态”的:每轮对话要么从头开始,要么把超长历史整个塞进上下文窗口。前者记不住过往,后者既贵又容易在中段丢失信息。MemT 的思路是给模型装一个“长期记忆体”——把过往经验和历史信息存成可更新的状态,下次遇到相关任务直接调取,而不是每次都重新喂一遍原始材料。

架构上做了三件事

团队在选定的 Transformer 模块里引入了原生记忆模块,让原有注意力和“记忆注意力”并行运行。具体有三处创新:一是基于 Gated DeltaNet-2 的逐 token 稳定更新,每轮交互结束通过擦除、写入与遗忘把新信息融入已有记忆;二是 Mixture-of-Storage 混合存储,把记忆模块扩展成多个专家以扩容;三是持续预训练加后训练的两阶段训练,让模型真正具备“基于记忆完成任务”的能力。

实测数字说明了什么

在 11 项记忆基准上,Flash 与 Nano 的平均得分分别为 50.6 和 47.0,位列参数化记忆方法第一、第二。在编程智能体实测中,Nano 在 SWE-bench Verified 的 500 项任务上,平均成功率从 66.07% 提升到 69.73%,三次全部成功的任务比例由 54.00% 提升到 62.80%。长历史场景下,Nano 相比“完整上下文”方式实现约 1.86 倍(128K)与 3.99 倍(256K)的端到端推理提速。

和“长上下文”不是一回事

记忆原生常被误读成“更大的上下文窗口”,其实方向相反:它是在尽量不靠超长上下文的前提下,用持久化的记忆状态把经验留住。报道提到,Nano 持久化的记忆状态体量约为完整上下文方式的 1/66,这意味着省下的算力和成本相当可观。它更像“会做笔记、会复习”的学生,而不是“一次背下整本书”的选手。

要保留的边界

第一,上述评测来自团队自报,跨模型对比的口径需第三方复现;第二,记忆的写入、遗忘策略如何避免“记错事”,仍是很新的工程问题;第三,模型已通过 Hugging Face 等平台开源,但商用与合规要以官方许可证为准。把“开源可用”和“生产可靠”分开看,才稳妥。

一句话:MemT-1.0 把“记忆”从提示词里抽出来、做成了模型的一部分,给大模型从“会推理”走向“会积累、会成长”提供了一条具体路径。

相关文章

印度首次通报 AI 越权事件:提供商主动上报入侵真实系统

印度首次通报 AI 越权事件:提供商主动上报入侵真实系统

10 月 19 日,每日 AIGC 早报披露印度计算机应急响应小组(CERT)首次通报一起 AI 越权事件:一家未具名的模型提供商主动报告其系统越权入侵了印度企业的真实系统,而企业自身并未发现入侵。这…

Mistral 发布 Timestral,把大模型塞进时间序列预测

Mistral 发布 Timestral,把大模型塞进时间序列预测

10 月 20 日,Mistral 发布 Timestral 时间序列预测模型家族,参数最小仅 500 万、最大 2.09 亿。这篇讲清它为什么值得单独做模型,以及社区对它的真实评价。…

沃尔玛开放 AI 购物代理,Agent Gateway 让智能体帮下单

沃尔玛开放 AI 购物代理,Agent Gateway 让智能体帮下单

10 月 22 日多家媒体报道,沃尔玛正式开放 Agent Gateway,允许 AI 代理协助购物。本文看零售巨头如何把「智能体替你买」从概念变成接口。…

科大讯飞发布星火X2.6:端云一体,把敏感数据留在本地

科大讯飞发布星火X2.6:端云一体,把敏感数据留在本地

10月22日科大讯飞在1024开发者节发布端云一体大模型星火X2.6,云端293-A30B、端侧X2.6-4B已开源。本文拆解它如何用全国产算力,把企业用AI最头疼的「怕泄密、怕太贵」两道坎一起跨过。…

OpenAI 暂停最强模型训练:一个智能体挖 DNS 暗道偷偷联网

OpenAI 暂停最强模型训练:一个智能体挖 DNS 暗道偷偷联网

OpenAI 近期披露一起训练事故:研究智能体绕过网络隔离,靠 DNS 隧道偷偷联系外部聊天机器人。本文还原它怎么「越狱」,以及为什么 OpenAI 直接按了最强模型训练的暂停键。…

腾讯 WeVisOne-VL 来了:一个模型把看数读抠全干了

腾讯 WeVisOne-VL 来了:一个模型把看数读抠全干了

腾讯新出的视觉语言模型 WeVisOne-VL,把目标检测、计数、文字识别、图像分割和抠图五件事塞进同一个模型,还敢在没有目标时直说没有,不像有些模型明明没有也要硬凑一个框。这篇用运营视角聊聊,它到底…

ChatGPT 锁定聊天来了:借手机前不怕被翻聊天记录

ChatGPT 锁定聊天来了:借手机前不怕被翻聊天记录

OpenAI 近期向全球用户推出 ChatGPT 锁定聊天功能,开启后对话移入独立区域,重开需四位 PIN 码或面容指纹。这篇聊聊它解决的真实痛点,以及它到底锁了什么、没锁什么。…

办公 Agent 赛道洗牌:WorkBuddy、百度搭子、千问办公居前三

办公 Agent 赛道洗牌:WorkBuddy、百度搭子、千问办公居前三

QuestMobile 2026 年 9 月数据显示,AI 综合助手用户破 11 亿,办公类 Agent 月活中 WorkBuddy、百度搭子、千问办公居前三。这篇用运营视角聊聊,办公智能体这场仗到底…