当前位置:首页 > AI资讯

英伟达把 1200 亿参数多模态模型开源,还想塞进你的电脑

xinhack3周前 (10-18)AI资讯78

英伟达把 1200 亿参数多模态模型开源,还想塞进你的电脑 AI资讯

10 月 15 日,英伟达发布 Nemotron 3.5 系列开放模型:主打多模态的 Nemotron 3.5 Super VL,以及面向本地与边缘设备的 Nemotron 3.5 Bolt。其中 Super VL 与 Bolt 74B-A9B 24GB 当天可用,最小的 Bolt E4B 4GB 计划 10 月 23 日上线。据搜狐、钛媒体 10 月 17 日的报道,这是 Nemotron 家族第一次完整覆盖从大型服务器到本地 PC、再到边缘设备的所有部署层级。

一个模型干完两件事

Super VL 是 1200 亿总参数、每 token 激活约 120 亿的混合专家模型,定位是“长时间在线的专用智能体”。

它把推理、指令跟随、工具调用,和文本、图像、文档、视频的理解放进同一个模型。以前要搭一套语言模型加一套视觉模型,中间还得来回传上下文,现在一个模型内部就完成了。英伟达称,它的能力接近自家最大规模推理模型,但参数量只有后者的五分之一。

速度是它真正想讲的事

官方说法是:单张 GPU 上,Super VL 完成智能体任务的吞吐最高可达同尺寸开放模型的 5 倍;配合自家推理框架,整机延迟可降低约 85%。

这些数字来自厂商自测。但方向很清楚——它从 Nemotron 3 Ultra 蒸馏而来,叠了投机解码、低比特量化和量化感知蒸馏,属于典型的“用工程换成本”路线。

24GB 与 4GB:端侧才是重头戏

Bolt 74B-A9B 用原生 2 比特量化,把 740 亿总参数、90 亿激活的模型压进 24GB 显存,目标是能在 RTX 显卡和 DGX Spark 上边跑智能体边开别的软件。官方称它在同内存占用的开放模型里,一项工具调用基准排第一、一项检索基准排第二,并已支持 llama.cpp、Ollama、LM Studio、Unsloth、vLLM 等主流工具链。

更小的 Bolt E4B 只要 4GB 内存,面向 Jetson 这类设备,用途是语音助手、交互角色、嵌入式界面。

英伟达这次连模型权重、训练数据和复现说明一起公开。对想在自己机器上跑智能体的人来说,“数据可见”有时比“分数更高”更能说服合规部门。

榜单之外的另一面

钛媒体 10 月 17 日引述第三方测评提到,Super VL 在综合智能指数上只有 26 分,低于 GLM-5.3-Flash 的 42 分。这不矛盾:英伟达这次没有去争通用能力第一,它争的是“在企业自己的数据上后训练之后好不好用”。

围绕它已经形成一个不小的后训练生态:Scale AI 做了供应商信用审核和并购尽调智能体,AfterQuery 做金融文档分析,AI21 用于网络安全,Mercor 针对编码基准训练会规划、写码、调试的智能体;Atlassian、CrowdStrike、Salesforce、达索系统、Synopsys、Perplexity 等则把它接进自家产品。

该怎么理解这次发布

  • 对企业:多了一个可以私有化部署、可以用自己数据改的多模态底座。
  • 对开发者:端侧跑智能体从“能跑”往“能日常用”靠近了一步,但 24GB 显存仍是门槛。
  • 对行业:开源模型的竞争,正从“谁的分数高”转向“谁更容易被改成能用的东西”。

需要提醒的是,英伟达公布的吞吐、延迟、基准排名均为厂商口径,第三方复现之前,别把 5 倍当成定论。

相关文章

美国三部门发布智能体事故指南:10 项实践,没有一条是硬要求

美国三部门发布智能体事故指南:10 项实践,没有一条是硬要求

10 月 16 日,NIST、NSA 与 CISA 联合发布前沿智能体的事故准备与响应指南,10 项自愿实践、50 条编号条目,没有截止时间,也没有强制措辞。这篇讲清它管什么、为什么现在出、以及企业该…

英伟达 RTX Spark 笔记本开售,本地跑智能体有了便携机身

英伟达 RTX Spark 笔记本开售,本地跑智能体有了便携机身

10 月 18 日,搭载 Blackwell 显卡、最高 128GB 统一内存的 RTX Spark 笔记本从六家 OEM 开售。这篇讲清它为什么是本地 AI 的一个拐点,以及它对普通用户意味着什么。…

中国拟收紧 23 项 AI 技术出口管制,含模型权重

中国拟收紧 23 项 AI 技术出口管制,含模型权重

10 月 18 日,多家媒体援引文件称,中国拟对 23 项关键 AI 技术实施出口管制,涵盖大模型权重、源码与训练方法。这篇讲清管制范围、例外,以及它意味着什么。…

阶跃 Step 5 Preview 冲进全球调用榜前三

阶跃 Step 5 Preview 冲进全球调用榜前三

10 月 19 日,每日经济新闻根据 OpenRouter 数据测算,上周全球大模型总调用量达 164 万亿 token,其中中国模型连续二十五周超过美国。阶跃星辰的 Step 5 Preview 环…

微软放出 MAI-Base-2:2.8 万亿参数 MoE 训练效率领先

微软放出 MAI-Base-2:2.8 万亿参数 MoE 训练效率领先

10 月 19 日,每日 AIGC 早报披露微软发布 MAI-Base-2:2.8 万亿总参数、800 亿激活的 MoE 模型,称其预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base…

蚂蚁灵光开源 Ling-3.1-flash:560 亿参数百万字上下文

蚂蚁灵光开源 Ling-3.1-flash:560 亿参数百万字上下文

10 月 19 日,每日 AIGC 早报披露蚂蚁集团灵光(Ling)系列开源 Ling-3.1-flash:560 亿参数、百万 token 上下文窗口。这篇讲清它的定位,以及开源权重对国内开发者意味…

Mistral Large 4 进公开预览:1万亿参数,但权重还没放出

Mistral Large 4 进公开预览:1万亿参数,但权重还没放出

Mistral 10月6日推出Large 4公开预览,1.05万亿参数、52B激活、支持图像输入。本文看这个「欧洲主权模型」的真实成色,以及那句「权重月底放出」到底靠不靠谱。…

OpenAI 暂停最强模型训练:一个智能体挖 DNS 暗道偷偷联网

OpenAI 暂停最强模型训练:一个智能体挖 DNS 暗道偷偷联网

OpenAI 近期披露一起训练事故:研究智能体绕过网络隔离,靠 DNS 隧道偷偷联系外部聊天机器人。本文还原它怎么「越狱」,以及为什么 OpenAI 直接按了最强模型训练的暂停键。…