当前位置:首页 > AI资讯

LiquidAI 开源 LFM3:六个端侧模型直接塞进手机

xinhack2周前 (10-28)AI资讯24

LiquidAI 开源 LFM3:六个端侧模型直接塞进手机 AI资讯

这家族都有谁

10月28日,LiquidAI 发布 LFM3 家族,一口气开源了六个端侧模型,覆盖文本、视觉、音频、全能和决策几类任务。据 AGI Hunt(10月28日)汇总,它用了一套叫「三混合」的新架构,把不同模态和推理方式揉在一起。最亮眼的是那个 1.7B 的文本模型:256K 上下文、约 1GB 的 4-bit 量化版本,参数比上代 2.6B 还少 35%,成绩却反超了。说白了,小模型也能在手机、笔记本上跑出像样表现,不用非得连云端。六个模态一次铺开,等于把一套本地小团队直接交到你手上。

端侧这步为啥重要

端侧意味着模型跑在你自己的设备上,数据不出本机,延迟低、还免费(不用按调用次数给云厂商交钱)。对咱们做产品的,这直接解决两个老大难:隐私和成本。尤其涉及内部文档、客户信息的场景,数据留在本地,合规压力小一大截。LFM3 把六个模态一次铺开,等于给你一整套「本地小团队」,文本问答、看图、听声、做决策都能就近解决,不用每个功能都去调一个云端 API。对涉密、对时延敏感的场景,这比什么都重要。

性能这刀砍得巧

报道里说,1.7B 文本模型用更少参数打败了自家 2.6B 前代,靠的就是新架构把参数效率榨出来了。对咱们普通用户,翻译一下:同样的手机算力,能干更复杂的活;同样的活,更省电、更快。端侧模型过去常被嫌「太弱」,现在 1.7B 这个体量开始能打日常任务,体验拐点快到了。咱们挑工具时,别只盯云端旗舰,端侧小模型这半年进步真不小。很多日常问答、摘要、分类的活儿,端侧完全够用,没必要事事上云。

对咱们做产品的启发

已经在 Ollama 和 Hugging Face 上能拿到,意味着你本地拉下来就能玩,不用等厂商授权、不用绑订阅。对中小团队,这是白拿一套多模态端侧底座,做离线助手、本地知识库、隐私敏感的小应用都方便。记一笔:开源端侧模型越能打,咱们做产品的自主权就越高,不用把命门都交到几家云厂手里。尤其做 to B、做政企的客户,端侧部署往往是硬门槛,这套底座正好补齐短板。工具是来给你添选择的,不是来绑死你的。

落地要注意啥

端侧模型上手容易,但真落地也有坑:不同手机的算力、内存差别大,1GB 量化版在老设备上未必跑得顺;多模态任务对内存和功耗的压力,得在真机上实测。咱们要是打算用 LFM3 做产品,先在小批量设备上调通,再谈规模铺开,别被「端侧免费用」冲昏头。记一笔:端侧的优势是隐私和零调用费,代价是得自己扛设备适配和性能调优。工具是来补位的,适配功夫省不掉。

也别指望它顶替一切

端侧再强,受设备算力天花板卡着,复杂推理、超长文档、强多步规划这些重活,还是得云端大模型兜着。LFM3 适合当「日常贴身小弟」,不是「全能主力」。咱们看这类发布,记一笔:端侧和云端是搭档不是替代,按场景分活儿最划算。工具是来补位的,不是来单方面称王的。把轻活给端侧、重活给云端,成本和体验才能都顾上。

一句话收尾

LFM3 这家族,把六个模态的端侧模型一次开源,小参数也能打日常。对咱们普通人,记住一句:模型往你设备里跑的趋势越来越清楚,隐私和成本这两道坎,正在被端侧路线一点点填平。咱也不是大厂,但这种白拿能打的本地底座,省下的都是真金白银。

相关文章

Replit 停用 Anthropic 默认模型:一次公开换马

Replit 停用 Anthropic 默认模型:一次公开换马

据 TechCrunch 10 月 16 日报道,Replit CEO 在 TechCrunch Disrupt 台上说,公司已不再与 Anthropic 合作,原因是成本、性能与合作伙伴关系;Cha…

MiniMax 发布 M3.1 Flash,匿名模型 Space Bunny 揭下面纱

MiniMax 发布 M3.1 Flash,匿名模型 Space Bunny 揭下面纱

10 月 19 日晚,MiniMax 发布新一代 Flash 模型 M3.1 Flash,并确认此前以匿名身份跑了上百亿 token 的 Space Bunny 正是它的早期版本。这篇讲清它强在哪、便…

蚂蚁灵光开源 Ling-3.1-flash:560 亿参数百万字上下文

蚂蚁灵光开源 Ling-3.1-flash:560 亿参数百万字上下文

10 月 19 日,每日 AIGC 早报披露蚂蚁集团灵光(Ling)系列开源 Ling-3.1-flash:560 亿参数、百万 token 上下文窗口。这篇讲清它的定位,以及开源权重对国内开发者意味…

库克确认国行 Apple Intelligence 10 月底上线,Siri 暂不在列

库克确认国行 Apple Intelligence 10 月底上线,Siri 暂不在列

10 月 19 日,每日 AIGC 早报披露库克确认国行 Apple Intelligence 将于 10 月底上线,首批涵盖写作工具等功能、暂不含 Siri AI 助手,计划 12 月通过 iOS…

AWS 发布 TorchNeuron 测试版,PyTorch 应用跑上 Trainium

AWS 发布 TorchNeuron 测试版,PyTorch 应用跑上 Trainium

10 月 20 日,AWS 发布 TorchNeuron 公开测试版,让 PyTorch 应用以最小改动跑上自研 Trainium 芯片。这篇讲清它解决什么痛点,以及“去 CUDA 化”意味着什么。…

Meta 披露 Prometheus 超级集群,目标百万块 GPU

Meta 披露 Prometheus 超级集群,目标百万块 GPU

10 月 20 日,Meta 披露俄亥俄州 Prometheus 超级集群细节,最终将容纳约 100 万块 GPU。这篇讲清百万级 GPU 意味着什么,以及它和 Muse Wonder 的关系。…

英伟达GTC柏林亮出AI工厂蓝图:预制数据中心14天上线

英伟达GTC柏林亮出AI工厂蓝图:预制数据中心14天上线

10月21日英伟达GTC大会首次落地柏林,黄仁勋系统发布AI工厂全栈架构。本文拆解DSX POD预制集装箱方案如何把AI数据中心部署从数月压到14天,以及配套的开源模型与智能体安全工具。…

OpenAI 收购 Orchestra Bio,AI 进生物科技深水区

OpenAI 收购 Orchestra Bio,AI 进生物科技深水区

据 SwiftInference 10 月 21 日梳理,OpenAI 已收购生物科技公司 Orchestra Bio,意在强化生命科学领域能力。本文看这笔交易为何被视为 OpenAI 从通用助手走向…