vLLM 把 DeepSeek-V4.1-Flash 塞进 GB300 机架:单卡每秒吐 95 万 token

xinhack2周前 (10-26)AI资讯168
vLLM 把 DeepSeek-V4.1-Flash 塞进 GB300 机架:单卡每秒吐 95 万 token
vLLM 官方近期放出了 DeepSeek-V4.1-Flash 在英伟达 GB300 NVL72 机架上的大规模部署方案,靠 Prefill/Decode 分离加 Wide-EP,把单卡吞吐拉到每秒…

DeepSeek、MiniMax 跑通大模型出海登记:合规通道一通,海外客户心里有底了

xinhack2周前 (10-26)AI资讯161
DeepSeek、MiniMax 跑通大模型出海登记:合规通道一通,海外客户心里有底了
10月23日,央视「玉渊谭天」披露,DeepSeek 与 MiniMax 已完成大模型技术出口登记,把开源发布和海外授权的合规流程走通了。这事看着是手续,实则是给中国模型出海铺了条确定性跑道。这篇用运…

OpenAI 披露 Habitat 存储架构:十亿用户还能把读取延迟压到 10 毫秒

xinhack2周前 (10-26)AI资讯178
OpenAI 披露 Habitat 存储架构:十亿用户还能把读取延迟压到 10 毫秒
OpenAI 近期在工程博客里摊开了自家在线存储平台 Habitat 的家底:支撑全球 40 个地区、超 10 亿 ChatGPT 用户,靠着缓存和 Rust 重写把读取延迟压到 10 毫秒。这篇用运…

Block 放出 Dessa 全双工语音模型:不走文本中转,听得出你笑着还是在叹气

xinhack2周前 (10-26)AI资讯170
Block 放出 Dessa 全双工语音模型:不走文本中转,听得出你笑着还是在叹气
10月23日,杰克·多西旗下的 Block 放出全双工语音模型 Dessa,主打一个音频进、音频出,中间不经过文字中转,能捕捉笑声、停顿这类情绪。它还可以在 MacBook Pro M4 Max 上本…

Anthropic 把智能体 Agent Skills 标准捐给 Linux 基金会:以后大家都说同一种话

xinhack2周前 (10-26)AI资讯163
Anthropic 把智能体 Agent Skills 标准捐给 Linux 基金会:以后大家都说同一种话
10月22日,Anthropic 宣布把智能体开放标准 Agent Skills 捐给 Linux 基金会旗下的 Agentic AI Foundation。说白了,就是有人牵头给各家智能体定一套通用…

知识图谱到底是什么?AI 怎么把零散知识点连成一张大网

xinhack2周前 (10-25)AI科普33
知识图谱到底是什么?AI 怎么把零散知识点连成一张大网
大模型有时「知道很多词,却不懂它们之间啥关系」。知识图谱就是专门补这块短板的:把「实体—关系—实体」连成网。本文讲清它长啥样、跟向量检索差在哪、在搜索和推荐里怎么悄悄帮你,再说说它和大模型怎么搭伙,以…

上下文窗口到底是什么?AI 一次到底能「读」进去多少字

xinhack2周前 (10-25)AI科普33
上下文窗口到底是什么?AI 一次到底能「读」进去多少字
总听人说某模型「上下文 12 万 token」,这数到底管啥用?本文讲清上下文窗口是模型的「短期记忆容量」,为啥超了就忘事、长文档咋喂才不浪费,再聊聊这跟你能不能一口气聊完一整本书到底有关系,以及咱们…

AI Agent 到底是个啥?它怎么自己动手把一摊子活儿干完

xinhack2周前 (10-25)AI科普36
AI Agent 到底是个啥?它怎么自己动手把一摊子活儿干完
最近老听人聊「智能体 Agent」,听着玄乎,其实没那么神。本文用跑腿小哥打比方,讲清 Agent 跟普通聊天 AI 差在哪、它怎么自己规划步骤、调用工具、查结果,再说说咱普通人能在哪些事上用它真省力…

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算

xinhack2周前 (10-25)AI科普33
Token 到底是什么?大模型怎么把你打的汉字切成一块块来算
你跟 AI 聊天按量计费,可它数的不是「字」也不是「词」,是 token,也就是它对外算账的最小单位。这篇文章用接地气的比喻讲清 token 是啥、中英文切法差在哪、为什么一句中文可能吃掉好几个 to…

大模型为什么会一本正经胡说八道?一文讲清 AI 幻觉到底是什么

xinhack2周前 (10-25)AI科普33
大模型为什么会一本正经胡说八道?一文讲清 AI 幻觉到底是什么
你有没有遇过让 AI 写资料,它甩出一堆看起来像那么回事、实则张冠李戴的内容?这叫「幻觉」。本文用大白话讲清幻觉到底是啥、模型为啥会一本正经地编、哪些场景最容易翻车,再给你几招普通人就能用的防坑办法,…