当前位置:首页 > AI科普

「AI 怎么把照片变成能转的 3D?聊聊神经渲染」

xinhack1天前AI科普13

「AI 怎么把照片变成能转的 3D?聊聊神经渲染」 AI科普

结论先说:它让照片里长出立体

传统做 3D 得人工建模,费时费力。神经渲染换个思路,你绕着物体拍几十张照片,它用神经网络学出这个东西长啥样,之后你想从哪个角度瞅都行,跟真转着看一样。米岸AI 觉得这事儿最该讲给普通人,以后拍个物件就能生成可旋转的模型,门槛一下子降了。它不是画个假 3D,而是真从多视角里把立体结构算出来,转着看不穿帮。

NeRF 这招怎么干的

NeRF 是神经渲染里的明星,思路挺巧:它不直接存模型,而是训练一个网络,输入「从某角度、某位置看过去」这一条光线的信息,输出那点的颜色。把无数条视线喂进去,就能合成任意角度的画面。要我说,这跟凭记忆画画一个理,你没存每张图,而是记住了物体长相的规律,谁问从哪看都现画,所以角度随心换。代价是训练时得喂海量视线,显卡嗡嗡响好一阵,但训完就能任意角度生成,一次性投入长期划算。

和游戏建模差在哪

游戏里的 3D 是手工或扫描出的网格加贴图,是实打实的几何。神经渲染存的是网络的「记忆」,画面是算出来的,不是存好的面。好处是不用建模、还原度高;坏处是算得慢、想实时转还得优化。两者像照片和雕塑,一个记录表象一个塑造实体,用途各不同,谁也替不了谁。所以你看游戏里能摸能转的模型,和神经渲染生成的电影级镜头,压根不是一套东西,别混为一谈。

它还卡在哪儿

最大的坎是速度,早期 NeRF 渲一张图要好几秒,实时交互费劲,后来有一堆加速版才勉强能玩。另一坎是动态场景和反光物体,水、玻璃这类容易翻车。要我说,这跟早年的数码相机一个理,原理通了画质和速度还得熬几代,现在的卡顿就是当年的像素荒,假以时日才顺溜。现在的研究都在往『秒出』和『动起来』使劲,谁先解决谁就先普及,这场仗还没打完。

普通人啥时候能用上

已经有人在用了,比如商品 3D 展示、文旅行程里转着看古迹,背后常有它。你手机里某些「把照片变立体」的小功能,也沾了神经渲染的光。米岸AI 整理这篇,是想让你知道 3D 不一定非得有人建模,拍一圈照片 AI 就能给你转着看的模型,这波红利普通人触手可及。

常见问题

问:神经渲染和 AI 绘画是一回事吗?

答:不是。AI 绘画是从文字生 2D 图,神经渲染是从多张实拍合成可转动的 3D 视角,一个造平面一个造立体,路子不同。

问:手机拍几张就能出 3D 吗?

答:理想情况下绕圈拍够多角度可以,但光线、重叠度不够就容易糊。现在不少 App 已简化这流程,普通人随手拍也能试个大概。

问:它为啥早先那么慢?

答:因为每帧都要网络现算海量视线颜色,算力吃紧。后来有加速算法和专用硬件才快起来,实时转看才慢慢可行。

问:米岸AI 提它,是想说建模要失业吗?

答:没那意思。它是给轻量 3D 开了条新路,复杂精细活还得人工建模,两者搭着用才香,别一听新词就喊谁要被取代。

本文由米岸AI整理。

相关文章

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

嵌入到底是什么?一文看懂文字变成坐标的原理

嵌入到底是什么?一文看懂文字变成坐标的原理

你会说“苹果”和“香蕉”很接近、“苹果”和“坦克”很远,但计算机只认 0 和 1。嵌入(Embedding)就是把每个词变成一长串数字坐标,让意思相近的词在坐标系里也挨得近。这篇文章用“地图”和“图书…

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

你上传一张猫的照片,AI 立刻认出是猫;拍一张街景,软件分出车道和行人。可计算机最初只看到一堆像素点。卷积神经网络(CNN)就是让 AI 学会“看”的关键结构,它像用放大镜在图上滑动、提取边缘和纹理,…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…