当前位置:首页 > AI科普

翻译为啥从字典变成了神经网络?聊聊机器翻译这桩翻身账

xinhack6天前AI科普39

翻译为啥从字典变成了神经网络?聊聊机器翻译这桩翻身账 AI科普

早年的路子:字典加语法,硬凑

机器翻译最早那套,思路特直男:你给我一句话,我先查字典把每个词翻成外文,再按语法规则把词序摆一摆。听着合理吧?可语言哪是词对词能对付的——中文说「我爱你」,外文语序、介词、时态全不一样,硬凑出来就是「我爱妳」式的中式外语,磕碜得很。更要命的是,它一词一翻、不通盘看,遇到多义词、成语就抓瞎。所以这代翻译,能看个大概,细琢磨全是破绽,老外看了直皱眉。

卡在哪儿:词不是孤立的,意思看语境

这路子卡在一个死结上:词的意思得看前后文。一个「打」字,打水、打人、打球、打电话,意思天差地别,字典给不了你准信儿,得看它挨着谁。早年规则法试图写一堆「如果……就……」去掰,结果规则越写越厚、漏洞越补越多,活活把人累死。老程序员见多了这种「规则地狱」——你以为多写几条就齐了,其实语言是漏勺,怎么堵都漏,写规则的人先疯了。

翻身第一脚:统计登场,靠数据说话

后来人学乖了,不硬写规则,改抱数据大腿——统计机器翻译。思路是:我手上有海量「一句中文配一句外文」的现成对照,那就让机器从里头自己摸出「哪段对哪段」的规律,翻译时照着最可能的对应关系凑。这比手写规则强在它靠真实语料、能处理各种花样。可它还是「先拆成词或短语再拼」,句子一长、结构一绕,拼出来的还是有点散架感,读着总差口气。

真正翻身:神经网络整句一口闷

让翻译脱胎换骨的,是神经网络上场,尤其那个「编码器-解码器」加注意力的招儿(这俩咱前面都单聊过)。它不拆词硬翻了,而是把整句话一口气「读」进去、在内部揉成一股意思,再一口气「写」成外文。注意力机制还让它翻译每个词时,回头盯着原文里最相关的那几个词看,不再瞎对应。于是长句、弯弯绕的句子,它也能顺下来,读着像人话了,不再是词堆出来的怪胎。

它为啥突然就顺溜了:数据、算力、模型三件套

你纳闷它为啥是这几年才突飞猛进?没啥神秘的,就三样凑齐了:一是网上能扒的对照语料海了去,二是对付大网络的算力便宜了,三是模型结构(尤其 Transformer)真顶用。三者一碰头,翻译质量咔咔往上窜。所以别听人吹「某算法秒杀人类」,真相朴素的很——是数据多了、机器快了、结构巧了,仨条件齐了才成的,不是哪个天才一拍脑门就颠覆了世界,别被话术带偏。

也别供起来:它还是会翻车

但机器翻译再顺,也不是神仙。它最爱犯俩毛病:一是「编」,原文没那意思它给你圆出一个;二是「漏」,长句子后半截它容易忘前头、漏译。专业文档、法律合同这类差一个字出大事的,它现在还不敢独挑大梁,得人把着。所以老哥我的用法:日常看个外文网页、聊个大意,它真香;真要签字画押的玩意儿,还是得找个真懂行的过遍眼。工具是工具,别当裁判使,分寸拿住就成。

相关文章

开源大模型和闭源大模型有什么区别?普通用户该怎么选

开源大模型和闭源大模型有什么区别?普通用户该怎么选

开源开的是'权重'不是训练数据。讲清两条路线的商业逻辑、各自的适用场景,以及普通用户按需选型的方法。…

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

你上传一张猫的照片,AI 立刻认出是猫;拍一张街景,软件分出车道和行人。可计算机最初只看到一堆像素点。卷积神经网络(CNN)就是让 AI 学会“看”的关键结构,它像用放大镜在图上滑动、提取边缘和纹理,…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

把数据集中到一处训练 AI,最怕隐私和合规这关——没人愿意把聊天记录、病历乖乖上交。联邦学习换了思路:模型下发到各台设备,数据不出本地,只把「学到的改动」传回来汇总。本文用集体写书和老师批作业的隐喻,…