当前位置:首页 > AI科普

语音合成 TTS 到底是什么?AI 是怎么「开口说话」的

xinhack1周前 (11-01)AI科普16

语音合成 TTS 到底是什么?AI 是怎么「开口说话」的 AI科普

先说人话:TTS 干的是「反方向」的活儿

咱们前面聊过语音识别,那是把你说的话变成文字。语音合成,英文叫 Text-To-Speech,简称 TTS,干的刚好是反过来的事——把一段文字,变成一段能听的声音。说白了,就是你给它稿子,它还你一段念稿子的声音。你手机里的导航播报、听书 App 的机器朗读、短视频那些不带真人的配音,背后基本都是它在撑着。它跟语音识别是一对兄弟,一个管「听」,一个管「说」,合起来才让机器跟人有了嘴和耳朵,少了谁都不算会交流。

它怎么把字变成声音:先「读」懂,再「拟」声

这活儿分两步走。第一步叫前端处理,模型先把句子拆开,标好哪个字该重读、哪里该停顿、问句末尾要不要扬起来,就像咱们念稿子前先在心里打标点、找节奏。这一步行话叫韵律建模,决定声音「有没有腔调」。第二步叫声学建模加声码器,负责把上面那堆「计划」真变成波形——也就是你耳朵听到的声音。早年这俩步骤都挺笨,现在是神经网络一肩挑,所以听着才顺耳。打个比方:前端像导演说戏,后端像演员开口,俩配合好了,戏才不像念稿。

早些年为啥听着像机器念经:老路子有老路子的难

以前的 TTS 主要两条路。一条是拼接法:事先录好一大堆音节,合成时像拼拼图一样把音节粘起来。好处是声音真,坏处是拼接缝明显,一快就露馅,听着像卡碟。另一条是参数法:让模型直接算声音的曲线,省空间但听着发闷,像含了口水、隔着棉被讲话。所以那会儿你听语音助手,总觉着哪儿不对劲、冷冰冰的,就是这俩老路子闹的。直到数据量和算力上来,这条路才被彻底换掉,机器念经的时代才算翻篇。

神经网络进来后,声音才真像了人

后来端到端的神经网络把前端后端一把梭,模型直接从文字学到波形,中间少了许多手工拼接的破绽。再加上「让机器自己判断哪段声音更像人」这类判别训练,出来的声音就有了语气、有了呼吸感,甚至能压低嗓子讲悄悄话。现在你闭着眼听一些朗读,真不一定分得清是真人还是合成。这进步,说实话挺吓人,也挺有用——无障碍阅读、深夜电台、多语种配音,一下全活了,一个小团队能顶过去一个录音棚的活。

你天天都在用,只是没察觉

别觉得这玩意儿离你远。早起闹钟的新闻播报、开车时的导航、给娃读的绘本音频、视频号里那些不露脸的配音、甚至银行电话里那句「查询余额请按一」、外卖 App 念出你下单的菜名,背后都是 TTS。它最大的价值不是装真人,而是把文字变成声音这件事,做得又便宜又批量,让人不用念、不用录就能出声。过去录一小时音频要排期、要棚、要人,现在一段文字进去,几秒钟音轨就出来了。

别被「真人克隆」忽悠,它也有翻车的时候

现在满大街「一分钟克隆你声音」的噱头,听着玄乎。咱得说句实话:那是用你一小段录音去拟合音色,出来的确像,但长句子、复杂情绪照样容易飘、容易嘴瓢,遇到生僻字还会读错。而且这技术一旦被拿去冒充别人打电话、搞诈骗,风险不小。所以听个乐、做做无障碍朗读挺好,真要拿来以假乱真,咱得多个心眼。技术香归香,别被话术带沟里,也别拿去干不地道的事,害人害己。

相关文章

过拟合是什么?为什么模型考试满分却实战翻车

过拟合是什么?为什么模型考试满分却实战翻车

训练 AI 很像备考:刷的题越偏越怪,考试分数可能越高,但真上考场就懵。过拟合说的就是模型把训练题“背”得太死,碰到没见过的新情况反而答错。这篇文章用“背题”和“学规律”的区别,讲清过拟合是什么、怎么…

模型量化是什么?一文看懂手机为什么能跑大模型

模型量化是什么?一文看懂手机为什么能跑大模型

同样一个模型,在云端跑得动,塞进手机却卡死,问题常常出在“精度”。量化(Quantization)就是把模型里成千上万的小数“四舍五入”成更小的数,体积和算力需求大幅降下来,效果却几乎不掉。这篇文章用…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

给 AI 准备带标签的数据很贵——得雇人一条条标。自监督学习绕开这道坎:它不给标准答案,而是把数据自己拆成「题」和「答案」,让模型在填空、比对中练出对世界的理解。本文用完形填空的比喻,讲清它怎么让大模…

批归一化是什么?深度学习训练为什么要先把每层摆正

批归一化是什么?深度学习训练为什么要先把每层摆正

训练神经网络时有个隐蔽麻烦:前面层一变,后面层输入的分布就跟着飘,模型得不断重新适应,学得慢又抖。批归一化的解法是,在每个小批次里把层的输入「摆正」——均值拉到 0、方差归到 1。本文用军训排队和恒温…

自编码器是什么?AI 怎么把复杂信息压缩再还原

自编码器是什么?AI 怎么把复杂信息压缩再还原

你手机传照片会先压缩,AI 也有一套类似的「打包术」叫自编码器:它先把数据压成一小团精华,再试着还原回去,逼自己只留住最要紧的特征。本文用搬家断舍离和缩略图的比喻,讲清它怎么顺手干成了降噪、找异常这些…