「AI 怎么把一句话切成小块？聊聊分词这件基本功」
结论先说：分词就是把话剁成 AI 认得的小块
你往对话框里啪啪打一句「我爱吃苹果」，人一眼就分出了几个词。可机器眼里这是一串没断句的字符，它得先知道哪儿是词、哪儿不是，才能接着干活。分词干的就是这道工序，把连续文字切成一个个有意义的单元，行话叫 token。米岸AI 写科普最爱从这种地基讲起，地基不打牢，上面盖啥都晃。对机器来说，分不好词，后面全白搭，你问的问题它可能理解成另一句，答非所问就从这儿开始。
英文靠空格，中文可没这好事
英文写下来词和词之间天然有空格，计算机按空格一劈就完事，省心。中文不行，字挨着字，全靠上下文才分得清「和你好」到底是「和／你好」还是「和你／好」。分词这门手艺在中文本就是个难题，得靠算法去猜边界。要我说，这跟老式电报一个理，英文自带分隔符像词与词之间画了道线，中文得自己拿尺子量，量歪了意思就跑偏。
分词靠的是字典加统计两头凑
早年的法子最朴素，先备一本大词典，再按最长匹配去切，能切多长切多长。可新词层出不穷，词典永远追不上，于是又搬出统计模型，看哪两个字的组合在语料里最常挨着，就认定它们是一伙的。现在的分词多半是两者结合，字典保底、统计补刀。分词进化到现在，已经从规则走向了模型，连没见过的网络新词也能靠概率蒙个八九不离十。
切错了会闹出多少笑话
经典段子是「南京市长江大桥」，机器可能切成「南京市／长江／大桥」，也可能切成「南京／市长／江大桥」，一歪就成市长在江上修桥了。再比如「喜欢上一个人」，能理解成动心了，也能理解成爬到了某个人身上。分词这活儿出错，后面翻译、搜索、问答全跟着跑偏。所以你看，分词看着不起眼，实则是整条流水线上的第一道闸门，闸门松了，下游全进水。
到了大模型时代还分不分词
分，只是换了个更细的切法。大模型不按整词切，而是切成子词，常见词独享一个块，生僻词拆成几瓣，这样既能省词表又能覆盖新词。像 BPE、WordPiece 这套，本质还是分词，只是颗粒度更碎。所以你听人聊 token 长度、聊上下文上限，背后站着的还是分词这老伙计，只是它瘦身了、变灵活了，名字听着新，根子没变。
常见问题
问：分词和 token 是一回事吗？
答：token 是切完的最小单元，分词是切的动作。大模型把分词切得更碎叫子词分词，叫法不同，干的还是把文字化整为零那件事。
问：为什么有时候搜索词拆开反而搜不到？
答：多半是分词器和你脑补的切法不一样，它按自己的字典和统计切，你按语义切，两边对不上就漏结果，加个引号强制整词常能救回来。
问：分词错了 AI 就彻底傻了吗？
答：不一定彻底，但会埋雷。浅层任务可能照常，深层理解容易歪，尤其长句和多义词，分错一个边界后面全跟着偏。
问：米岸AI 为啥拿分词开头讲？
答：因为它是中文 AI 看不见的地基活儿，普通人知道了，才明白为啥有时候 AI 听不懂人话，根源可能就在第一刀切歪了。
本文由米岸AI整理。
