分词:从文本到 Token ID,理解 BPE 的训练与编码
手动合并一个词表,区分 BPE、WordPiece、Unigram,解释中文、代码和特殊标记为何影响成本与正确性。
模型不直接读取字符串。请求里的文字先经过 tokenizer,变成整数序列,再由 embedding 表把整数映射成向量。Token ID 是词表中的编号,本身没有大小关系:编号 100 不比编号 50“更重要”,相邻编号也不保证语义接近。
例如 toolbox 可以被拆成 tool、b、o、x。这不是按英语单词切分,而是复用训练语料里学到的片段。真实 tokenizer 还可能处理空格前缀、字节和特殊标记,必须用目标模型配套的 tokenizer 判断结果。
先区分训练词表和使用词表
训练 tokenizer 时,算法从语料统计中决定保留哪些片段。训练语言模型时,tokenizer 通常已经固定;语言模型学习的是这些 ID 之间的预测关系。应用调用时不再重新训练词表,而是照已有规则编码请求。
考虑带频数的语料:tool 出现 4 次,tools 出现 2 次,box 出现 3 次。初始按字符拆分。tool 和 tools 都含有 t o、o o、o l,这三个相邻对的加权频数都是 6;b o、o x 都是 3。频数相同需要确定的打破平局规则,否则重复训练可能产生不同词表。
下面的程序按字典序选出并列第一的相邻对,所以第一步合并 o l → ol,第二步合并 o ol → ool,第三步合并 t ool → tool。合并后必须重新统计,因为相邻关系改变了。BPE 的核心就是不断合并高频相邻片段,直到到达词表大小或停止条件。
编码 toolbox 时,按训练所得规则的优先级合并,不是临时重新统计这个单词的频次。因此没有见过完整的 toolbox 也能编码成已有片段。真实系统常在预分词边界内运行合并,不允许所有字符任意跨界拼接。
跑一遍三次合并
使用 Python 3.13,把以下完整程序保存为 bpe.py,在文件所在目录运行 python -X utf8 bpe.py。Windows 也可使用 py -3.13 -X utf8 bpe.py。
"""字符级教学 BPE。词边界已经切好;不实现字节编码和特殊 Token。"""
from collections import Counter
def merge(parts, pair):
result, i = [], 0
while i < len(parts):
if i+1 < len(parts) and (parts[i], parts[i+1]) == pair:
result.append(parts[i]+parts[i+1])
i += 2
else:
result.append(parts[i])
i += 1
return result
def train(corpus, steps):
words = {word: list(word) for word in corpus}
rules = []
for _ in range(steps):
counts = Counter()
for word, parts in words.items():
for pair in zip(parts, parts[1:]):
counts[pair] += corpus[word]
if not counts:
break
# 频次相同时按字符排序,保证本示例有唯一结果。
pair = min(counts, key=lambda p: (-counts[p], p))
rules.append(pair)
words = {word: merge(parts, pair) for word, parts in words.items()}
return rules
def encode(word, rules, alphabet):
if not set(word) <= alphabet:
raise ValueError('示例没有未知字符回退机制')
parts = list(word)
for pair in rules:
parts = merge(parts, pair)
return parts
if __name__ == '__main__':
corpus = {'tool': 4, 'tools': 2, 'box': 3}
rules = train(corpus, 3)
alphabet = set(''.join(corpus))
print('合并顺序', rules)
for word in ('tool', 'tools', 'toolbox'):
print(word, encode(word, rules, alphabet))运行结果:
合并顺序 [('o', 'l'), ('o', 'ol'), ('t', 'ool')]
tool ['tool']
tools ['tool', 's']
toolbox ['tool', 'b', 'o', 'x']把合并次数从 3 改成 1,tool 不再是一个整体 token;把待编码文字换成包含 z 的字符串,会报未知字符错误。这对应两个不同问题:词表粒度决定长度,基础字符集决定能否表达输入。字节级 BPE 可把任意 UTF-8 文本拆到字节,避免这个示例里的未知字符问题,但一个 token 的字节不一定能单独解码成完整 Unicode 字符。
三种子词算法到底差在哪
| 算法 | 训练时的主要思路 | 编码时的主要思路 |
|---|---|---|
| BPE | 反复合并高频相邻对 | 按已有合并规则的优先级应用合并 |
| WordPiece | 常见教学实现用相邻片段的关联分数选择合并,不能把所有实现简化成最高频 | 在词内做最长匹配,常用 ## 表示延续片段 |
| Unigram | 从较大的候选子词集合出发,按概率模型逐步删减 | 在可能的切分中求高概率序列,也可采样切分 |
SentencePiece 是分词工具和训练系统,能支持 BPE、Unigram 等算法,并不等于第四种与它们互斥的子词算法。归一化、空格处理和字节回退也是 tokenizer 的组成部分;只说“用了 BPE”不足以复现它的行为。
应用里最容易踩的四个坑
第一,字符数不能直接当 token 数。中文、英文、代码和罕见符号在不同词表下粒度不同。预算要用目标 tokenizer,对最终消息格式计数,并为输出预留空间。聊天模板、工具 schema 和历史消息同样占上下文。
第二,分块后分别计数不保证与整体计数完全相加。边界附近可能形成新的子词合并,聊天模板也会增加标记。精确请求预算应对最终序列计算,而不是把网页字符数除以一个固定系数。
第三,添加新 token 不等于模型已经理解它。词表增加后通常要调整 embedding 和输出层尺寸,并训练新行。仅把业务术语加进词表,不能自动提升问答能力,还可能破坏原模型配套关系。
第四,文本里出现看似特殊 token 的字符串,不代表它自动获得系统角色。是否解析成特殊 ID 取决于编码入口和允许策略;消息角色由可信代码构造。不要用用户可控字符串拼接内部聊天模板来代替结构化消息接口。
流式输出还涉及字节边界:直接逐 token 解码并拼接可能产生替换字符。应使用库的增量解码能力,保留未完成的字节序列。正确 tokenizer 版本、聊天模板、特殊 ID 和模型权重应作为同一套部署资产锁定。
运行WordPiece与Unigram的选择差异
WordPiece的常见编码采用词内最长匹配:先尽量匹配较长前缀,后续片段用延续标记。若剩余部分无法匹配,具体实现会按自己的未知词规则处理;下面采用整词返回[UNK]的简化约定。不要把编码的最长匹配与词表训练的关联分数混为一谈。
Unigram给候选片段分配概率,假设一个切分的概率是各片段概率乘积。最大化乘积等价于最小化负对数之和,因此可用动态规划:best[end]枚举最后一段的起点start,将best[start]加上该片段负对数概率,保留最小值。它寻找整词最优路径,不是每次挑最长片段。
固定词表中P(a)=0.2、P(b)=0.2、P(ab)=0.01,切成a+b概率0.04高于整体ab的0.01,所以更长token不一定被选中。训练Unigram还涉及概率估计、候选裁剪与重复优化,下面只实现给定词表后的编码,不冒充训练器。
保存为subword_compare.py,运行python -X utf8 subword_compare.py:
"""固定小词表的WordPiece最长匹配与Unigram最优切分;不训练真实词表。"""
from math import log
def wordpiece(word,vocab):
parts=[];start=0
while start<len(word):
found=None
for end in range(len(word),start,-1):
piece=('##' if start else '')+word[start:end]
if piece in vocab:found=(end,piece);break
if found is None:return ['[UNK]']
start,piece=found;parts.append(piece)
return parts
def unigram(word,probs):
best=[None]*(len(word)+1);best[0]=(0.0,[])
for end in range(1,len(word)+1):
for start in range(end):
piece=word[start:end]
if best[start] is None or piece not in probs:continue
score=best[start][0]-log(probs[piece])
if best[end] is None or score<best[end][0]:best[end]=(score,best[start][1]+[piece])
if best[-1] is None:raise ValueError('no_segmentation')
return best[-1]
if __name__=='__main__':
print('WordPiece',wordpiece('unhappy',{'un','##happy','u','##n'}))
print('未知片段',wordpiece('unhappz',{'un','##happy','u','##n'}))
probs={'a':0.2,'b':0.2,'ab':0.01,'unused':0.59}
cost,pieces=unigram('ab',probs)
print('Unigram',pieces,'负对数概率',round(cost,6))
print('整体ab负对数概率',round(-log(probs['ab']),6))实际运行输出:
WordPiece ['un', '##happy']
未知片段 ['[UNK]']
Unigram ['a', 'b'] 负对数概率 3.218876
整体ab负对数概率 4.60517把ab概率改为0.1,并把unused调整为0.5保持概率总和为1,会选择整体ab。训练和编码分别影响词表、概率与最终切分;真实模型的中文、空格、归一化和字节回退还要由配套tokenizer验证,不能把这个小词表的长度当模型计费数量。
对于中文“退款期限”,字符粒度词表可能得到四段,含“退款”和“期限”的词表可能得到两段;这只是粒度例子,不代表中文固定一字一token。真实对照应锁定两套tokenizer版本,输入完全相同的中文、代码与特殊符号,输出token ID、可逆解码与最终聊天模板计数,再比较差异。
综合追问:新增一个中文业务词后,输入变短却回答变差,为什么?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
BPE学习合并规则后按固定优先级编码;WordPiece常用词内最长匹配;Unigram在候选分词路径中比较概率。对同一词,最长片段不一定是最高概率整条路径,所以不能用一种算法的局部贪心解释三种编码器。词表更大可能缩短序列,但扩大embedding/输出层并改变兼容性;把业务词加入词表并不会自动训练出它的含义。
先核对tokenizer与权重revision、词表尺寸和特殊标记ID,确认新增向量是否训练;再看中文是否按字节或子词切分、空格归一化和聊天模板。预算应对完整序列计数而非中文字数乘常数;UTF-8字符被拆成多个token时要增量解码。面试回答需区分训练词表、编码、模型学习三个过程,并用前后token序列和恢复文本定位问题,不能把更短直接当更好。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
BPE 训练和文本编码分别做什么?为什么 toolbox 未出现过也能编码?
参考思路与常见误区
训练在语料上按频数逐轮学习合并规则;编码使用固定规则及其优先级,不重新训练。示例学到 tool 后,可以把 toolbox 编成 tool、b、o、x。能否编码所有字符还取决于基础字母表或字节回退。
常见误区:把 BPE 当完整单词查表,或者对每条新输入重新统计最高频相邻对。
把中文字符数乘一个系数能否精确控制上下文预算?
参考思路与常见误区
不能。词表、语言、空格、代码和特殊标记都影响切分。应用应使用模型配套 tokenizer,对最终聊天模板、工具定义、历史消息计数,再预留输出空间。边界合并意味着分段计数之和也可能与整体不同。
常见误区:把经验系数当精确计费规则,忽略消息模板和工具 schema。
BPE、WordPiece、Unigram 和 SentencePiece 是四种互斥算法吗?
参考思路与常见误区
不是。BPE 学合并优先级;WordPiece 常见编码采用词内最长匹配;Unigram 从候选词表删减,用概率选择切分。SentencePiece 是可支持 BPE、Unigram 等的工具系统,还涉及归一化与空格处理。WordPiece 的教学训练推断也不能冒充所有原始实现。
常见误区:只看名称分四类,或把三种算法都解释成最高频合并。
为业务术语新增一个 token,模型就理解它了吗?
参考思路与常见误区
不会。必须保证 tokenizer、embedding 和输出层尺寸一致,初始化并训练新增参数,使新 token 获得有用表示。仅新增词表项可能让原先有意义的子词组合变成未训练向量,还会改变输入长度和模型兼容性。
常见误区:把词表注册等同于知识注入。
为什么逐 token 解码可能出现乱码?
参考思路与常见误区
字节级 token 可能只包含一个 Unicode 字符的部分字节。逐项强行解码会产生替换字符。应使用 tokenizer 的流式增量解码或缓冲未完成字节,验证拼接结果与完整序列解码一致。
常见误区:认为每个 token 都是一个可独立展示的字符或完整单词。
继续阅读 Q/K/V 与因果注意力,看这些离散 ID 对应的向量如何交换信息。算法细节参考 Hugging Face BPE、WordPiece 和 Unigram。