语言模型:从条件概率到生成与分类
训练一个能手算的二元模型,理解 N-gram、RNN、Transformer 的区别,以及生成模型怎样完成分类任务。
语言模型首先是一种概率模型:给定已经看到的文本,计算接下来各种 token 的概率。聊天回答、补全代码和选择分类标签,都可以转成条件生成,但概率高不代表事实必然正确。模型学习到的是训练数据和训练目标共同塑造的规律。
把整句话拆成条件概率
对序列 x1 到 xT,概率链式法则给出 P(x1…xT)=P(x1)×P(x2|x1)×…×P(xT|x1…xT−1)。这条恒等式本身没有要求使用神经网络。不同语言模型的区别,在于如何表示历史、如何估计每一个条件概率。
N-gram 只保留最近 n−1 个 token,例如二元模型用前一个 token 预测下一个。它可以直接由频数估计,易于检查,但历史窗口固定,没见过的组合会出现零概率,词表与窗口扩大后统计非常稀疏。平滑把部分概率分给未见过的组合,避免一项为零就让整句话概率为零;它没有自动补回长距离理解能力。
RNN 把历史递推压入隐藏状态:h_t=f(h_(t−1),embedding(x_t)),再由状态预测下一 token。参数可以跨时间共享,理论上不再局限于固定长度的离散窗口;但训练和推理的状态传递是顺序的,长距离信息还受优化与状态容量影响。LSTM/GRU 的门控缓解部分问题,不能理解成无限可靠记忆。
Transformer 让一个位置通过注意力读取允许范围内的其他位置,减少纯递归传播路径。训练时已知完整序列,因果掩码让各位置可并行计算;生成时未来 token 未知,普通自回归生成仍逐步进行。它也受到上下文窗口、显存和训练分布约束,并非可以无成本读取无限历史。
三句话构造一个可检查的模型
训练语料为“我 喜欢 苹果”“我 喜欢 香蕉”“你 喜欢 苹果”,空格就是这个例子的分词边界。词表包含我、你、喜欢、苹果、香蕉和结束符,共六项;开始符只作为条件,不作为预测目标。
“喜欢”后出现苹果两次、香蕉一次。采用加一平滑,P(苹果|喜欢)=(2+1)/(3+6)=1/3,香蕉是 2/9,没有出现过的“我”是 1/9。分母中的 6 是预测词表大小,不能只对出现过的两个词平滑,否则不会形成同一个归一化分布。
保存以下完整程序为 ngram.py,使用 Python 3.13 运行 python -X utf8 ngram.py。Windows 可使用 py -3.13 -X utf8 ngram.py。
"""词级二元统计模型:计数和平滑,不是神经语言模型。"""
from collections import Counter, defaultdict
from math import log, exp
def train(sentences):
counts = defaultdict(Counter)
vocabulary = {'</s>'}
for sentence in sentences:
words = sentence.split()
vocabulary.update(words)
for previous, current in zip(['<s>'] + words, words + ['</s>']):
counts[previous][current] += 1
return counts, vocabulary
def probability(counts, vocabulary, previous, current, alpha=1.0):
if current not in vocabulary or alpha <= 0:
raise ValueError('目标必须在词表中,平滑系数必须为正')
row = counts.get(previous, {})
return (row.get(current, 0) + alpha) / (sum(row.values()) + alpha * len(vocabulary))
def score(counts, vocabulary, sentence):
words = sentence.split()
pairs = list(zip(['<s>'] + words, words + ['</s>']))
total = sum(log(probability(counts, vocabulary, a, b)) for a, b in pairs)
return total, exp(-total / len(pairs))
if __name__ == '__main__':
counts, vocabulary = train(['我 喜欢 苹果', '我 喜欢 香蕉', '你 喜欢 苹果'])
print('词表大小', len(vocabulary))
print('喜欢之后的计数', dict(counts['喜欢']))
for word in ['苹果', '香蕉', '我']:
print(word, f'{probability(counts, vocabulary, "喜欢", word):.6f}')
for sentence in ['我 喜欢 苹果', '苹果 喜欢 我']:
logp, ppl = score(counts, vocabulary, sentence)
print(sentence, f'logP={logp:.6f}', f'PPL={ppl:.6f}')词表大小 6
喜欢之后的计数 {'苹果': 2, '香蕉': 1}
苹果 0.333333
香蕉 0.222222
我 0.111111
我 喜欢 苹果 logP=-4.158883 PPL=2.828427
苹果 喜欢 我 logP=-8.553332 PPL=8.485281程序把概率取对数再相加,避免长序列连乘下溢。困惑度 PPL 是 exp(−平均对数概率),越小表示模型对这段序列越不意外;这里平均包括结束符预测。两句包含相同词,但顺序不同,二元转移概率使得分不同。把语料中“我 喜欢 香蕉”复制多次,再观察喜欢之后的概率,能看到统计怎样向新频数倾斜。
这个例子在训练样本上打分,用来验证公式,不能作为泛化质量评测。比较模型困惑度时,测试集、分词粒度、是否包含结束符和计分位置必须一致。不同词表把同一文本拆成不同 token,直接比较每 token 的 PPL 可能误导。未知词需要预先设计 UNK 或更细粒度分词;本程序对词表外目标显式报错,不偷偷当作已支持。
预训练究竟迁移了什么
神经模型把大量文本中的预测规律编码进参数。预训练用通用数据学习表示和生成能力,再通过指令微调、偏好优化或特定领域继续训练调整行为。它不是把每个网页原文存进可精确寻址的数据库;参数记忆与推理中的检索是两种机制。
应用开发时要区分三种变化:提示改变当前条件,RAG 把外部证据加入当前上下文,训练改变参数。把新知识写进提示不会永久改变模型权重;微调也不能自然保证以后所有事实都更新及时。选择方法要看问题是知识缺失、格式不稳定、工具使用策略,还是外部数据必须实时变化。
自回归模型为什么能做分类
假设标签只有“正面”和“负面”,把文本与“情感标签:”作为上下文 x,再比较两个标签字符串的 P(标签|x),就可以选择标签。若标签分成多个 token,应累积整段标签的条件对数概率;只比较第一个 token 会遗漏后续差别。标签字面形式、长度和提示也会影响分数,所以需要固定模板并验证偏差。
另一种实现让模型直接生成标签,再做集合校验或约束解码;这便于服务接入,但非法输出、解释混入、类别先验和置信度都要处理。模型说“置信度 99%”不是校准概率。需要在带标签验证集上检查准确率、混淆矩阵以及阈值下的错误成本。
判别模型通常直接优化给定输入的类别分布 P(y|x);生成模型可以优化文本序列分布并通过条件化处理许多任务。NLP 是任务领域,覆盖分类、抽取、检索、翻译等;LLM 是这一领域的重要模型路线,不能把 NLP 等同于聊天。结构化字段抽取仍须验证字段与原文一致,不能因为输出自然流畅就忽略业务正确性。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
N-gram:二元模型遇到从未见过的转移,整句概率变零,如何处理?
固定词表后做平滑,例如喜欢后苹果2次、总计3次、词表6,加一得到3/9。平滑避免零概率但把质量分给未见项,不能恢复被窗口截断的历史。先查未知词还是已知词未见转移,再核分母包含整个预测词表,避免只平滑出现过的词。
RNN:RNN能接任意长度输入,为什么开头信息仍丢失?
历史被递推压入有限隐藏状态,长链梯度和容量限制会影响保留。门控可缓解但不保证无限记忆;状态式计算适合流式低存储,训练并行性弱于已知序列注意力。将同一依赖逐步拉长,检查隐藏状态/误差变化,不能仅凭接口接受长度证明理解。
预训练:把新产品说明写进prompt,下一会话还会记住吗?
提示只改变本次条件,不更新参数;预训练以预测损失更新权重,RAG则在推理时加入外部证据。实时事实宜检索,稳定行为可评估微调,但训练也不保证逐条事实更新。新会话不带说明做对照,区分上下文记忆与参数变化,避免误宣称完成训练。
条件概率:十个条件概率都为0.1,连乘下溢应怎样改?
该例概率为10的负10次方,长序列在有限精度下更易下溢;累加log概率后按需要取exp。链式法则条件是完整前缀,N-gram才额外截断。对短序列手算比较两种实现,再用长序列测有限值;使用对数稳定数值但不能修正错误条件或标签对齐。
判别与生成:标签A一个token、标签B两个token,只比首token会怎样?
B后续token的条件概率被漏掉,应比较完整标签对数概率并审视长度/字面偏差。生成接口灵活但可能输出非法标签,固定判别头适合稳定类别任务。用共享首token而后缀不同的标签构造反例,校验完整计分和标签集合,不把口述99%当校准概率。
NLP 与 LLM 的关系:抽取金额时LLM答得流畅却多出一个数字,属于什么问题?
NLP是任务领域,抽取要求输出可回指原文;LLM生成能力不自动满足精确抽取契约。规则对固定格式便宜可控,LLM适合表达变化但须schema和原文对齐。先定位输入是否含该金额,再核单位与字段映射,使用抽取准确率而非流畅度验收。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
链式法则和 N-gram 近似是同一件事吗?
参考思路与常见误区
链式法则把联合概率精确分解为各位置给定全部历史的条件概率;N-gram 额外假设只依赖最近 n−1 个 token,是对历史依赖的近似。平滑处理未见组合,但不能恢复被截断的历史。
常见误区:认为链式法则本身规定只能看一个前词。
本例中喜欢之后苹果、香蕉、我的概率是多少?为什么?
参考思路与常见误区
三个转移观测中苹果2次、香蕉1次,预测词表有6项。加一平滑后分母是3+6,分子分别3、2、1,因此概率为1/3、2/9、1/9。开始符不在预测词表,结束符在。
常见误区:只按出现过的两项计算分母,或把未见过的转移仍设为0。
RNN 与 Transformer 的训练并行性有什么不同?
参考思路与常见误区
RNN 的隐藏状态依赖上一步隐藏状态,需要顺序递推;Transformer 对已知整段序列可用矩阵运算并行计算各位置,因果掩码约束访问范围。普通自回归生成的未来 token 未知,仍通常逐步生成。
常见误区:从训练可并行推断生成全部 token 也可一次得到。
生成模型怎样做二分类?多 token 标签怎么计分?
参考思路与常见误区
固定输入模板,把两个候选标签作为续写序列比较条件概率;多 token 标签要累积整段条件对数概率,说明长度和字面形式偏差。也可约束生成合法标签,在验证集测分类质量与校准。
常见误区:只比较标签首 token,或把模型口述的置信度当已校准概率。
两个模型 PPL 一个2一个3,能直接说前者更好?
参考思路与常见误区
先确认相同测试集、分词、计分位置与边界约定。每 token PPL 受分词粒度影响,训练样本分数不能证明泛化,更不能直接代表分类或事实问答质量。应在同协议下比较,并补业务指标。
常见误区:忽略词表和测试集差异,或用训练集 PPL 代替任务验收。
随后阅读 Embedding 与表示空间。概率模型基础见 Stanford N-gram 章节,注意力结构见 Transformer 原始论文。