采样与搜索:从 logits 到一个完整生成序列
手算温度、Top-k/Top-p、带符号重复惩罚与贪心反例,理解解码顺序、长度偏差和可复现边界。
语言模型每步给出词表上未归一化的分数 logits。解码器根据历史 token、约束、温度和候选过滤,选择一个新 token,再把它送回模型。相同模型可以因为解码策略不同而表现不同;“模型给出的答案”实际上包含了这套选择规则。
温度改变分布,贪心直接做选择
温度 T 大于零时,概率为 exp(z_i/T)/Σexp(z_j/T)。低温扩大分数差,高温压平差异。计算应减去缩放后的最大值,避免指数溢出。T=0 不能直接代入除法,通常由贪心分支选择最高分;各服务接口支持的参数和含义应查文档。
logits 为 [2,1,0] 时,T=1 的概率约为 [0.6652,0.2447,0.0900];T=0.5 时第一项增到约0.8668;T=2时降到约0.5065。最高分排序不变,但抽样频率变化。温度变低不会验证事实,也不能防止一个错误候选恰好最高分。
Top-k 与 Top-p 不是同一种上限
Top-k 保留分数最高的 k 个候选。Top-p 先按概率降序排列,保留累计概率首次达到阈值 p 的最短前缀,包括跨过阈值的那项,再归一化。若概率为0.6、0.3、0.1,p=0.8,应保留前两项,总质量0.9,新的概率是2/3和1/3。
在尖锐分布中 Top-p 可能只保留一个 token;平坦分布中可能保留很多。Top-k 固定数量,在这两种情况下保留的质量不同。二者组合时执行顺序及归一化时机可以影响最终集合,所以必须记录推理后端的具体实现,而不只保存参数名。
惩罚重复为什么要看正负号
一种常见重复惩罚对出现过的 token 分数使用乘除规则:正分数除以大于1的 penalty,负分数乘 penalty,使两者都变得不利。例如2除以2变1,-1乘2变-2。若负分数也除以2,会从-1变成-0.5,反而提高相对优势。
另一类存在惩罚、频次惩罚采用减去固定量或按出现次数扣分,不能与上述乘除式公式混为一谈。惩罚可能伤害必要重复,例如变量名、JSON键、法律术语或句子中的指代;提高它不是解决循环生成的万能方式。
贪心为什么找不到最高概率整句
设第一步 A 的概率0.6、B为0.4。在 A 后,x/y的概率为0.51/0.49;在 B 后为0.99/0.01。贪心先选 A,再选 x,路径概率0.306。但 B→x 的概率0.396更高。每一步最优不保证序列乘积最优,因为当前选择改变后续分布。
Beam Search 每步保留若干高分前缀再扩展,用 log 概率和避免长序列乘积下溢。宽度2在这个两步例子中能保留 A、B 并找到 B→x;一般情况下有限束宽仍会剪掉潜在好路径,不能保证全局最优。原始累计对数概率还偏好较短序列,EOS、长度归一化和结束条件会改变排名。
最高概率文本也不一定是业务上最有用的文本。开放写作中的通用高概率续写可能重复、平淡;分类或结构化任务更重视约束与正确性。应分别评估任务质量、重复、长度、延迟和多样性。
运行每一步的中间结果
保存以下程序为 decoding.py,运行 python -X utf8 decoding.py。固定分数让每一步可核对,程序没有调用真实模型。
"""固定分数展示温度、截断、惩罚和短序列搜索。"""
import math
def softmax(logits, temperature=1.0):
if temperature <= 0:
raise ValueError('零温用贪心分支,不做除零')
values = [v / temperature for v in logits]
shifted = [math.exp(v-max(values)) for v in values]
return [v/sum(shifted) for v in shifted]
def nucleus(probabilities, threshold):
if not 0 < threshold <= 1:
raise ValueError('top_p 必须在 (0,1]')
order=sorted(range(len(probabilities)),key=lambda i:(-probabilities[i],i))
keep=[]; mass=0
for i in order:
keep.append(i); mass+=probabilities[i]
if mass>=threshold:break
return keep,[probabilities[i]/mass for i in keep]
def repetition(logits, seen, penalty):
if penalty < 1:raise ValueError('本例只实现抑制重复的 penalty>=1')
return [
(v*penalty if v<0 else v/penalty) if i in seen else v for i,v in enumerate(logits)]
if __name__=='__main__':
logits=[2.,1.,0.]
for temperature in [0.5,1.,2.]:
p=softmax(logits,temperature)
keep,normalized=nucleus(p,0.8)
print('温度',temperature,'概率',[round(x,4) for x in p],'top_p 保留',keep)
print('重复惩罚',repetition([2.,-1.,0.],{0,1},2.))
paths=[('A→x',.6*.51),('A→y',.6*.49),('B→x',.4*.99),('B→y',.4*.01)]
print('贪心 A→x',round(paths[0][1],3))
print('宽度2保留首步A/B后的最优',max(paths,key=lambda x:x[1]))温度 0.5 概率 [0.8668, 0.1173, 0.0159] top_p 保留 [0]
温度 1.0 概率 [0.6652, 0.2447, 0.09] top_p 保留 [0, 1]
温度 2.0 概率 [0.5065, 0.3072, 0.1863] top_p 保留 [0, 1]
重复惩罚 [1.0, -2.0, 0.0]
贪心 A→x 0.306
宽度2保留首步A/B后的最优 ('B→x', 0.396)把 Top-p 从0.8改到0.95,T=1会保留三个候选;把第一步 B 的概率调低,B→x未必再胜出。注意更新 A/B 时总概率仍要为1,否则就不再是合法分布。若所有候选都被约束屏蔽,必须显式报错或按设计回退,不能对空集合强行采样。
随机种子与确定性的边界
固定种子只固定指定随机数生成器的序列。批次顺序、额外采样调用、并行内核、浮点精度、设备、模型版本与服务调度变化都可能改变结果。温度为零去掉了采样随机性,但分数极接近时,数值差异仍可能改变 argmax,随后生成路径迅速分叉。
复现实验应保存模型和 tokenizer 版本、模板、全部生成配置、输入、后端与硬件信息、种子及输出。对于概率任务,报告多次运行分布;对于关键业务,用结构校验、事实校验和幂等执行约束结果,不把“同一个种子”当安全保证。
综合追问:固定seed仍输出不同,如何检查解码链而非只重试?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
贪心每步选最大概率,但A路径0.6×0.51小于B路径0.4×0.99;Beam保留多条候选扩大搜索,增加计算且有限束宽仍非全局保证。Top-k固定候选数,Top-p按累计概率,例如0.6/0.3/0.1和p=0.8保留前两项再归一化。温度改变分布,所以先温度后截断与其他顺序不应默认等价。
重复惩罚若把负logit−1除2会提高它,应按所选乘除式规则变−2;另一些接口用减法频次惩罚,先查定义。出现不可复现时保存原logits或可得统计、参数处理顺序、模型/内核版本和批次;seed只约束对应随机流,不能跨后端保证逐字相同。面试按候选生成、重打分、截断归一化、采样与停止条件解释每个控制量的收益和失败模式。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
概率0.6、0.3、0.1且Top-p=0.8,该保留什么?
参考思路与常见误区
降序累计到首次超过或达到0.8,保留前两项,其质量0.9;重新归一化为2/3和1/3。不能丢掉跨阈值的第二项,也不能把0.8当每个 token 的概率下限。
常见误区:只保留累计仍不超过阈值的前缀,错误得到一个候选。
重复 token 的 logit 为-1,乘除式 penalty=2 应如何处理?
参考思路与常见误区
负分数乘2变-2,正分数则除2,使重复候选都更不利。如果负数除2变-0.5,会提高它的相对分数。此公式与减法的频次/存在惩罚不同。
常见误区:无论正负都除 penalty,并认为不同供应商参数同名就同义。
贪心每步选最大概率,为何整句概率不是最大?
参考思路与常见误区
当前选择改变后续分布。例中A首步0.6、其后x为0.51,乘积0.306;B首步0.4、其后x为0.99,乘积0.396。局部最高不保证路径最高,有限束宽也不是全局保证。
常见误区:把每步独立最优当成条件概率链的全局最优。
温度、Top-k和Top-p一起设定时应记录哪些信息?
参考思路与常见误区
除了参数值,还需记录后端的处理顺序、归一化时机、惩罚与约束、最少保留数和停止条件。温度改变分布后,Top-p候选集合可能变化;不同实现组合不必等价。
常见误区:认为只要数值相同,所有引擎的最终分布就相同。
固定种子或温度零能否跨设备保证完全相同?
参考思路与常见误区
不能无条件保证。种子约束指定随机数流,批次和调用顺序会改变消耗;温度零仍受浮点误差、内核、版本和近似并列分数影响。保存环境与配置,并用业务校验约束输出。
常见误区:把生成可复现性当成事实正确性或执行安全性。
解码接口与策略参考 Transformers generation strategies。基础抽样例子可回看 采样参数,这里进一步补齐搜索、惩罚和复现条件。