Embedding:查表向量为什么不等于检索向量
区分输入嵌入、上下文表示和句向量,用池化与点积反例理解检索空间、归一化和训练目标。
输入 token 的 ID 可以查到一个向量,但它还不是一句话的语义检索表示。把词表向量求平均、把生成模型最后一层取出来、调用专门的 embedding 模型,这三种做法可能输出相同维数,检索质量却不能因此视为相同。
三层表示分别是什么
输入嵌入表形状为 [词表大小V, 隐藏维度D]。长度 T 的 ID 序列索引这张表得到 [T,D]。同一个 ID 在同一模型中的初始查表结果相同,不因当前句子变化;进入网络以后,各层结合上下文更新表示,相同词在不同句子里的隐藏状态可以不同。
句向量把一段变长文本映射为定长向量,常见做法包括指定位置取值、带 mask 的均值池化或模型规定的其他聚合方式。向量维度固定只是便于存储和比较,真正决定空间是否适合检索的是训练目标、数据、池化、输入模板和归一化等共同约定。
为什么平均值也需要 mask
假设两个有效位置表示为 [1,0] 与 [0,1],补齐位置为 [100,100]。有效均值应为 [0.5,0.5];把补齐位置算进去得到约 [33.667,33.667]。真实 padding 隐藏状态未必为零,即使为零,错误分母也会改变向量尺度。还要遵守模型对特殊 token 的处理约定,不能自行认为所有标记都应该加入或排除。
归一化把非零向量除以自己的 L2 范数。余弦相似度为 dot(q,d)/(norm(q)×norm(d))。当查询和所有候选均为单位向量,余弦与点积相同;单位向量的平方欧氏距离为 2−2×dot(q,d),因此距离升序与相似度降序一致。没有这些条件时,三者不能随意替换。
一个排序会反转的例子
查询 q=[1,0],候选 A=[10,10],候选 B=[1,0]。点积给 A 10 分、B 1 分,A 排前;余弦给 A 约 0.707、B 1,B 排前。A 的大范数主导了点积。选择点积不一定错,有些模型就用向量模长编码有用信号;错误在于未经验证改变了模型要求的度量。
保存为 embedding.py,运行 python -X utf8 embedding.py。二维向量由人工指定,用于检查数值规则,不代表一个训练好的语义模型。
"""手工二维向量验证池化与归一化;不赋予它真实语义质量。"""
from math import sqrt
def mean_pool(rows, mask):
if not rows or len(rows) != len(mask) or not any(mask):
raise ValueError('至少需要一个有效位置,且 mask 长度一致')
width = len(rows[0])
if not width or any(len(row) != width for row in rows):
raise ValueError('向量维度必须一致且非空')
selected = [row for row, keep in zip(rows, mask) if keep]
return [sum(row[i] for row in selected) / len(selected) for i in range(width)]
def dot(a, b):
if len(a) != len(b):
raise ValueError('维度不一致')
return sum(x * y for x, y in zip(a, b))
def normalize(vector):
length = sqrt(dot(vector, vector))
if not length:
raise ValueError('零向量不能做余弦归一化')
return [value / length for value in vector]
if __name__ == '__main__':
# 第三个位置是 padding,故意放大以显露漏 mask 的错误。
rows = [[1., 0.], [0., 1.], [100., 100.]]
print('有 mask 的池化', mean_pool(rows, [1, 1, 0]))
print('漏 mask 的池化', mean_pool(rows, [1, 1, 1]))
q = [1., 0.]
documents = {'A': [10., 10.], 'B': [1., 0.]}
for name, vector in documents.items():
print(name, f'点积={dot(q, vector):.3f}',
f'余弦={dot(normalize(q), normalize(vector)):.3f}')有 mask 的池化 [0.5, 0.5]
漏 mask 的池化 [33.666666666666664, 33.666666666666664]
A 点积=10.000 余弦=0.707
B 点积=1.000 余弦=1.000把 A 换成 [0.1,0.1],余弦不变,点积变小;把 mask 全改成 0,应报错而不是生成 NaN。零向量没有定义良好的余弦相似度,生产流程应拒绝或单独记录,不把除零结果写进索引。
训练目标怎样塑造表示空间
生成模型主要学习根据上下文预测 token,好的下一 token 概率不自动意味着某个隐藏向量适合跨文档余弦排序。检索 embedding 常使用查询与相关文档组成的正样本,以及不相关文档作为负样本,推动正例得分高于负例。简单的对比损失可以写成 −log(exp(s(q,d+)/τ)/Σ_j exp(s(q,d_j)/τ));τ 控制分数尺度,负例集合决定模型要区分什么。
如果所有负例都过于容易,例如法律问题只与菜谱比较,模型可能学不到法律条款之间的细微差异。若把另一篇同样正确的文档标成负例,则会把本应邻近的表示推开。训练集和业务检索分布不一致,也可能导致通用相似度好、专业召回差。
双编码器分别编码查询与文档,文档可以离线计算后建索引;交叉编码器把查询和文档放在同一个网络中交互打分,通常不能复用成每篇文档一个固定向量,因此更常用于小候选集重排。不能把交叉编码器的高质量配对得分直接当成向量库可索引的 embedding。
应用里该锁定哪些条件
索引版本至少记录模型标识、权重或服务版本、维度、输入前缀/任务模板、截断长度、池化、归一化与距离度量。更换模型后,即使维度没变,也不能把新查询向量与旧文档向量混用;两个模型的坐标系未必一致。升级时应重建文档向量并用同一查询集对比召回,必要时保留旧索引回退。
长文本被截断会丢失尾部证据;均值池化可能稀释短但关键的否定条件;“允许退款”和“不允许退款”共享大量语词,相似度很高也不代表逻辑等价。向量接近通常表示任务相关性,不等于事实一致、蕴含成立或授权通过。RAG 仍需要重排、证据对齐和业务校验。
不要把 embedding 维度越大视为质量必然越高。维度影响存储、传输、距离计算及索引成本,效果应看目标查询的 Recall@k、排序指标和最终答案质量。能否降维或截取前几维,必须依据模型训练约定及验证结果;任意截断可能破坏空间。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
查表嵌入与句向量:同一token查表向量固定,为什么两句话的表示不同?
初始向量来自同一嵌入行,经过注意力后依赖上下文;句向量还需要聚合策略。查表快但孤立,语义检索应遵循经训练的句表示协议。逐层比较同token位置,若初始不同先查ID/权重,若句向量异常再查mask与池化,不能混用三层表示。
维度:768维升级到1536维,召回反而下降,是否实现必错?
维度增加带来容量也增加存储和计算,但质量取决于训练目标/数据。浮点32存一百万向量仅原始分量从约3.072GB增到6.144GB,尚不含索引。先核模型模板、维度与全库重建,再用固定查询集看Recall,不能任意截半维来恢复旧索引兼容。
池化:两有效向量[1,0]、[0,1]加一个padding[100,100],均值为何失真?
有效均值应为[0.5,0.5],把padding算入得约[33.667,33.667]。mask必须同时约束分子和分母;简单均值便宜但可能稀释关键词,仍需遵循模型协议。先查有效token数,全零mask拒绝而非写NaN,再测不同补齐长度结果一致。
归一化:向量[10,10]比[1,0]更匹配查询[1,0]吗?
点积为10与1,余弦约0.707与1,结论相反。单位归一化去除模长影响,但某些目标利用模长,不能任意更换度量。先核索引与查询两端是否同样归一化、零向量如何处理,再用此反例定位分数公式。
训练目标:训练负例都来自无关领域,领域内相似条款仍分不清,怎么办?
对比损失只迫使正例胜过所给负例,容易负例不能提供细粒度区分信号。引入经过核验的困难负例可加强区分,但假负例会把真正相关文档推开。抽样检查正负标注及分数分布,分别报告跨领域和领域内检索,不只看训练损失下降。
语义局限:“可以退款”和“不可以退款”余弦很高能判同义吗?
共享主题会使相关性高,向量相似不是逻辑蕴含或授权证据。embedding适合召回,重排/原文验证负责细条件。先查看否定词是否截断、池化是否稀释,再用否定最小对照集测最终答案;不能单靠提高相似度阈值解决全部语义错误。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
输入 embedding、上下文隐藏状态和句向量有什么区别?
参考思路与常见误区
输入 embedding 是 ID 查表所得,固定权重下同 ID 初始向量相同;上下文隐藏状态经过网络交互,随句子变化;句向量按模型约定聚合变长序列,是否适合检索还取决于训练目标与度量。
常见误区:只因维度相同就混用三类表示。
查询[1,0],候选[10,10]与[1,0],点积和余弦排序一致吗?
参考思路与常见误区
不一致。点积为10与1,第一项领先;余弦约0.707与1,第二项领先。第一项的范数影响点积。只有满足相应归一化条件时,点积、余弦与单位向量欧氏距离排序才能互换。
常见误区:把向量相似度当成与归一化无关的统一分数。
均值池化为什么需要 attention mask?
参考思路与常见误区
补齐位置不属于有效文本,隐藏状态未必为零,加入会污染方向和尺度。应按模型约定选有效位置,分母也用有效数量;全无效输入必须拒绝或另行处理,不能写入NaN向量。
常见误区:只把 padding 向量置零却仍除以补齐后的总长度。
新 embedding 模型维度没变,是否可以保留旧文档向量?
参考思路与常见误区
不能默认可以。不同模型坐标系和输入约定可能不同,应重算文档向量、重建索引并比较同一查询集。索引版本需记录模型、模板、池化、截断、归一化与距离度量,保留回退方案。
常见误区:仅用维度一致作为兼容性证据。
否定句与肯定句余弦很高,是否说明 embedding 算错了?
参考思路与常见误区
未必。相似度可能反映主题相关性而非逻辑等价,短否定词容易被其他共同内容稀释。需用业务验证集判断模型适配,结合重排与证据校验;不能让向量相近替代事实或权限判断。
常见误区:把检索相似度解释成事实成立的概率。
表示学习与可复用句向量的动机可参考 Sentence-BERT。继续阅读 Transformer 块,看上下文表示在层内怎样更新。