RoPE:从二维旋转推导相对位置
手算旋转点积,解释位置偏移、频率、缓存位置和长上下文外推的限制。
注意力需要区分“谁关注谁”,还需要知道位置关系。没有位置机制的自注意力,对输入顺序做相应置换时输出也相应置换,不能仅靠内容点积表达完整的顺序信息。因果掩码提供可访问范围,却不等于为任意两个可见 token 编码了明确距离。
RoPE 把 Q、K 的成对维度旋转一个与位置有关的角度。它通常不旋转 V,也不把一个位置向量直接加到输入上。关键结果是:旋转后的 Q/K 点积包含两者的位置差。
绝对位置与相对位置各放在哪里
绝对位置方案可以把位置向量加到 token embedding 上。位置向量可以由正弦/余弦公式生成,也可以是可训练的表;使用训练位置表时,超出表长首先是参数定义问题。相对位置方案则显式让两位置的距离进入注意力计算,例如按相对距离加入分数偏置。RoPE 用绝对位置决定旋转角度,却让点积自然包含相对距离,不能仅按“用了位置编号”就把它归为普通位置向量相加。
滑动窗口规定能访问哪些位置,是连接范围约束;位置编码规定允许连接的两个位置怎样表达距离,两者可以组合。窗口之外的信息被排除后,单靠 RoPE 不会把它重新带回注意力。
先只看两个维度
与可训练绝对位置表相比,RoPE不必为每个新位置增加一行位置参数,而且点积显式包含相对位移;与输入相加的正弦编码相比,位置信号直接作用于Q/K匹配,不是仅在输入层混入内容。代价是配对布局、旋转维度和缓存位置必须一致,频率周期和未见位置仍会造成外推问题。绝对位置表表达灵活且实现简单,固定正弦也能计算任意位置,因此“能代入任意编号”不是RoPE独有,更不等于长文质量保证。
二维向量 [x,y] 旋转角度 a 后为:
R(a)[x,y] = [x cos(a) - y sin(a), x sin(a) + y cos(a)]
位置 m 的 Q:R(mθ)q
位置 n 的 K:R(nθ)k
点积 = qᵀ R(mθ)ᵀ R(nθ) k = qᵀ R((n-m)θ) k这里 θ 是这一对维度的频率。旋转矩阵的转置等于反向旋转,因此两个绝对角度化成相对角度。这个等式不是说输出只取决于距离:原始 q、k 也参与运算,不同内容仍然有不同分数。
取 q=[1,0],k=[1,1],θ=0.5 弧度。位置 2 和 5 相差 3,点积是 cos(1.5)-sin(1.5),约为 -0.926758。把位置一起移到 12 和 15,差仍为 3,结果不变。把第二个位置改成 6,差变成 4,结果为 cos(2)-sin(2),约为 -1.325444。
用程序验证平移和范数
保存为 rope.py,运行 python -X utf8 rope.py。
"""二维旋转验证相对位置关系;一对维度使用一个示例频率。"""
from math import cos, sin
def rotate(vector, position, frequency=0.5):
a, b = vector
angle = position * frequency
return (a * cos(angle) - b * sin(angle),
a * sin(angle) + b * cos(angle))
def dot(a, b):
return sum(x * y for x, y in zip(a, b))
if __name__ == '__main__':
q, k = (1.0, 0.0), (1.0, 1.0)
for m, n in [(2, 5), (12, 15), (2, 6)]:
print(f'位置 {m},{n};距离 {n-m};点积 '
f'{dot(rotate(q, m), rotate(k, n)):.6f}')
print('范数平方', round(dot(rotate(k, 5), rotate(k, 5)), 6))位置 2,5;距离 3;点积 -0.926758
位置 12,15;距离 3;点积 -0.926758
位置 2,6;距离 4;点积 -1.325444
范数平方 2.0最后一行是旋转后 k 的范数平方,与旋转前 1²+1²=2 一致。旋转改变方向,不改变长度。把频率改为 1.0,位置差相同的两组仍应相等,但点积具体值会变化。改变 q 或 k,点积也会变化。
真实注意力头有很多维度,把它们配成多组二维平面,各自使用不同频率。常见形式为 θ_i = base^(-2i/d),其中 d 是参与旋转的维度数;具体模型可能只旋转部分维度,也可能采用不同布局和缩放策略。频率较高的分量对短距离更敏感,低频分量变化更慢。实现中的相邻配对与前后半区配对可以采用不同布局,转换权重与算子时必须一致。
KV Cache 中位置为什么不能重新从零开始
缓存里通常保存已经按其原始位置旋转的 K。生成第 100 个位置时,新 Q 要用位置 100 的角度,与历史位置各不相同的 K 做点积。若把单步查询误当成“长度为 1 的新序列”,位置又从零开始,相对角度就错了。结果不一定报形状错误,但生成行为已经改变。
缓存追加、左侧 padding、截断滑窗和前缀复用都要核对逻辑位置与张量下标。张量里是第 0 个槽,不保证它就是原序列的位置 0。前缀缓存还要求相同模型、token 序列、位置规则以及影响表示的配置,不能只按文字前缀匹配。
能计算更远的位置,不等于能可靠使用更长上下文
旋转公式可以代入很大的位置,但模型训练时只见过有限的位置分布。未见过的角度组合、频率周期、注意力模式和数值精度都可能影响外推。把最大长度配置改大,只解决了部分运行约束,不能保证远距离检索和推理质量。
位置插值或频率缩放改变位置到角度的映射,可能配合继续训练来适应更长窗口。验证时要同时检查短文本能力、不同位置的检索、真实任务质量,以及延迟和显存。仅展示“服务接受了 128K 输入”不能证明 128K 内的关键信息被可靠利用。
从一对维度扩展到多频率旋转
旋转维度为d时,常见频率写为θ_i = base^(-2i/d),第i对维度使用位置m对应的角度mθ_i。不同频率让距离在不同尺度上产生变化,不能把所有维度旋转相同角度当作完整实现。这里采用相邻维度配对,某些实现使用半区配对;两种布局需要与模型权重和投影约定对应,不能只看输出形状相同就互换。
线性位置插值把位置m映射为m/s,相当于压缩距离范围;若s=2,原本相差3的位置在旋转角度中相差1.5。这能让较长输入的位置落回较短范围,却也改变局部距离分辨率。更复杂的扩窗方法可能按频率调整、配合继续训练与注意力缩放,不能用一个scale参数代表全部方法。
保存为rope_multi.py,运行python -X utf8 rope_multi.py:
"""相邻维度配对的四维RoPE;配对约定必须与目标权重一致。"""
from math import cos,sin
def rotate(vector,position,base=10000,scale=1):
if len(vector)%2 or scale<=0:raise ValueError('invalid_shape_or_scale')
result=[]
for index in range(0,len(vector),2):
frequency=base**(-index/len(vector))
angle=position/scale*frequency
a,b=vector[index:index+2]
result.extend([a*cos(angle)-b*sin(angle),a*sin(angle)+b*cos(angle)])
return result
def dot(a,b):return sum(x*y for x,y in zip(a,b))
if __name__=='__main__':
q=[1,0,0,1];k=[1,1,1,0]
for m,n,scale in [(2,5,1),(12,15,1),(2,5,2)]:
print('位置',m,n,'缩放',scale,'点积',round(dot(rotate(q,m,scale=scale),rotate(k,n,scale=scale)),6))
print('原范数平方',dot(q,q),'旋转后',round(dot(rotate(q,200),rotate(q,200)),6))实际运行输出:
位置 2 5 缩放 1 点积 -1.101117
位置 12 15 缩放 1 点积 -1.101117
位置 2 5 缩放 2 点积 -0.911758
原范数平方 2 旋转后 2.0前两行同时平移位置而相对差不变,因此点积一致;缩放后点积改变,说明扩窗会改变原有注意力几何。旋转仍保持范数。将scale改为0会拒绝,避免把无效配置悄悄传入模型。
真实扩窗验收应同时检查短文本回归、长文不同位置证据利用、多段关联、引用正确率和资源成本。只做needle检索可能无法覆盖推理与冲突处理;能接收长请求也可能只是服务端放宽参数。这里验证的是旋转恒等式和插值影响,没有加载长上下文模型或声称质量提升。
综合追问:扩窗以后短问题变差、缓存输出不一致,怎样区分两类问题?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
绝对位置表给位置独立向量,超出表长需处理;正弦相加可计算更远位置,但训练分布仍限制可靠性。RoPE对每对Q/K维度旋转,固定内容下共同平移位置只保留n−m的角差;它保持理想范数而不保证任意长文任务。四维例子使用两种频率,若误配维度或只旋转Q,平移不变性检查会失败。
将位置按比例插值可把更长输入压进已见尺度,却改变相对角度,可能需要继续训练并产生短文本回归。先在短序列对照有无KV缓存:每步position归零属于实现错误;两者一致后再做不同长度/证据位置的质量测试,判断外推策略。窗口上限还受显存、服务计数和任务可靠性制约。面试须同时说出数学恒等式成立条件、插值代价和缓存逻辑位置,不能用请求成功证明扩窗成功。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
RoPE 为什么让点积包含相对位置?
参考思路与常见误区
位置 m、n 分别旋转 Q、K,点积可写为 q 转置乘 R(mθ) 转置乘 R(nθ) 乘 k。旋转矩阵组合化为 R((n−m)θ),保留位置差。内容向量 q、k 仍参与,因此不是只靠距离计算分数。
常见误区:说所有相同距离的 token 对必然得到相同分数。
把位置 2、5 改为 12、15,什么时候点积不变?
参考思路与常见误区
在 q、k 不变且使用同一固定频率旋转的算例中,相对位置仍为 3,点积不变。完整模型移动输入还可能改变其他上下文、掩码或位置缩放条件,不能把这个局部恒等式无限推广。
常见误区:忽略内容向量可能随上下文改变。
缓存 Decode 每次只有一个输入,为什么不能把 position 设为零?
参考思路与常见误区
新 Q 必须按逻辑序列位置旋转,与缓存中按历史位置旋转的 K 匹配。每步归零会把相对角度改错,即使形状正确也会影响输出。槽号、padding 下标和逻辑位置需要分别核对。
常见误区:把本次输入张量的第零行等同于整段序列的位置零。
RoPE 能代入任意大位置,是否代表上下文可以无限外推?
参考思路与常见误区
不能。公式可计算不等于模型在未见位置分布上可靠。频率缩放或插值可能需要继续训练;评测要覆盖不同信息位置、短文本回归、真实任务质量以及显存延迟。
常见误区:只用服务接受长输入证明模型掌握长上下文。
旋转改变范数吗?为什么需要不同频率?
参考思路与常见误区
理想旋转保持每对维度的范数,浮点实现可能有小误差。不同频率提供不同距离尺度的变化特征;具体频率、旋转维数和维度配对方式必须与模型权重及实现一致。
常见误区:把 RoPE 理解成缩放向量长度,或认为任意配对都能直接复用原权重。
接着看 MHA、MQA 与 GQA,理解位置机制之外,头数如何影响缓存容量。原理推导参考 RoFormer。