视觉语言模型:图像特征怎样进入语言上下文
区分 CLIP 对比学习、视觉编码器、投影连接器与跨模态注意力,理解视觉指令微调的作用。
语言模型接收的是向量序列,而不是直接理解图片文件字节。视觉语言系统先把图像变为特征,再通过连接器或交互层让语言部分使用这些信息。知道各层职责,才能区分看不清、特征丢失、对齐错误和语言回答错误。
CLIP 学习跨模态匹配
CLIP 原论文使用图文配对监督学习表示。图像编码器和文本编码器将输入映射到可比较的特征空间,归一化后用相似度及温度缩放构成匹配分数。批次中的正确配对是正例,其他配对提供对比信号,常从图到文和文到图两个方向训练。
这使图像可以与类别文本描述比较,但相似度不是校准后的现实正确概率。一个批次或候选集合里的相对排名也不等于开放世界识别可信度。CLIP 本身不是完整聊天生成器;把图像与文本嵌入拉近,与逐 token 生成解释是不同目标。数据中的错误配对、细粒度文字和空间关系也会影响泛化。
把批次中的图像向量记为 u_i、文本向量记为 v_j,归一化后分数为 s_ij = dot(u_i, v_j) / τ。图到文损失是对各行计算 -log(exp(s_ii) / sum_j exp(s_ij)) 再取平均,文到图则对各列做同样计算,最终取两方向平均。对角线是已知配对,非对角线在这个训练目标中充当批内负例;语义相近但未配对的样本可能造成假负例。若两对样本的分数矩阵是 [[1,0],[0,1]],每个正确配对概率为 e/(e+1),对称损失约0.313262。实际训练会对编码器及相关可训练参数反向传播;下面程序只计算固定分数损失,不训练CLIP。
视觉编码器与连接器的形状
视觉编码器可把图片切为 patch,输出 N×d_v 的特征序列。连接器把它转换到语言模型能接收的维度 d_l,例如线性投影或多层感知机,得到 N×d_l。维度匹配只是接口条件,语义对齐来自训练;随机矩阵也能改变形状,却不会自动理解图像。
一类架构将投影后的视觉 token 与文本 token 一起送进语言模型,注意力在允许的掩码下融合信息;另一类架构通过跨模态注意力让文本查询视觉特征,并可使用重采样器压缩视觉序列。并非所有 VLM 都有独立跨注意力层,也并非都把完整图片变成固定一个 token。高分辨率、多图和视频会改变特征数量、上下文成本及位置编码需求。
LLaVA 与视觉指令微调
LLaVA 的视觉指令微调研究连接视觉编码器与语言模型,并用图像相关指令数据训练交互能力。特征对齐阶段与指令学习阶段的目标不同:前者使视觉表示可被语言侧利用,后者教系统按问答或指令形式响应。具体冻结哪些参数、连接器结构和数据配方随版本变化,不能把某个早期配置当作所有 VLM 标准。
回答流畅不保证看见细节。模型可能依据常见搭配猜出图中不存在的对象,或在模糊文字上编造内容。评估应分解视觉感知、区域对应、文字识别、推理和表达,并记录输入分辨率及预处理。更长提示不能恢复已经被缩放丢掉的小字像素。
运行:相似度与二维到三维投影
保存为 visual_connector.py,执行 python visual_connector.py。矩阵全部手工指定,没有图片、模型权重或训练过程。
"""人工小矩阵演示归一化相似度与投影形状,没有模型权重。"""
from math import sqrt, exp, log
def normalize(vector):
norm = sqrt(sum(x*x for x in vector))
if norm == 0:
raise ValueError('zero vector')
return [x/norm for x in vector]
def project(rows, weights):
return [[sum(row[k]*weights[k][j] for k in range(len(row)))
for j in range(len(weights[0]))] for row in rows]
def contrastive_loss(scores):
def cross_entropy(rows):
total = 0
for i, row in enumerate(rows):
maximum = max(row)
total += log(sum(exp(v-maximum) for v in row)) + maximum - row[i]
return total / len(rows)
return (cross_entropy(scores) + cross_entropy(list(zip(*scores)))) / 2
if __name__ == '__main__':
image = normalize([3, 4])
texts = [normalize([3, 4]), normalize([4, -3])]
print('cosines:', [round(sum(a*b for a,b in zip(image,t)), 3) for t in texts])
print('symmetric contrastive loss:', round(contrastive_loss([[1,0],[0,1]]), 6))
patches = [[1, 0], [0, 1]]
weights = [[1, 2, 0], [0, 1, 3]]
result = project(patches, weights)
print('projected:', result)
print('shape:', len(result), 'x', len(result[0]))实际运行输出:
cosines: [1.0, 0.0]
symmetric contrastive loss: 0.313262
projected: [[1, 2, 0], [0, 1, 3]]
shape: 2 x 3归一化向量得到相似度1和0;两个2维 patch 经2×3矩阵得到2×3输出。它只证明数值与形状计算,不能证明学会跨模态语义,也不能把这两个分数解释成识别准确率。
视觉指令训练通常把图像条件、用户指令和目标回答组织成样本,计算回答 token 的自回归交叉熵,并按具体配方遮蔽不参与监督的位置。连接器或语言模型参数是否更新由训练阶段决定。只训练连接器时,它必须在固定表示之间学习适配;进一步更新语言模型可改变响应行为,但也带来原有能力回归风险。评价应使用未用于合成指令的图像及问题,避免只测模型熟悉的模板。
架构范式比较与 MiniGPT-4
“共享编码器”需先说清共享什么。CLIP 是两个模态各自编码后在共享表示空间比较,不是图像与文字共用全部编码器权重。另一类统一序列/早期融合设计,在模态专属输入适配后让图像与文本 token 进入共同 Transformer,信息可在多层直接交互,适合细粒度联合推理;代价是视觉 token 占据序列预算,稠密注意力成本随合并序列增长,也更难完全复用离线文档向量。
双编码器便于图像、文本分别离线索引,检索时做向量比较,吞吐和复用性较好;交互较晚可能损失细粒度区域—词语关系。跨模态注意力用文本查询视觉K/V,可保留模态骨干并控制交互层数,但引入新层与对齐训练,压缩视觉特征还可能丢失小物体信息。Flamingo是通过视觉重采样与门控跨注意力连接预训练视觉和语言组件的具体例子。比较时应固定图像尺寸、视觉token数、训练数据和推理预算,不能按“融合更深”直接判断更强。
MiniGPT-4 原研究将冻结的视觉侧与冻结的 Vicuna 通过可训练投影连接;视觉侧包含视觉编码器和已有查询模块形成的表示。主要训练连接层,先做大规模图文对齐,再用小规模高质量描述改善对话输出。它和原始LLaVA都在复用已有视觉/语言能力,但训练哪些参数、视觉压缩方式及指令数据不同,不能用同一个线性层示意图声称两者完全一样。本节只核对原论文机制,没有运行两个模型的微调对比。
面试中的微调经历怎样回答
“有没有做过VLM微调、用了哪个模型”是个人经验题,阅读和手算不能代替实践。如果尚未做过,应明确“我理解这些机制,但未完成真实VLM微调”,再说明可验证方案:固定具体模型revision、图像预处理和对话模板,按图像/来源分组划分数据,记录训练连接器或LoRA覆盖层、有效batch、损失mask、显存和学习率;在独立图像上比较VQA、OCR、区域定位与幻觉反例,并保留权重、配置及失败样本。只有实际运行后的记录才支持“做过”这一回答,本页不提供虚构项目经历。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
CLIP 对比学习:CLIP两对分数[[1,0],[0,1]],为什么损失不是0?
正确概率是e/(e+1)约0.731,双向交叉熵约0.313262,尚非概率1。温度改变相对分数尺度,批内假负例可能推开相近语义。先核归一化、行列方向和标签对角线,不能把相似度1当100%识别准确率;此处为手算非训练实测。
视觉编码器:小字OCR失败时只增加prompt为何无效?
预处理缩小后小字像素可能丢失,视觉编码器patch特征无法恢复未输入信息。高分辨率/切块保细节但增加视觉token与成本。检查原图、缩放和patch序列数量,再分感知/语言两阶段定位,不能只归因语言模型不听指令。
投影连接器:N×dv投影成N×dl形状正确,为何仍答非所问?
随机矩阵也可匹配维度,语义对齐需训练;例如2×2乘2×3得到2×3只验证接口。线性连接轻量,复杂连接更强但增加训练成本。核权重加载、预处理与冻结配置,再用配对验证集看对齐,不能把维度测试宣称多模态能力通过。
跨模态注意力:文本Q、视觉K/V的跨注意力和拼视觉token有什么区别?
跨注意力显式从文本位置读取视觉特征,拼接则在共同序列的允许注意力中融合。前者可保留骨干并压缩,后者直接交互但占上下文预算。核架构是否真有独立cross-attention及mask,不能给所有VLM套相同结构图。
LLaVA:早期LLaVA配方能代表所有LLaVA版本吗?
不能,视觉编码器、连接器、冻结范围和数据会演进;研究核心是连接视觉与语言并以视觉指令训练。复用骨干降训练成本,但版本差异影响接口和能力。锁论文/代码revision核训练阶段和参数,再比较同图同问,不从系列名推断配置。
视觉指令微调:训练损失下降却只会复述用户问题,怎么查mask?
视觉指令样本包括图像条件、用户指令和目标回答,按配方对回答token计算自回归损失并遮蔽不监督位置。监督范围更广未必更好,冻结连接器/语言参数影响适配与回归。检查label移位、mask和可训练参数列表,在独立图像问答评估,不能用训练损失替代能力。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
视觉特征怎样进入语言模型上下文?
参考思路与常见误区
视觉编码器输出patch或其他特征,连接器映射到语言维度,再作为视觉token参与模型计算,或通过跨模态注意力被语言侧读取。具体架构不同,不能假定都只有一个图像token。
常见误区:语言模型直接把JPEG字节当普通文本理解。
CLIP相似度高能直接解释为90%识别概率吗?
参考思路与常见误区
不能,它是特征空间中的相对匹配分数,受候选文本、归一化和温度等影响。需要另行校准和任务评估,CLIP本身也不是完整聊天生成器。
常见误区:余弦0.9就说正确率90%。
N×d_v特征经投影后形状正确是否表示对齐成功?
参考思路与常见误区
只说明接口维度满足。随机矩阵也能产生N×d_l,语义对齐需训练数据、目标和优化,并用独立视觉任务验证。
常见误区:矩阵能相乘就获得跨模态理解。
所有VLM都有独立跨模态注意力层吗?
参考思路与常见误区
不是。有的将投影视觉token与文本序列共同送入语言模型,有的使用专门跨注意力或重采样器。应按具体模型结构分析信息路径和成本。
常见误区:把一种连接器设计当作统一标准。
特征对齐与视觉指令微调分别解决什么?
参考思路与常见误区
前者帮助语言侧利用视觉表示,后者学习按图像相关指令与对话要求响应。冻结参数、数据和结构随版本变化,两阶段都不能保证消除视觉幻觉。
常见误区:会按格式回答就证明所有像素细节都被理解。