视觉 Grounding 与视频:区域、帧与时间证据
把视觉描述对应到具体区域和时间,理解切块、抽帧与视觉幻觉的评估边界。
“画面里有红色按钮”只是描述,“左上角这个矩形就是要点击的按钮”才涉及 grounding,即把语言指称与可观察区域对应。视频还多一维:哪个时刻出现了什么、动作何时开始和结束。没有区域与时间证据,视觉回答即使自然也难以验证。
区域坐标必须能回到原图
检测框通常用左上与右下坐标或中心加宽高表示,可能是像素也可能归一化到0至1。接入前明确格式、坐标轴、原图尺寸和预处理。高分辨率切块可保留小字和局部细节,但需要保存 tile 原点、缩放和裁剪参数,将局部框逆变换回原图。相邻块重叠可能重复检测,同一对象跨块也可能被截断。
例如原图中从(100,200)裁一块,再放大2倍,局部框(20,40,60,80)映回原图是(110,220,130,240)。只加原点而不除缩放会整体错位。Grounding DINO是文本引导目标定位的研究实例,但检测框高分不等于可以安全点击,仍要检查当前界面、遮挡和目标身份。
视频抽帧是采样,不能创造未观察内容
固定fps抽帧容易漏掉短事件。事件发生在1.21至1.29秒,1fps只看1秒和2秒会漏掉,4fps恰好看1.25秒可命中;10fps若看1.2和1.3秒又可能漏掉。更密但相位不同的采样并不保证包含较稀采样的所有点。即使抽到了,运动模糊、遮挡或分辨率仍可能导致识别失败。
可结合均匀抽帧、场景变化、运动或音频事件触发,先粗定位再局部加密。每帧保存实际时间戳,不要只用帧序号除以假定fps,特别是可变帧率视频。字幕、音频、视觉帧对齐到同一时间基准,网络到达时间不能代替媒体时间。跨帧推理还要处理同一对象跟踪及遮挡,不能把每帧独立分类简单拼成连续动作。
幻觉和漏检要分别度量
模型可能依据语言先验声称有常见对象,尽管图中没有;也可能因为画面不清而漏检。评估包含对象存在判断、区域重叠、文字准确率、时间区间与顺序等,不应只用整体回答相似度。POPE 相关研究讨论对象幻觉评估,可作为一个角度,但不覆盖所有视觉推理错误。
任务评估还应保留原图、采样规则、输入尺寸和模型版本。对“没有发生”这种否定结论尤其谨慎:稀疏采样只说明所见帧中没有证据,不一定说明整个视频都没有。报告可以给出已观察区间与不确定间隙,避免把未覆盖时间写成确定事实。
运行:更密抽帧仍可能漏掉事件
保存为 video_sampling.py,执行 python video_sampling.py。输入只有时间点和坐标,不读取真实图片或视频。
"""时间点与区域坐标的确定性算例,不读取视频、不调用视觉模型。"""
def hits(samples, event):
start, end = event
return [t for t in samples if start <= t < end]
def global_box(local, tile_origin, scale):
x1, y1, x2, y2 = local
ox, oy = tile_origin
return tuple(round(v/scale + offset) for v, offset in zip((x1,y1,x2,y2), (ox,oy,ox,oy)))
if __name__ == '__main__':
event = (1.21, 1.29)
for name, frames in [('1fps', [0,1,2,3]), ('4fps', [i/4 for i in range(13)])]:
print(name, 'event frames:', hits(frames, event))
print('global box:', global_box((20,40,60,80), (100,200), 2))
print('denser but still missing:', hits([i/10 for i in range(31)], event))实际运行输出:
1fps event frames: []
4fps event frames: [1.25]
global box: (110, 220, 130, 240)
denser but still missing: []4fps命中1.25秒,而10fps没有点落在短区间内。程序展示确定采样相位的反例,不表示提高fps通常无益;若新采样集合包含旧集合,覆盖不应倒退,但识别仍受其他环节影响。
Grounding 评估如何落到数值
先固定标注形式:指代表达定位常给一段文本和对应框,分割任务给像素mask,视频定位给时间区间。框的IoU是交集面积除以并集面积,例如两个10×10框水平错开5像素,交集50、并集150,IoU为1/3。可报告IoU达到0.5等约定阈值的样本比例,并给阈值、样本数和小物体切片;目标检测的AP还需要置信度排序和一对一匹配,不能与单框命中率混用。mask用像素交并比,时间定位可用区间交并比,跨帧还需检查对象身份一致性。
高分辨率切块应同时保留全局缩略图或位置关系,否则两个局部块都识别正确也可能把对象关系拼错。若切成k块、每块n个视觉token,送入统一自注意力的总长度约为kn加文本长度,朴素分数矩阵随总长度平方增长;重采样或分块注意力可以控制成本,但可能牺牲细节或跨块交互。还需防止重叠区域重复计数,记录实际预处理和图像token预算,不能只用原始图片尺寸比较模型。
视频的时序表达可显式加入帧序号/时间位置,或使用时空编码器、跨帧聚合与时间注意力。只把若干静态图独立描述再拼接,可能无法区分“拿起后放下”与“放下后拿起”。评估应构造相同帧内容但顺序相反的对照,并核对事件起止、对象轨迹和音画对齐;本页的采样程序没有验证这些模型能力。
视觉幻觉与应用任务的边界
纯文本幻觉可能编造法规或引用;视觉幻觉还包括画面不存在的对象、错误数量、误读文字、错配左右关系或编造视频中未观察的动作。例如图片只有一个杯子却回答“两个人各拿一个杯子”,既有对象与数量错误,也可能有关系错误。应回到具体区域/帧判断,不以语言通顺给高分。
VLM还可用于文档与图表理解(验证单元格和数值关系)、界面操作(验证目标区域及动作后状态)、工业质检(验证缺陷位置和漏检率)、视频事件检索(验证时间区间)、具身高层指令(交给受约束控制器并观察环境反馈)。这些都是潜在任务类别,不代表某个模型已经达标;医疗等高风险领域还需独立专业验证,不能用通用VQA成绩推断可部署。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
区域对应:裁块原点(100,200)、放大2倍,局部框(20,40,60,80)怎样还原?
先除缩放再加原点得(110,220,130,240),并核坐标是xyxy还是中心宽高。局部高分可帮助定位但不能代替目标身份与当前界面验证。错位时逐级核裁剪、缩放和归一化,不能只凭检测置信度直接点击。
高分辨率切块:切块后小字清晰却重复数杯子,问题在哪?
重叠块可重复检测,同一物体也可能跨块截断;需保留块位置、去重和全局关系。切块提升细节但增加视觉token,统一稠密注意力成本随总长度平方增长。映回原图比较重叠对象,核全局缩略图,不能把各块计数直接相加。
视频抽帧:1.21–1.29秒事件4fps看见、10fps反而没看见,可能吗?
固定相位下4fps含1.25,10fps为1.2/1.3可漏掉;新集合不包含旧点时更密不保证该例命中。加密通常提高机会但有计算成本。列实际采样时间点核覆盖,必要先粗后细,不能把未采到说成视频没有事件。
时间对齐:字幕时间和画面持续偏移,能按到达时间排序修复吗?
应使用媒体时间戳及共同时间基准,可变帧率不能只用帧号/固定fps。到达时间受网络抖动影响,缓冲有助同步但增加延迟。检查起点偏移、时钟漂移和设备切换,核同一已知事件在音画字幕的时间位置。
视觉幻觉:图中一个杯子,回答“两个人各拿一个”,怎样分类?
分别检查对象存在、数量和关系,视觉先验可能编造未见内容。流畅表达不证明感知正确,保守不确定可减少误导但影响回答覆盖。回到区域与原尺寸验证,再区分缩放漏信息还是模型幻觉,不能只用文本相似度评分。
评测:两个10×10框水平错5像素,IoU是多少,等于AP吗?
交集50、并集150,IoU=1/3;AP还需预测排序和一对一匹配,不等于一个框的阈值命中。单框指标清晰但不覆盖漏检/重复。核任务、阈值、样本数和小物体分层,避免用不同指标名比较结果。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
抽帧更密为何不一定识别出关键事件?
参考思路与常见误区
采样相位可能仍漏掉短事件,抽到也可能模糊或遮挡。若新采样不包含旧点,甚至可漏掉旧点命中的事件;还需模型识别与时间对齐。
常见误区:fps增加就必然覆盖并识别所有事件。
切块放大后的检测框怎样回到原图?
参考思路与常见误区
先逆缩放,再加裁剪原点,并处理可能的填充或旋转。必须保存坐标格式和变换参数,不能只把局部像素当作全图位置。
常见误区:只加tile偏移忽略缩放。
视频帧时间为什么不总能用序号除fps?
参考思路与常见误区
可变帧率、抽帧和转码会破坏固定间隔假设。应保留实际媒体时间戳,并把音频、字幕和帧映射到同一时间基准。
常见误区:用网络收到帧的时间当拍摄时间。
图像回答流畅但对象不存在属于什么问题?
参考思路与常见误区
可能是视觉幻觉,模型用语言先验补出未出现对象。应评估对象存在、区域与支持关系,而不是只看回答自然或语义相似。
常见误区:语言质量高就代表感知正确。
稀疏帧中没见事件能说整个视频没发生吗?
参考思路与常见误区
不能,未采样区间仍未知。应报告观察覆盖和不确定间隙,必要时针对候选时间加密,并核对音频等辅助证据。
常见误区:无观察证据等同证明不存在。