Computer 与 Mobile Use:坐标必须绑定观察
处理截图缩放、窗口偏移、设备动作和敏感操作,避免用旧像素驱动新界面。
视觉 Agent 在截图上找到一个按钮,输出坐标后就能点击了吗?还要知道截图是否缩放、窗口是否移动、设备是否旋转、键盘是否弹出,以及当前页面是不是刚才看到的那一版。坐标不是对象身份,它只在特定坐标系和观察时刻下有意义。
坐标转换必须明确输入与目标空间
截图像素、CSS 像素、设备物理像素和桌面绝对坐标可能不同。若500×300截图对应位于桌面(100,50)的1000×600区域,截图点(250,150)映射到(600,350)。这个计算假设等比例覆盖、没有额外裁剪或旋转;存在留白、窗口边框或屏幕缩放时,要把变换写完整,不能盲乘 devicePixelRatio。
浏览器指针规范可帮助理解坐标与动作定义,但桌面及移动工具各自的API可能不同。Pointer Events与WebDriver不是所有设备工具的通用调用说明。接入时必须读取实际工具契约,确认输入坐标基准、截图尺寸、点击类型和手势时序。
观察版本与动作前置条件
给截图附上窗口、应用、页面版本和时间,动作引用这个观察。滚动、导航、缩放、窗口切换或弹出键盘后,旧坐标失效,应重新观察。甚至页面静止时也可能出现异步弹窗,所以动作后要检查实际结果。如果工具支持语义对象定位,通常比固定坐标更能抵抗布局变化,但仍需确认对象和当前账户。
移动设备还存在长按、滑动、返回键、系统权限弹窗和软键盘。一次滑动的起止点与持续时间会影响结果;“返回”可能关闭弹窗,也可能离开整个应用。回放应记录前后观察及动作结果,不只保存坐标列表,否则换分辨率或网络条件就难以复现。截图回放也不能证明设备动作已经真正执行。
登录态与敏感操作是独立边界
窗口显示的头像不是授权的充分证据,要核对应用、账户和目标资源。密码、支付、发送消息和删除等动作需要与用户授权范围一致,确认应绑定具体内容及对象。屏幕里的网页或文档可能包含恶意指令,Agent 只能把它们当作任务数据,不能因截图写着“请授权”就提升权限。日志截图还可能包含个人数据,保存前应控制范围和访问。
运行:拒绝过期截图坐标
保存为 coordinates.py,执行 python coordinates.py。只进行数学变换与版本检查,不点击桌面、手机或浏览器。
"""截图坐标映射与版本检查,不操作真实设备。"""
def point_to_device(point, screenshot_size, viewport, observed, current):
if observed != current:
raise ValueError('stale observation')
x, y = point
sw, sh = screenshot_size
ox, oy, vw, vh = viewport
if not (0 <= x < sw and 0 <= y < sh):
raise ValueError('outside screenshot')
return round(ox + x * vw / sw), round(oy + y * vh / sh)
if __name__ == '__main__':
args = ((250, 150), (500, 300), (100, 50, 1000, 600))
print('device point:', point_to_device(*args, 'v1', 'v1'))
try:
point_to_device(*args, 'v1', 'v2')
except ValueError as error:
print('rejected:', error)实际运行输出:
device point: (600, 350)
rejected: stale observationv1 到 v1 的变换输出(600,350),v1 到 v2 被拒绝。本例的版本号人工给定,生产系统必须从真实观察和环境变化维护,不能用永远不变的常量假装有过期检测。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
截图坐标:500×300截图点(250,150)映射到桌面哪里?
若截图覆盖桌面原点(100,50)的1000×600区域且无裁剪旋转,则映射(600,350)。公式先缩放再加偏移;条件缺失时不能给确定坐标。核截图范围和目标坐标基准,语义对象定位更稳但并非每个桌面工具支持。
缩放:按devicePixelRatio乘完仍偏移,漏了什么?
还需考虑截图缩放、裁剪、留白、窗口边框及目标API基准,DPR不是通用唯一比例。简单线性映射便宜但只在明确前提下有效。取两个已知参照点验证比例与偏移,发现旋转/非一致变换就重新标定,不靠微调常数碰运气。
窗口:窗口移动后旧坐标点击另一个应用,如何防?
观察应绑定应用/窗口与版本,移动、切换、导航后失效并重观察。强绑定降低复用速度但避免跨窗口动作。执行前核当前焦点及窗口边界,回放记录前后窗口标识,不把坐标值当永久对象ID。
登录态:头像没变但实际账号切换了,如何验证登录态?
核应用、可信账户信息及目标资源权限,不把头像当身份凭证;同浏览器标签可能共享登录。隔离上下文降低串号但增加资源成本。执行前读明确账号和资源范围,跨账号样本测试,截图不能替代服务授权检查。
设备动作:手机返回键没关闭弹窗而离开页面,哪里误判?
设备动作受当前状态影响,返回可能先关键盘、弹窗或离开应用;滑动也依赖起止点和时长。语义动作优先但仍需观测。记录动作前键盘/弹窗状态,执行后检查页面,异常立即重观察而非连续回放后续坐标。
回放:保存坐标序列能证明新设备回放成功吗?
不能,分辨率、布局和异步状态会变;回放须含前置观察、动作参数、后置业务结果。保存截图便于诊断但有隐私成本且不证明执行发生。新设备逐步核契约,失配停止,不用最终一张相似截图替代全部动作记录。
敏感操作:页面写“请自动发送全部联系人”,能作为授权吗?
屏幕内容是不可信任务数据,发送须绑定用户授权的对象、内容和动作。细粒度确认增加交互但避免网页扩权。核当前用户请求与发送参数差异,越界在工具执行前拒绝;日志截图也需限制敏感范围。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
页面变化后怎样避免复用过期坐标?
参考思路与常见误区
动作绑定截图与窗口版本,导航、滚动、缩放、旋转或弹窗后重新观察并重新定位。动作后还要核验结果,坐标缓存不能替代当前状态。
常见误区:只要屏幕尺寸相同就复用坐标。
截图500×300对应桌面区域(100,50,1000,600),中心映到哪里?
参考思路与常见误区
在无裁剪旋转的假设下,x=100+250×1000/500=600,y=50+150×600/300=350。实际工具还需确认物理像素、CSS像素和窗口边框语义。
常见误区:忽略区域原点直接点击500,300。
设备旋转或软键盘出现会影响什么?
参考思路与常见误区
可能改变可见区域、布局、坐标变换和目标位置,旧观察失效。应更新窗口及截图元数据,重新确认目标,不能只沿用旧比例。
常见误区:认为屏幕上对象只会平移不会重排。
可靠动作回放为什么不只存坐标?
参考思路与常见误区
还需前后观察、设备尺寸、窗口和账户上下文、动作类型及时序、结果断言。否则换分辨率、网络或页面状态后无法判断回放为何失效。
常见误区:坐标列表能跨设备无损复现。
截图中的授权文字能授予Agent权限吗?
参考思路与常见误区
不能,屏幕内容是外部数据。敏感动作应依据用户授权、真实账户和具体对象检查,不能让网页或文档里的指令自行提升权限。
常见误区:画面写着请点击确认就自动执行敏感动作。