Browser Agent:定位、可操作性与任务验证
区分 DOM、可访问树与截图观察,并把异步页面上的动作和业务完成分开。
按钮被点击,不代表订单已提交。浏览器可能还在发送请求,也可能验证失败、跳回登录页或显示重复订单提示。Browser Agent 的闭环应是观察页面、定位目标、检查动作条件、执行、重新观察,再按业务结果验证,而不是把鼠标事件当作完成证据。
三种观察互相补充
DOM 描述页面元素及属性,适合读取结构和稳定标识;可访问树表达角色、名称、状态等面向辅助技术的语义,适合找“名为提交的按钮”;截图提供实际可见布局,适合 canvas、图表、遮挡和视觉状态。DOM 中存在的元素可能不可见,可访问名称可能由多个节点组合,截图中的像素也不天然包含按钮身份。应优先使用环境允许且可靠的语义定位,再补充视觉确认。
定位器应尽量绑定用户可理解的角色、标签或稳定测试标识,避免依赖第7个 div 这种易漂移位置。Playwright 定位器文档解释了查询与重新定位的行为。多个同名按钮时,要限制到正确表单或区域;在 iframe、弹窗和多标签场景,先确认目标上下文。不要通过点击任意第一个匹配项掩盖歧义。
可操作性不等于业务正确性
典型点击检查包含可见、稳定、可接收事件和启用等条件,具体条件因动作及工具而异。Playwright 自动等待说明可核对这些边界。遮罩覆盖时强制点击会绕开部分检查,但不能解决业务尚未就绪的问题。动画结束、按钮启用和网络请求完成也不是同一时刻。
异步页面应等待明确状态,例如出现订单号、提交按钮进入已完成态或接口业务结果符合预期。固定等待两秒会在快环境浪费时间,在慢环境失败;“网络空闲”也可能被长连接破坏。等待条件要有截止时间,并在失败时收集当前页面及关键错误。若提交可能已成功,不能因为页面没变化就重复点,先核查订单状态。
把动作与验收写成两个契约
动作契约是“正确页面上唯一、可操作的提交按钮被激活”;验收契约是“当前用户的指定订单状态 confirmed,存在可追溯订单号”。只读任务也要检查输出范围,例如下载结果确实是所选日期的数据,而不是旧缓存文件。登录状态可能跨标签共享,自动化要隔离账户上下文,不能假设开新标签就是新会话。
运行:点击后仍未完成
保存为 browser_state.py,执行 python browser_state.py。这是状态字典模拟,没有启动浏览器或创建真实订单。
"""浏览器状态机教学模拟,不启动浏览器。"""
def click(state):
if not all(state[k] for k in ('visible', 'enabled', 'stable', 'uncovered')):
return 'wait_or_reobserve'
state['request'] = 'sent'
return 'clicked'
def completed(state):
return state.get('order_id') is not None and state.get('status') == 'confirmed'
if __name__ == '__main__':
state = dict(visible=True, enabled=True, stable=True, uncovered=False)
print(click(state))
state['uncovered'] = True
print(click(state), 'completed:', completed(state))
state.update(order_id='demo-1', status='confirmed')
print('after observation:', completed(state))实际运行输出:
wait_or_reobserve
clicked completed: False
after observation: True遮挡时先等待或重观察;解除遮挡后 clicked 但 completed 为 False;模拟收到订单号和确认状态后才为 True。示例验证的是状态分离,不是浏览器兼容性、定位准确率或真实网站可用性。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
DOM/可访问树:DOM找到提交元素但屏幕上没有,可访问树也无它,怎么选观察?
DOM存在不代表可见/可操作,可访问树提供角色名称状态,截图提供布局和遮挡。语义定位耐布局变化,canvas可能需视觉。核元素隐藏属性、区域与iframe,再查实际可见态,不用第一个同名节点强行点击。
视觉定位:截图按钮位置没变但点击错对象,如何诊断?
像素无稳定身份,截图可能过期、缩放或被遮挡;先核当前观察版本和窗口。视觉定位覆盖非语义控件但易受布局影响,能用角色/标签时结合确认。重截图比较目标与上下文,不能只重复同坐标直到偶然成功。
动作可操作性:遮罩未消失就force点击,为什么不能算修复?
可操作性检查包含可见、稳定、事件可接收、启用等,强制可能绕过部分门禁但不让业务就绪。等待明确状态增加延迟却降低误动作。检查遮罩、动画及按钮状态,确认正确目标后执行,失败时保留当前页面证据。
异步页面:固定sleep两秒在本地成功线上失败,应该等什么?
异步完成时间不固定,应等订单号、业务状态或相关响应,并设截止时间。网络空闲可能受长连接影响,不能通用替代业务条件。核动作后事件与状态变化,若请求可能已提交先对账,避免加长sleep后盲重试产生重复订单。
观察与验证:clicked=true但completed=false,测试应判哪种结果?
动作契约与验收契约独立;点击只证明激活,任务需当前用户正确订单的回执与状态。双层检查较复杂但能发现校验失败/错资源。查订单ID、日期和主体,不能只凭按钮变灰或页面跳转判完成。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
按钮点击成功为什么不能作为任务完成条件?
参考思路与常见误区
点击只说明动作发生,异步请求可能失败或尚未完成。应检查正确账户和对象的业务状态、订单号或回执,并在结果不确定时先查询,避免重复提交。
常见误区:鼠标事件返回成功就显示订单完成。
DOM、可访问树和截图分别提供什么?
参考思路与常见误区
DOM给结构属性,可访问树给角色名称状态,截图给实际布局和视觉细节。三者可能不一致,需要结合任务选择;DOM存在不等于可见,像素位置也不等于稳定身份。
常见误区:把三种观察视为完全相同的信息。
有两个提交按钮时应怎样定位?
参考思路与常见误区
限制到正确表单、区域、标签页或frame,使用角色名称及稳定标识并检查唯一性。不能随便选第一个来掩盖目标歧义。
常见误区:加nth(0)就认为问题解决。
为什么固定等待两秒不可靠?
参考思路与常见误区
页面响应受网络和异步业务影响,两秒可能过长或不足。等待具体可观察状态并设置截止时间,失败收集当前证据,长连接场景也不能只依赖网络空闲。
常见误区:不断增加sleep直到偶尔通过。
遮罩覆盖按钮时强制点击能解决什么?
参考思路与常见误区
可能绕过部分可操作性检查,但不能保证业务已就绪或目标正确。应识别遮罩来源、等待或处理合法前置条件,再验证点击后的结果。
常见误区:强制点击成功就证明操作可靠。