浏览器、代码与实时多模态 Agent

前面几层已经把 Agent 的基本过程连起来：接收任务、观察信息、选择动作、调用工具、检查结果。进入网页、代码与声音以后，这个过程依然成立，变化的是输入与操作方式。

网页会重新排版，代码修改会改变测试结果，语音输入会随着时间持续到达。高级 Agent 要把这些变化转成明确的状态，再决定下一步动作。先认清每种环境里的“观察、动作、反馈”，学习顺序就容易找到。

1. 同一个过程，三种工作环境

浏览器 Agent 操作网站；Computer Use（计算机使用）通过桌面截图与输入事件操作界面。Coding Agent 围绕代码工作区行动。实时语音 Agent 把接收、识别、生成和播放接成连续过程。

把它们想成不同的工作台：桌面上放的是页面、文件或声音。Agent 的基本方法保持一致，但每张工作台需要不同的工具和检查方式。

2. 网页与代码：先观察，再改变

网页的 DOM 是浏览器维护的页面结构树，记录按钮、输入框、文本等元素。语义定位用“按钮”“提交”等可理解的属性寻找元素；视觉定位则依据截图中的位置。页面更新后重新定位，才能跟上变化。Playwright 定位器文档解释了定位与自动等待机制。

读完浏览器与桌面两篇，再进入代码篇：给一个现成的小程序应用补丁，运行测试，比较修改前后的行为。补丁是对文件的明确改动；测试把“修好了”转成可以检查的条件。随后学习长任务：保存阶段进度，恢复时辨认已经完成的操作。

登录态是网站或应用保存的已登录身份信息。它关系到账号权限，操作测试使用自己的受控材料。代码示例把修改放到临时工作区，原始文件与修改结果可以对照查看。

3. 声音与图像：信息带着时间到达

多模态指不同信息形式一起参与任务，如文字、图像和音频。模态路由选择处理方式；时间对齐把同一时段的声音和图像联系起来；压缩减少传输或上下文占用，同时要保留任务需要的信息。

语音路线按以下过程阅读：

一句话中间的停顿可能只是喘口气。端点太快，话没说完就开始回答；太慢，用户又得等。实时会话篇把检测、生成和播放的耗时放到一起看；多模态评测篇再分别检查内容质量与体验。

WebRTC 是支持实时音视频通信的一组浏览器技术，负责媒体传输与连接协商。ASR/TTS 负责声音和文字之间的转换。组件职责分清楚，遇到“听不清”和“延迟大”时就能查不同位置。

4. 训练、研究、平台：把观察转成可复用能力

训练用反馈更新模型参数；研究用固定任务比较方法；平台把工具和运行过程统一起来。最后用架构评审解释选择，让团队能继续维护。

消融是暂时去掉某个组件，观察结果怎样改变。例如关闭检索后回答变差，可以继续检查哪些任务依赖资料。比较时固定其他条件，把任务逐项结果与汇总放在一起，原因更容易追踪。

BrowserGym可用来了解浏览器任务环境与评测接口；TRL 的 SFT 文档展示语言模型训练的数据和训练器。每篇先完成正文给出的本地例子，再回到资料查看更完整的实现。

5. 用一个完整任务串起本层

以“查询资料并整理报告”为例：网页读取资料，代码工具整理数据，长任务保存进度，语音界面播报摘要。资料来源、工具输入、报告结果分别保存，用户取消时停止后续执行。

这条任务线可以帮助你读图：

1. 当前观察是什么：网页内容、文件内容，还是最新音频片段？
2. 选择的动作改变什么：读取信息、修改文件，还是开始播放？
3. 下一次观察从哪里来：工具结果、测试输出，还是用户打断？
4. 完成条件是什么：报告已保存、结果与请求一致，还是对话轮次结束？

每篇的演示已经给定输入、操作与结果。先照步骤跑通，再按正文修改一个值，比较发生变化的部分。这样可以把抽象术语对应到实际状态，随后再扩展到自己的项目。