​

三层交互工具体系

​

架构总览

​

三层对比

​

使用场景选择

​

使用 computer 的场景

• 操作原生桌面应用（Finder、Terminal、IDE）
• 游戏自动化
• 任何非浏览器的 GUI 应用
• 需要屏幕级截图验证

​

使用 browser 的场景

• 浏览公开网页
• 测试开发中的网站（localhost）
• 网页数据抓取
• 表单自动填写（无需登录态）
• 3D/WebGL 场景的视觉验证

​

使用 chrome 的场景

• 需要用户已登录态的操作
• 访问需要认证的内部系统
• 代替用户完成已登录网站上的操作
• 安全的凭证管理

​

统一调用范式

# 截图
computer(action="screenshot")
browser(action="screenshot", url="http://localhost:5173")
chrome(action="screenshot")

# 点击
computer(action="click", x=100, y=200)
browser(action="click", ref="button[0]")
chrome(action="click", ref="button[0]")

# 输入
computer(action="type", text="Hello")
browser(action="type", ref="input[0]", text="Hello")
chrome(action="type", ref="input[0]", text="Hello")

​

后端多态性

• Cloud Sandbox：computer → noVNC 像素流，browser → CDP 协议
• Desktop：computer → macOS CUA 守护进程，browser → Electron webview
• Chrome Extension：chrome → Native Messaging → Extension CDP

​

确认策略

​

相关文档