Computer Use
computer(action=...) 提供像素级的屏幕操控能力，适用于操作任何 GUI 应用程序。
概述
Computer Use 是最底层的交互工具——它通过截图观察屏幕、通过坐标点击和键盘输入来操作。适用于没有 DOM 结构的原生应用、游戏、和任何 GUI 界面。可用 Actions
使用示例
截图并分析
点击指定坐标
输入文本
键盘快捷键
拖拽操作
窗口管理
执行后端
最佳实践
- 先截图再操作：每次操作前先
screenshot确认界面状态 - 用 element_index 优于坐标：
get_window_state返回的无障碍元素索引比坐标更可靠 - 等待响应：复杂操作后等待 UI 更新再截图验证
- 窗口聚焦：操作前确认目标窗口在前台
与 browser 的区别
激活条件
computer 工具仅在 Desktop 模式下（desktop_connected=true）自动可用。Cloud Sandbox 中的像素级操控通过 Browser 面板（noVNC）实现。