Skip to main content
桌面自动化是袋袋 Desktop 的独有能力——专家可以像你一样操作桌面应用程序：移动鼠标、点击按钮、键入文字、读取屏幕内容，帮你自动完成桌面端的重复性工作。
桌面自动化仅在 袋袋 Desktop 客户端中可用，支持 macOS、Windows 和 Linux 系统。网页版不支持此能力。

​
平台支持

底层驱动由 trycua/cua-driver-rs 提供，三平台通过统一的 MCP 协议接口通信，工具行为一致。

​
核心能力

鼠标操控

移动光标、单击、双击、右键点击、拖拽——专家可以精确操作桌面上的任何可见元素。

键盘输入

在任意应用中输入文字、执行快捷键组合、切换输入法。

屏幕理解

专家能”看到”你的屏幕内容，理解界面布局和当前状态，做出相应的操作决策。

跨应用协调

在多个桌面应用之间切换操作——从 Finder 复制文件到邮件客户端，或从浏览器提取数据粘贴到表格软件。

​
幻影光标

袋袋 Desktop 的桌面自动化使用幻影光标模式——专家在后台操作时，你的真实鼠标不会被移动。
  • 光标位置保护：每次操作前保存光标位置，操作完成后自动恢复
  • 禁止移动指令：move 动作被硬阻断，专家只能通过 click 直达目标
  • 碰撞检测：如果你在专家操作期间移动了鼠标，系统会自动暂停专家的操作，避免冲突
  • 紧急停止：随时按 ESC 键立即中止所有桌面自动化操作
这与 Claude Desktop 的幻影光标行为一致——AI 操作与用户操作在同一台电脑上互不干扰。

​
如何使用

1

打开袋袋 Desktop

确保你使用的是袋袋 Desktop 客户端（而非网页版）。
2

描述任务

在对话中告诉专家你希望在桌面上完成什么任务。例如：“打开系统偏好设置，找到显示器选项，把分辨率改成默认”。
3

观察并确认

专家会开始操作你的桌面。你可以实时看到鼠标移动和操作过程。如果某一步需要你的确认，专家会暂停并询问。
4

获取结果

任务完成后，专家会在对话中告知操作结果。

​
典型使用场景

重命名一批文件、按规则整理文件夹、批量修改文件属性——告诉专家规则，它帮你逐一执行。
让专家在系统设置或应用偏好中帮你完成复杂的配置更改，省去自己找菜单的时间。
从一个应用中提取数据，转换格式后填入另一个应用——例如从 PDF 阅读器中复制表格数据到 Excel。
任何你需要重复执行多次的鼠标+键盘操作组合，都可以交给专家。
不熟悉某个桌面应用的操作？让专家演示给你看，同时在对话中解释每一步的作用。

​
安全机制

桌面自动化具有以下保护措施：
  • 沙盒隔离（macOS）：专家的操作受到系统级沙盒（Seatbelt）的限制，防止访问敏感系统区域
  • 操作可见：所有操作都在你的屏幕上实时可见，你可以随时中断
  • 权限受限：专家无法访问钥匙串、密码管理器等安全敏感区域
  • 碰撞检测：检测到用户鼠标移动时自动暂停专家操作，避免人机冲突
  • ESC 紧急停止：全局 ESC 热键立即中止所有桌面自动化操作
  • 应用审批：按应用分级管控权限——系统工具直接操作、安全敏感应用拒绝、未知应用首次操作时弹窗询问
Windows 和 Linux 上暂无系统级沙盒隔离（Seatbelt 为 macOS 专有），命令直接执行。Windows 使用 PowerShell，Linux 使用 bash。

​
图像管线

为减少模型 Token 消耗并加速理解，桌面自动化的截图经过优化管线：
  • JPEG 压缩：截图自动从 PNG 转为 JPEG（最大宽度 1280px，质量 80%），体积减少约 60-80%
  • Apple Vision OCR（macOS）：使用系统原生 Vision Framework 提取截图中的文字，无需调用云端 OCR
  • 操作间隔：每次操作后默认等待 100ms，让 UI 完成更新后再截取下一帧
这些优化对用户透明，自动生效。

​
应用审批

桌面自动化按应用分级管控权限： 你可以在设置中自定义各应用的权限级别。

​
使用建议

  • 保持屏幕整洁：专家通过”看”屏幕来理解操作目标，界面上元素过多会增加识别难度
  • 明确目标应用：告诉专家具体要操作哪个应用程序，而不是让它自己找
  • 关闭遮挡窗口：确保目标应用的窗口没有被其他窗口遮挡
  • 逐步指引：复杂的操作流程分步说明，每步确认后再继续

​
与浏览器自动化的区别

两种能力可以互补使用——网页相关任务用浏览器自动化，本地应用操作用桌面自动化。

​
设置

在袋袋 Desktop 的设置面板中，你可以调整桌面自动化的行为：
  • 任意应用：是否允许操作所有桌面应用
  • Chrome 控制：是否允许操作用户的真实 Chrome 浏览器
  • 操作间隔：截图前的等待时间（50-500ms 可调）
  • 文字识别 (OCR)：是否启用截图文字提取
  • 碰撞检测：是否在检测到用户鼠标移动时自动暂停

​
计费说明

桌面自动化的积分消耗主要来自对话中的模型调用和屏幕截图分析。操作本身不额外收费。