跳转到主要内容
桌面自动化是袋袋 Desktop 的独有能力——专家可以像你一样操作桌面应用程序:移动鼠标、点击按钮、键入文字、读取屏幕内容,帮你自动完成桌面端的重复性工作。
桌面自动化仅在 袋袋 Desktop 客户端中可用,目前支持 macOS 系统。网页版不支持此能力。

核心能力

鼠标操控

移动光标、单击、双击、右键点击、拖拽——专家可以精确操作桌面上的任何可见元素。

键盘输入

在任意应用中输入文字、执行快捷键组合、切换输入法。

屏幕理解

专家能”看到”你的屏幕内容,理解界面布局和当前状态,做出相应的操作决策。

跨应用协调

在多个桌面应用之间切换操作——从 Finder 复制文件到邮件客户端,或从浏览器提取数据粘贴到表格软件。

如何使用

1

打开袋袋 Desktop

确保你使用的是袋袋 Desktop 客户端(而非网页版)。
2

描述任务

在对话中告诉专家你希望在桌面上完成什么任务。例如:“打开系统偏好设置,找到显示器选项,把分辨率改成默认”。
3

观察并确认

专家会开始操作你的桌面。你可以实时看到鼠标移动和操作过程。如果某一步需要你的确认,专家会暂停并询问。
4

获取结果

任务完成后,专家会在对话中告知操作结果。

典型使用场景

重命名一批文件、按规则整理文件夹、批量修改文件属性——告诉专家规则,它帮你逐一执行。
让专家在系统设置或应用偏好中帮你完成复杂的配置更改,省去自己找菜单的时间。
从一个应用中提取数据,转换格式后填入另一个应用——例如从 PDF 阅读器中复制表格数据到 Excel。
任何你需要重复执行多次的鼠标+键盘操作组合,都可以交给专家。
不熟悉某个桌面应用的操作?让专家演示给你看,同时在对话中解释每一步的作用。

安全机制

桌面自动化在安全沙盒环境中运行,具有以下保护措施:
  • 沙盒隔离:专家的操作受到系统级沙盒(Seatbelt)的限制,防止访问敏感系统区域
  • 操作可见:所有操作都在你的屏幕上实时可见,你可以随时中断
  • 权限受限:专家无法访问钥匙串、密码管理器等安全敏感区域

使用建议

  • 保持屏幕整洁:专家通过”看”屏幕来理解操作目标,界面上元素过多会增加识别难度
  • 明确目标应用:告诉专家具体要操作哪个应用程序,而不是让它自己找
  • 关闭遮挡窗口:确保目标应用的窗口没有被其他窗口遮挡
  • 逐步指引:复杂的操作流程分步说明,每步确认后再继续

与浏览器自动化的区别

两种能力可以互补使用——网页相关任务用浏览器自动化,本地应用操作用桌面自动化。

计费说明

桌面自动化的积分消耗主要来自对话中的模型调用和屏幕截图分析。操作本身不额外收费。