Skip to main content
录制与回放解决的是一类特定问题:你会做,但说不清楚。有些工作流步骤琐碎、依赖具体界面位置、口头描述比亲自做一遍还慢——那就做一遍,让专家看着,然后把它变成技能。

激活条件

profy-record-and-replayuser_selectable: truerequires: { desktop_connected: true }。需要在插件面板勾选,且运行 Profy 桌面端。
原生事件流录制仅支持 macOS。 在 Windows / Linux 上调用会直接报错:
底层依赖的是 macOS 的事件 tap(profy-event-tap 原生二进制),没有跨平台等价物。

三个工具

录制期间发生了什么

三路数据同时采集,都落在 ~/.profy/recordings/{sessionId}/
录制捕获整个桌面,不只是当前应用。 所有应用、所有窗口、每一次点击和输入都会被记录。切走应用或最小化聊天窗口都不会中断录制——只有 event_stream_stop30 分钟超时才会结束。也就是说:录制期间避免处理无关的私密事务,密码输入尤其要注意。

语音旁白:录制里最有价值的一路

只有事件流的话,专家看到的是「点了坐标 (840, 312)」——它不知道你为什么点。语音转写带时间戳,和事件对齐后就补上了「为什么」这一层:
「现在我要把这一列筛选掉,因为上季度的数据不参与统计。」
有旁白的录制能蒸馏出带判断条件的技能;没旁白的只能蒸馏出按顺序重放的步骤。差别很大。所以:边做边说 麦克风权限被拒时录制照常进行,只是少了这一路。

标准流程

1

告诉专家你要录制

「我要录一段操作,帮我做成技能。」专家调 event_stream_start,然后结束这一轮对话
2

去做你的事,边做边说

切到目标应用,正常完成一遍工作流。屏幕上会有录制指示浮层。整个过程中把你的判断念出来。
3

回来说一声「好了」

专家调 event_stream_stop,读取事件、截图和语音转写。
4

确认要固化的是哪一段

录制里包含了所有发生过的事,包括你走的弯路、点错的地方、中途看的别的窗口。专家会先总结它理解到的工作流,由你确认之后再变成技能。
5

下次直接用

技能存进你的全局技能库(user/*),此后任何专家的对话里都能用。
专家在录制期间是「结束回合」而非「等待」的。 这是设计上的硬约束:模型持有回合时你没法演示,轮询既烧 token 又挡住了要录的东西。所以看到专家「停下不动了」是正常的——它在等你回来说完事了。

随插件带的技能

除了录制本身,这个插件还打包了一组应用专属技能,用来在回放时理解具体应用的界面: record-replay(录制到技能的方法论)、cua-driver(驱动层参考)、cua-recording(跨平台的驱动录制路径)、app-clockapp-numbersapp-spotifyapp-notionapp-musicapp-iphone-mirroring

失败与对策

录制启动时会先 waitUntilCapturing() 确认 tap 真的挂上了才返回成功——这道校验的存在是因为权限被拒时曾经会得到一个「启动成功」但事件为空的会话,那比直接报错更难排查。

与 Chrome 工作流复用的区别

两者都在解决「重复劳动」,但分工不同:

继续阅读

Computer Use

回放时执行操作的那一层

Chrome

浏览器内的工作流复用

技能目录

技能的三条归属轨道

插件全表

28 个内置插件与激活条件