替代 Computer Use 的开源工具来了。不用看截图算像素,不绑定特定大模型,甚至在后台干活时完全不抢你的鼠标和窗口。
这是 Vercel Labs 刚开源的命令行工具 agent-desktop。它能让 AI Agent 直接看懂并操作你电脑上的任何桌面软件,跳出浏览器的限制,macOS、Windows 和 Linux 都支持。
▍为什么它能替代传统方案?
Anthropic 的 Computer Use 靠的是“看截图 + 点坐标”,而且绑定在自家模型上。
agent-desktop 换了条路:直接读取系统给读屏软件准备的底层界面结构。它会把软件里的按钮、输入框、列表项全部列成清单并编上号,AI 代理直接按编号去操作。任何能在终端跑命令的模型都能接,至于它和 Computer Use 谁更准、更快,官方目前还没给对比数据。
▍它现在能干嘛?(官方列了 60 个命令,56 个已可用)
• 读屏幕:把软件界面导出成带编号的清单,能点的东西一目了然,也能截图。
• 点击和填写:单击、双击、右键、输入文字、勾选框、下拉选择、滚动到指定位置,以及按快捷键、拖拽、悬停、滚轮。
• 管软件和窗口:打开或关闭软件,切换、移动、最大化或最小化窗口。
• 管通知和剪贴板:查看、关闭系统通知,直接点通知里的按钮;读、写、清空剪贴板。
• 等待与批量执行:支持一次跑多条命令并留下操作记录。官方推荐的做法是“先看一眼 -> 再操作 -> 再看一眼确认”,等界面变化后再继续。
▍核心体验:后台静默运行
默认状态下它在后台跑,不动你的鼠标、不抢窗口焦点,你可以照常用电脑。如果你需要它真的移动鼠标、敲键盘,手动开启 --headed 模式就行。
(注:有帖子说它支持“每个代理有自己的光标、可以同时干活”,但官方 README 里没讲具体怎么实现,这点还待核实。)
▍怎么用?
直接用 npm install -g agent-desktop 安装,或者装成 Skill 接到 Claude Code、Codex 这类能在终端跑命令的代理上(官方只写了支持“任何写代码的代理”,没点名具体测过哪几个)。Mac 需要在系统设置里给它开“辅助功能”权限。
同一个作者之前做过 agent-browser,但那个只能操作网页,现在的 agent-desktop 管的是整台电脑。
▍要注意的地方
1. 隐私与权限:它拿到的系统权限很大,导出的快照、截图和剪贴板里可能包含你的隐私内容,最好在你看着的时候用。
2. 项目成熟度:它目前挂着 Vercel Labs 的实验项目标签,算不算稳定的正式产品还待核实。目前还有 4 个按键和鼠标的底层命令用不了,Linux 上的功能最弱。
感兴趣的朋友直接去 GitHub 或 npm 搜 agent-desktop 就能找到。
顯示更多
🚨UU 远程看样子要准备商业化了。
说实话,本身无广告的工具,免费运营了两三年,其实很难持续,也不利于产品长期迭代发展。
试过多款远程工具,UU 远程是最贴合我使用需求。
💰 现在就等定价方案了:
1、估计跨境远控这块是会收费的,毕竟成本摆在那里
2、然后终端估计会收费,算是硬核功能,也优化过好几轮
3、其他收费应该也不会比别的远程软件高
其实我反而期待商业化尽快落地,多点人力出来搞 Linux 版本,快点端上来。
目前就凑合用着开源项目,体验有些打折。
顯示更多