Register and share your invite link to earn from video plays and referrals.

1024
@xiaohua_888
全干工程师 公众号:硅基思维
Joined December 2014
550 Following    4.4K Followers
之前和大家聊过:纯视觉 GUI Agent 烧 Token 精确度不好,纯 CLI 又覆盖不了长尾操作,未来一定是“混合路由”。 开源项目 Cua (trycua/cua) 的最新架构,他们直接把这套思路做成了完整的 Computer-Use 2.0 基础设施——让 Agent 在同一个任务里无缝穿插写代码、调 API 和点 GUI,解决了本地桌面自动化的几个痛点: 1. 免重复登录的 Teleport(传送): 以前在沙盒跑 Agent 最烦重新扫码登录。Cua Spaces 支持把本机已登录的 Chrome 或 Slack 直接“传送”进虚拟机,保持登录态,密钥留在本地 Mac 的 Keyvault 加密,需要你授权才放行。 2. 不抢鼠标焦点的后台操控 + 双光标协作(Multiplayer): Cua Driver 支持后台消息投递,Agent 操作 LibreOffice 或 Inkscape 时根本不抢你前台的终端焦点;遇到需要人工接管的步骤,你和 Agent 拥有各自独立的光标,随时插手点一下再交给它。 3. 用 System 1 小模型(CUA-S1)省掉无脑推理: 没必要每次填表都调千亿参数大模型生成 Token。他们开源了专门针对表单等确定性界面做打分决策的轻量模型 CUA-S1,快且边界可控。 从底层基于 Apple Virtualization 的 Lume 虚拟机,到统一 SDK(Python/TS/Rust)和评测集 Cua Bench,整套基建非常吊。
Show more
OpenAI 的 Codex Computer Use 最吊的就是它不靠纯视觉盲猜坐标,而是基于系统底层 Accessibility 实现了非侵入式的桌面操控。 现在有人直接把这个思路开源并做成了通用 MCP 服务:open-computer-use(简称 ocu)。 它把主流 AI 编程客户端的接入全打通了,一行命令就能给你的本地 Agent 装上“操作系统级”的手脚: • 全客户端一键挂载:原生内置 Codex、Claude Code、Gemini CLI、opencode 和 DeepSeek Harness 的安装指令 • 跨平台通用:同时支持 macOS、Linux 和 Windows • 免截图精准检索(macOS):提供 targeted query,不用每次都截全屏烧 Token,直接按文本或角色定位控件 • 代码优先(Code-first):内置 ocu js 和 ocu repl,支持直接用 JS 脚本或长连接会话编排连续的自动化动作,复用元素索引状态 如果你平时重度使用 Claude Code 或 Codex CLI,装上这个 MCP 基本就能让 Agent 跨出终端,直接接管本地桌面工作流了。 我刚才使用 Sonnet 5.5 试了一下, 操作比Codex Computer use快。
Show more