Codex 电脑操控(Computer Use)
Computer Use(电脑操控) 让 Codex 能看见并操作图形界面——在 macOS 或 Windows 上观察屏幕、移动鼠标、敲键盘、操作桌面应用与浏览器。当命令行工具或结构化集成(MCP/插件)不足以完成任务时,它就派上用场。
这是 2026 年桌面应用的重要能力之一,配合应用内浏览器、Appshots 与 Goal 模式使用。
能做什么
- 测试桌面/移动应用:开发中检查 macOS/Windows 应用、iOS 模拟器
- 浏览器任务:需要肉眼确认的网页操作(用你已登录的会话)
- 复现 GUI bug:只在图形界面下出现的问题
- 跨应用工作流:在多个应用间来回操作
- 改设置:需要在 UI 里点来点去的配置
- 查看无插件的数据源:界面里有、但没有对应集成的数据
它通过截图观察屏幕,通过键鼠输入操作系统。
启用(按平台)
macOS
- 在 Settings 安装 Computer Use 插件
- 授予系统权限:
- 屏幕录制(Screen Recording)——用于「看」
- 辅助功能(Accessibility)——用于「控制」
Windows
- 安装 Computer Use 插件
- 任务期间保持目标应用在当前桌面可见
- 注意:Windows 上以前台运行,执行时你会暂时失去对该会话的控制,无法后台运行
发起一个电脑操控任务
在提示中用 @ 提及,或直接要求使用电脑操控:
Codex 会请求对每个新应用的访问,你可「总是允许」加入白名单,或拒绝。
应用内浏览器
桌面应用内置浏览器,特别适合前端开发:
- 打开本地开发服务器(如
localhost:3000)或公开页面 - 在渲染后的元素上直接评论,把视觉问题反馈给 Codex
- 让 Codex 改完代码后立刻在浏览器里看效果,形成「改—看」闭环
Appshots(仅 macOS)
Appshots 让你把最前台应用窗口连同截图一键发给 Codex,瞬间提供上下文——无需手动截图再拖拽。配合 Computer Use 可实现「看着这个窗口,帮我操作」。
Goal 模式
Goal(目标)模式让 Codex 朝一个持续目标推进数小时甚至数天,自动拆解并连续执行——常与电脑操控配合做长链路验证。启用:
或运行 codex features enable goals,会话中用 /goal 设定目标。Goal 模式在桌面应用、IDE 扩展与 CLI 均可用。
权限与安全模型
系统权限 vs 应用授权:
- macOS 的「屏幕录制 / 辅助功能」是全局开关
- 逐应用审批决定 Codex 能访问哪些应用(可「总是允许」或拉黑)
- 文件编辑与 shell 命令仍受现有沙箱设置约束
重要限制:
- 不能自动化终端应用或 Codex 自身
- 不能绕过安全/管理员认证弹窗
- 截图会作为 Codex 的上下文被处理
安全实践
- 任务范围收窄,一次只针对单一目标应用
- 不需要时关闭敏感应用
- 涉及账号/安全/支付操作时全程在场
- 浏览器操作会用你已登录的会话,注意审查
- 输入打到错误窗口时及时取消
- 敏感工作考虑用第二台设备或虚拟机
macOS 还支持锁屏后使用:短时授权窗口内可操作桌面应用,检测到本地输入会自动重新锁定。
下一步
- 工作流与 Worktrees:Goal 模式与并行任务
- 集成与连接:能用插件/MCP 解决时优先用它们
- 权限设置:电脑操控之外的沙箱与审批