Codex 电脑操控(Computer Use)

Computer Use(电脑操控) 让 Codex 能看见并操作图形界面——在 macOS 或 Windows 上观察屏幕、移动鼠标、敲键盘、操作桌面应用与浏览器。当命令行工具或结构化集成(MCP/插件)不足以完成任务时,它就派上用场。

这是 2026 年桌面应用的重要能力之一,配合应用内浏览器AppshotsGoal 模式使用。


能做什么

  • 测试桌面/移动应用:开发中检查 macOS/Windows 应用、iOS 模拟器
  • 浏览器任务:需要肉眼确认的网页操作(用你已登录的会话)
  • 复现 GUI bug:只在图形界面下出现的问题
  • 跨应用工作流:在多个应用间来回操作
  • 改设置:需要在 UI 里点来点去的配置
  • 查看无插件的数据源:界面里有、但没有对应集成的数据

它通过截图观察屏幕,通过键鼠输入操作系统。


启用(按平台)

macOS

  1. Settings 安装 Computer Use 插件
  2. 授予系统权限:
    • 屏幕录制(Screen Recording)——用于「看」
    • 辅助功能(Accessibility)——用于「控制」

Windows

  1. 安装 Computer Use 插件
  2. 任务期间保持目标应用在当前桌面可见
  3. 注意:Windows 上以前台运行,执行时你会暂时失去对该会话的控制,无法后台运行

发起一个电脑操控任务

在提示中用 @ 提及,或直接要求使用电脑操控:

打开 @Chrome,验证最近改动后的结算页是否正常。
用 @Computer 打开 Settings,关闭自动更新并截图确认。

Codex 会请求对每个新应用的访问,你可「总是允许」加入白名单,或拒绝。


应用内浏览器

桌面应用内置浏览器,特别适合前端开发:

  • 打开本地开发服务器(如 localhost:3000)或公开页面
  • 渲染后的元素上直接评论,把视觉问题反馈给 Codex
  • 让 Codex 改完代码后立刻在浏览器里看效果,形成「改—看」闭环

Appshots(仅 macOS)

Appshots 让你把最前台应用窗口连同截图一键发给 Codex,瞬间提供上下文——无需手动截图再拖拽。配合 Computer Use 可实现「看着这个窗口,帮我操作」。


Goal 模式

Goal(目标)模式让 Codex 朝一个持续目标推进数小时甚至数天,自动拆解并连续执行——常与电脑操控配合做长链路验证。启用:

# ~/.codex/config.toml
[features]
goals = true

或运行 codex features enable goals,会话中用 /goal 设定目标。Goal 模式在桌面应用、IDE 扩展与 CLI 均可用。


权限与安全模型

系统权限 vs 应用授权:

  • macOS 的「屏幕录制 / 辅助功能」是全局开关
  • 逐应用审批决定 Codex 能访问哪些应用(可「总是允许」或拉黑)
  • 文件编辑与 shell 命令仍受现有沙箱设置约束

重要限制:

  • 不能自动化终端应用或 Codex 自身
  • 不能绕过安全/管理员认证弹窗
  • 截图会作为 Codex 的上下文被处理

安全实践

  • 任务范围收窄,一次只针对单一目标应用
  • 不需要时关闭敏感应用
  • 涉及账号/安全/支付操作时全程在场
  • 浏览器操作会用你已登录的会话,注意审查
  • 输入打到错误窗口时及时取消
  • 敏感工作考虑用第二台设备或虚拟机

macOS 还支持锁屏后使用:短时授权窗口内可操作桌面应用,检测到本地输入会自动重新锁定。


下一步