AIコーディングエージェントが、ついでに画面も操作できる時代になりました。

OpenAI Codexアプリに、macOSのGUIアプリを操作する「コンピューター操作（Computer Use）」とローカル開発サーバーをアプリ内で確認できる「インアプリブラウザ」が追加されています。コードを書いて、動作確認して、修正するというループをCodexが一人で回せるようになりました。

この記事でわかること：

  • コンピューター操作機能の仕組みと使い方
  • インアプリブラウザでフロントエンド開発がどう変わるか
  • スレッド自動化（Thread Automations）の概要
  • その他の追加機能（GPT-5.5・画像生成・Memory）

https://developers.openai.com/codex/app

コンピューター操作でGUIバグも自動修正できる

Codexアプリの「Computer Use」は、macOS上のGUIアプリをCodexが直接見て操作する機能です。スクリーンショットで画面を認識し、クリック・キーボード入力・ウィンドウ操作まで行います。

CLIやAPIで完結しない作業、たとえばブラウザで特定のUI要素を確認したり、シミュレーター上でiOSアプリの操作フローを再現したりするタスクに向いています。「このボタンを押すとクラッシュする」というバグをCodexが自分で再現しながら修正できる点が、これまでのコーディングエージェントとの大きな違いです。

セットアップ手順は次のとおりです。

  1. Codexアプリの設定から「Computer Use」を開き、プラグインをインストールする
  2. macOSのシステム設定でCodexアプリに「画面収録」と「アクセシビリティ」の権限を与える
  3. プロンプトで または対象アプリ名を指定する

現時点ではmacOSのみ対応しており、EU・英国・スイスでは提供されていません。ターミナルやCodex自体の操作には使えません。

インアプリブラウザでフロントエンドのFBループが短くなる

ローカルの開発サーバー（ など）をCodexアプリ内でプレビューしながら作業できます。ブラウザを別ウィンドウで開く必要がなくなり、「実装→確認→修正」のフィードバックループが短縮されます。

特徴的なのが「ブラウザコメント」機能です。ページ上の特定の要素や領域にコメントを付け、「このボタンの配置を直して」とCodexに伝えられます。テキストで説明しにくいUIの問題を指定する手段として使えます。

ただし、認証が必要なページや既存のブラウザプロファイル・Cookieには対応していません。ログイン後の画面を確認したい場合は、コンピューター操作機能を使う設計になっています。

スレッド自動化でCodexを常駐させられる

「Thread Automations（スレッド自動化）」は、スレッドに紐づいた定期実行の仕組みです。一度のプロンプトで終わらない長期タスクを、同じコンテキストを保ちながら繰り返し実行します。

活用例は次のようなものです。

  • デプロイが終わるまで定期的に確認して通知させる
  • GitHub PRの新しいレビューコメントを定期チェックして対応させる
  • Slackの特定チャンネルを監視して要約を継続させる

分単位から週次まで間隔を設定でき、コンテキストが不要な完全に独立した定期タスクには「スタンドアロン自動化」という別の仕組みもあります。スタンドアロン自動化の結果は「Triage」インボックスに集約されるため、複数プロジェクトの定期レポートをまとめて確認できます。

その他の追加機能

GPT-5.5への対応

CodexアプリとCLIの最新モデルはGPT-5.5です。コード生成と推論の精度が向上しており、既存のプロンプトをそのまま使いながら結果が改善されます。

画像生成がスレッド内で完結

を使った画像生成をプロンプトから直接呼び出せます。UIのバナー・スプライトシート・プレースホルダー画像をコードと同じスレッドで生成して配置できます。 と書くと明示的に呼び出せます。画像生成はCodexの利用上限に対して通常のターンの3〜5倍速く消費されるため、大量生成にはAPIキーを設定して直接APIを使う方法も選べます。

Memory機能

過去のスレッドから安定した情報（プロジェクトの規約、アーキテクチャの方針、よくあるミスなど）を次のスレッドに引き継ぐ機能が利用可能な環境で追加されています。毎回同じ前提を書く手間を省けます。

Codex CLIとアプリの違い

CLIは非対話型のバッチ実行やCI連携、スクリプトへの組み込みに向いています。アプリはWorktreeサポート・インアプリブラウザ・コンピューター操作・Triage インボックスなど、インタラクティブな開発作業に特化した機能を持ちます。MCP設定はCLI・アプリ・IDE拡張機能の間で共有されるため、一度設定すれば三つの環境で同じプラグインが使えます。

コンピューター操作とブラウザ機能が揃ったことで、Codexが単なるコード生成ツールから開発作業全体を担えるエージェントへ近づいています。ローカルで動くフロントエンドやデスクトップアプリの開発では、試す価値のあるアップデートです。