現実の仕事ソフトでAIエージェントを鍛え、正直に評価する仕組みがCMUから公開されました。

カーネギーメロン大学（CMU）の研究チームは2026年4月、任意のソフトウェアをコンピュータ操作エージェント（CUA）の訓練・評価環境に変換するフレームワーク「Gym-Anything」を発表しました。論文はarXiv（2604.06126）に掲載され、コードとベンチマークデータはMITライセンスで公開されています（参考）。

この記事では、なぜ既存ベンチマークでは足りないのか、Gym-Anythingがどう環境を自動構築するのか、そして現実タスクでフロンティアモデルがどこまで通用するのかを整理します。

この記事でわかること

  • 既存のCUAベンチマークが抱える「現実離れ」の問題
  • Gym-Anythingの作成エージェントと監査エージェントの二重ループ
  • CUA-Worldがカバーする200種のソフトと1万超タスクの中身
  • CUA-World-LongでGPT-5.4でも合格率27.5%にとどまる理由

短いWebタスクの高得点は、仕事ソフトの実力を測れない

コンピュータ操作エージェント（CUA）は、画面のスクリーンショットを見ながらマウスとキーボードで操作し、人間の代わりにソフトウェアを動かすAIです。OSWorldやWebArenaなど既存ベンチマークは、壁紙変更やWebフォーム入力といった短いタスクが中心で、対象ソフトも少数に限られます。CMUの論文では、こうした評価は実際の経済活動を支えるソフトウェアのわずかな一部しかカバーしていないと指摘しています（参考）。

現実の業務は長く、複雑で、ソフトごとに画面構成もデータ形式も異なります。医療画像解析なら臨床CTデータが入った専用ツールが必要ですし、ERPでの経理作業なら取引履歴や取引先マスタが初期状態に揃っている必要があります。1件の環境を専門家が手作業で整えるのに数週間かかることもあり、数百種類のソフトに広げるのは現実的ではありませんでした。

環境づくり自体をエージェントの仕事にする

https://cmu-l3.github.io/gym-anything/

Gym-Anythingの核心は、「環境構築そのものをコーディングとコンピュータ操作のエージェントタスクとして扱う」という発想です。各ソフト環境はインストール・設定・タスク用セットアップの3本のスクリプトと設定ファイルで定義され、Gymnasium互換のPython APIから操作できます。

パイプラインは4段階です。まず米国のGDPデータと職業分類（SOC）をもとに、経済的インパクトの大きいソフトを200種選びます。次に作成エージェント（Claude Opus 4.5/4.6ベース）がソフトをインストールし、公開データセットを読み込み、起動確認用のスクリーンショットやログを証拠として残します。独立した監査エージェントがその証拠をチェックリストに照らして検証し、不備があれば修正指示を返すループを回します。最後に、各ソフトでエージェントが実際に動かして作ったシードタスク5件をもとに、LLMがタスクを増幅し、1万超の検証済みタスクを生成します。

作成エージェントが「完了した」と宣言しても、プレースホルダーデータのままだったり、セットアップ画面で止まっていたりするケースは珍しくありません。監査エージェントはエージェントの主張ではなく、スクリーンショットや実行ログという客観的な証拠を見る設計です。自己確認バイアスを避け、人間が後から品質を追える監査レポートも残ります。

CUA-Worldが示す規模と職業カバレッジ

このパイプラインで構築されたのがベンチマーク群「CUA-World」です。200種以上のソフトウェア、1万超の長期タスク、米国労働統計局の22の主要職業グループすべてをカバーしています。GIMPやBlenderといったクリエイティブツールから、OpenEMRや3D Slicerといった医療系、NinjaTraderなどの金融系まで、サンドボックス化可能な現実アプリが対象です。Linuxデスクトップ、Windows（QEMU経由）、Android（エミュレータ）の3OSで動き、DockerやApptainer、Apple Virtualization Frameworkなど複数の実行基盤に対応します。

タスク評価には、セットアップスクリプトから抽出した「特権情報」を使うチェックリスト型のVLM検証器を採用しています。例えば医療画像タスクでは正しい腫瘍位置がデータセット側に既知であり、エージェントには見せず、完了後の画面や出力ファイルをサブタスク単位で採点します。エージェントがファイルを直接書き換えてショートカットした場合は、整合性チェックで0点になります。

論文の比較表では、CUA-Worldが既存ベンチマークで初めて「大規模な対話環境」「長期タスク」「全22職業グループ」「自動環境生成」「訓練用スプリット」を同時に満たすと整理されています（参考）。

強いモデルでも最難関タスクは未解決

https://cmu-l3.github.io/gym-anything/

難易度を測るための「CUA-World-Long」は、ソフト1種につき1タスク、計200件で、多くが500ステップ超を要します。標準予算は500ステップまたは5ドル、拡張設定では2,000ステップまで許容されます。

公式リーダーボード（2026年7月時点）では、GPT-5.4が2,000ステップ設定で平均スコア55.5、合格率27.5%が最高です。同モデルの500ステップ設定では合格率3.0%に落ちます。Gemini 3 Flashは500ステップで7.5%、2,000ステップで11.5%です。テスト時監査（TTA）を加えると、完了宣言後に別のVLMが軌跡を見直し、未完了ならフィードバックを返す仕組みで、Gemini 3 Flashは11.5%から14.0%に改善しました。それでも最難関の大半は未達のままです。Claude Sonnet 4.6は500ステップで合格率6.0%です。

よくある失敗パターンは、数十ステップで「完了した」と宣言して途中で止まることです。現実の長期業務に近いタスクを置くと、ベンチマークの数字が一気に厳しくなることが数値で示されています。

訓練データとしても使える設計

CUA-Worldは訓練用とテスト用に分割され、汚染チェックで類似タスクが両方に入らないよう管理されています。Kimi-K 2.5の成功軌跡をQwen3-VL-2Bに蒸留した実験では、訓練に使ったソフト数を増やすほどテストスコアが対数的に伸び、パラメータ2倍のモデルを上回る結果も報告されています。一方、訓練に含めなかった未知のソフトへの汎化は限定的で、見たことのないアプリへの対応は依然として難題です。

開発者向けには、gym_anything.make()で環境を起動し、スクリーンショットをエージェントに渡してstep()で操作、verify()で採点する流れが用意されています。CLIから gym-anything benchmark moodle --task enroll_student --agent ClaudeAgent のように既存ベンチマークを回すこともできます。コア・ベンチマーク・エージェント実装は独立しており、自前環境だけ、自前エージェントだけの利用も可能です。

開発者と研究者への示唆

Gym-Anythingは「評価環境のボトルネックを、人間の手作業からエージェントのループに移す」試みです。任意のソフトを訓練場にできることで、デモ用の簡単タスクでは測れない実務スキルを評価できるようになります。同時に、現実に近いタスクを置いた瞬間にフロンティアモデルの限界が露わになる、という厳しい結果も出ています。

AIエージェントを業務ソフトに載せる開発者は、自社アプリ向けのタスクと検証器をCUA-Worldの形式で追加できる可能性があります。研究者は、長期タスクとGDP起点のソフト選定という新しい評価軸で、次世代のCUA改善に取り組む土台を手に入れた状態です。コードとデータが公開されているため、自環境での再現と独自ベンチマークの追加がすぐに始められます。