AIが画面を見て、クリックや入力まで自動で行える時代が本格化しています。

この記事では、Googleが2026年6月24日に発表したGemini 3.5 Flashへの「computer use（画面操作）」統合について、変更点・使い道・安全対策・料金を整理します。

この記事でわかること

  • computer useがGemini 3.5 Flashに組み込まれた意味
  • ブラウザ・モバイル・デスクトップで動く仕組み
  • UIテストやデータ入力などの実務での活用例
  • 導入時に押さえるべき安全対策と料金

https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/

何が変わったか

Googleは2026年6月24日、Gemini 3.5 Flashに画面操作機能「computer use」を標準ツールとして統合したと発表しました。これまで専用モデル「Gemini 2.5 Computer Use Preview」で提供されていた機能が、メインのFlashモデルに組み込まれた形です。

公式ブログによると、開発者はSearchやMapsのグラウンディングと同様に、1つのモデル内で画面操作を呼び出せます。専用モデルへの切り替えが不要になり、エージェント開発の手順が簡素化されます。

一般向けGeminiアプリではなく、Gemini APIとGemini Enterprise Agent Platformから利用できます。消費者向けアプリでの誤起動を防ぐ設計です。

なぜ統合されたのか

従来のGemini 2.5 Computer Useはブラウザ操作に最適化されていました。一方、企業の業務自動化では、長時間にわたるテストや複数アプリをまたぐ作業が求められます。

Google DeepMindのプロダクトマネージャーMateo Quiros氏は、3.5 Flashへの統合により「画面を見て、推論し、操作する」エージェントをブラウザ・モバイル・デスクトップの3環境で構築できると説明しています。継続的なソフトウェアテストや業務アプリ横断のナレッジワークで、応答性が向上するとしています。

画面操作の仕組み

computer useは、スクリーンショットをモデルに送り、返ってきたUI操作指示をクライアント側で実行するループで動きます。Gemini API公式ドキュメントの流れは次のとおりです。

  1. 画面のスクリーンショットと指示文をAPIに送信する
  2. モデルがクリック・入力・スクロールなどの操作を返す
  3. Playwrightなどの自動化ツールで操作を実行する
  4. 新しいスクリーンショットを送り、次の操作を求める

このループをタスク完了まで繰り返します。クライアント側の実行環境は開発者が実装する必要があります。公式にはDockerベースのサンドボックス実装例も用意されています。

3.5 Flashで追加された機能

Gemini 3.5 Flash版のcomputer useには、従来モデルにない改善が含まれます。

  • 3環境対応: browser（ブラウザ）、mobile（Android向け）、desktop（OSレベルのカーソル操作）
  • intentフィールド: 各操作に「なぜその操作を選んだか」の理由が付く
  • 安全ポリシーの設定: 組み込みカテゴリと上書き設定で挙動を調整できる
  • プロンプトインジェクション検出: スクリーンショット内の悪意ある指示を検出するオプション

APIリクエストでは、tools配列に{"type": "computer_use", "environment": "browser"}を指定するだけで有効化できます。

実務での活用例

公式ドキュメントとブログが挙げる用途は、いずれも「人が画面を操作する作業」の自動化です。

  • UIテスト: Webアプリのユーザーフローを自動検証する
  • データ入力: レガシーソフトへのフォーム入力を代行する
  • 調査作業: 複数サイトを横断して商品情報やレビューを収集する
  • アクセシビリティ監査: 自社ドキュメントの問題点を洗い出す（公式デモ例）

GoogleはBrowserbaseが提供するデモ環境で、実際の動作を試せると案内しています。本番導入前に挙動を確認する入口として使えます。

安全対策と注意点

画面操作エージェントは、誤操作や悪意あるページからの攻撃リスクを伴います。Googleは3.5 Flash向けに敵対的トレーニングを実施したと述べていますが、安全機能の多くは任意設定です。

企業向けの2つのオプション

  1. 機密・不可逆な操作の前にユーザー確認を要求する
  2. 間接プロンプトインジェクションを検出したらタスクを自動停止する

金融取引やメール送信など「センシティブな操作」は、人間の承認を挟むヒューマンインザループ（HITL）設計が推奨されています。Gemini 2.5時代から引き継がれた仕組みです。

開発者が負う責任

公式ドキュメントは、computer useをプレビュー機能として位置づけ、重大な判断・機密データ・取り消せない操作には使わないよう警告しています。安全機能を有効にするかどうかも開発者の判断に委ねられています。

実運用では、次の対策を組み合わせる「多層防御」が推奨されます。

  • サンドボックス化されたVMやコンテナでエージェントを隔離する
  • 機密操作のたびに人間の確認を挟む
  • アクセス権限を必要最小限に制限する

料金と従来モデルとの違い

computer use自体に追加料金はかかりません。Gemini 3.5 Flashの通常トークン料金が適用されます。公式料金表によると、標準料金は入力100万トークンあたり1.50ドル、出力100万トークンあたり9.00ドルです。

従来の専用モデル「Gemini 2.5 Computer Use Preview」は、入力100万トークンあたり1.25ドル（20万トークン以下の場合）でした。入力単価は3.5 Flashの方がやや高い一方、コンテキストキャッシュ機能で長時間タスクのコストを抑えられます。

画面操作はスクリーンショットの送受信を繰り返すため、1タスクあたりのトークン消費は大きくなりがちです。大規模な自動化では、安全確認の中断回数と合わせて総コストを見積もる必要があります。

他の画面操作AIとの位置づけ

AnthropicのClaudeにもComputer Use機能があり、同様にスクリーンショットベースでUI操作を行います。Googleの今回の変更は、専用モデルから汎用Flashモデルへの統合という点が特徴です。Search、コード実行、関数呼び出しと同じAPI上で画面操作を組み合わせられるため、複合的なエージェントを1モデルで構築しやすくなります。

一方、computer useはまだプレビュー段階です。ベンチマーク数値の更新や、導入企業の事例公開は限定的で、実運用での信頼性は開発者自身の検証に依存します。

導入を検討する際のポイント

Gemini 3.5 Flashへのcomputer use統合は、エージェント開発の入口を下げる変更です。専用モデル管理が不要になり、3環境対応とintent付き操作でデバッグもしやすくなります。

ただし、画面を実際に操作する権限をAIに渡す以上、安全機能の設定とサンドボックス運用は省略できません。UIテストや定型的なデータ入力から小さく試し、機密操作には必ず人間の確認を挟む運用が現実的です。