AIエージェントの性能を測るベンチマークは増えていますが、多くは「正解したか」で止まります。実務投入の前に見落とされがちなのが、トークン代を払いながら仕事を続けられるかという経済面です。

この記事では、香港大学のHKUDS（Data Intelligence Lab）が公開したオープンソースのベンチマーク「ClawWork」について解説します。GDPValの実務タスクを使い、エージェントが経済的な同僚として通用するかを測る仕組みを整理します。

この記事でわかること

  • ClawWorkが従来のエージェント評価と何が違うか
  • GDPValデータセットの内容とタスクの報酬設計
  • 経済的生存ループの動き方と主な機能
  • ローカルで試す手順と類似ベンチマークとの違い

https://github.com/HKUDS/ClawWork

従来の評価が見落とす「請求書のあと」

MMLUやSWE-Benchのようなベンチマークは、知識やコーディング能力の比較に有効です。一方、本番環境ではエージェントはAPI呼び出しごとにコストが発生し、成果物の品質に応じて価値が変わります。

ClawWorkの開発者は、多くのエージェント評価が「請求書が届く前」で終わると指摘しています。タスクの正答率だけでは、実務で使えるかは判断しづらいのです。

ClawWorkはこのギャップを埋めるため、エージェントを「経済的な同僚」として扱います。初期資金10ドルからスタートし、トークン代を自分で支払い、仕事をこなした分だけ収入を得る。残高が尽きれば破綻、つまりベンチマーク終了です。

GDPValがベースになる理由

ClawWorkのタスクは、OpenAIが公開した経済価値ベンチマーク「GDPVal（GDPval）」のゴールドサブセット220件を使います。GDPValは米国GDP上位9業種の44職種を対象に、現場の専門家（平均経験14年）が作成した実務タスク群です。レポート、表計算、設計資料など、実際の職場で求められる成果物を前提にしています。

ClawWorkが採用する220タスクは、製造・金融・医療・法務など幅広い分野をカバーします。成果物の種類もWord文書、Excel、PDF、データ分析、技術仕様書など多岐にわたります。

報酬は固定額ではなく、品質スコアと労働時間・賃金データに連動します。計算式は「品質スコア ×（推定時間 × BLS時間単価）」です。タスク報酬は82.78ドルから5,004.00ドル、平均259.45ドルとREADMEに記載されています。品質評価にはGPT-5.2を使い、44職種ごとのルーブリックで採点します。

経済的生存ループのしくみ

ClawWorkの評価は1日単位のループで進みます。エージェントはGDPValタスクを受け取り、「今すぐ仕事をする」か「学習に投資する」かを選びます。学習は将来の成果向上を狙う選択肢で、実際のキャリア判断を模した設計です。

1日の流れは、タスク割り当て → 実行 → 成果物作成 → LLM評価 → 支払い、という一連のワークフローです。LLM呼び出しのたびにトークンコストが差し引かれ、Web検索など外部APIの利用料も残高から支払います。収入は評価済みの仕事に対してのみ加算されます。

評価指標も経済寄りです。生存日数、最終残高、トークン効率（1ドルのコストあたりの収入）、作業と学習の比率などがダッシュボードで追跡できます。READMEのリーダーボードでは、ATICとQwen3.5-Plusの組み合わせが10ドルから19,915.68ドルまで増やし、時間単価換算で2,285.31ドル/hrと記録されています。

主な機能と使い方

ClawWorkはMITライセンスのオープンソースです。Python 3.10以上が必要で、FastAPIバックエンドとReact製ダッシュボードで残高推移やタスク完了状況をリアルタイム表示します。

利用方法は大きく2つあります。

スタンドアロンシミュレーションでは、./start_dashboard.shでダッシュボードを起動し、./run_test_agent.shでエージェントを走らせます。ブラウザでhttp://localhost:3000を開けば、意思決定と収支をその場で確認できます。

ClawMode（Nanobot/OpenClaw連携）では、既存のNanobotゲートウェイに経済追跡を載せます。チャットのたびにトークン代が引かれ、/clawworkコマンドで有料タスクを受注する流れです。TelegramやDiscord経由のエージェントにも適用できます。

設定ファイルで初期残高、トークン単価、使用モデルを変更でき、複数エージェントの同時実行にも対応します。OpenAI APIキーは必須で、コード実行用サンドボックス（E2Bなど）やWeb検索APIのキーも必要に応じて設定します。

類似ベンチマークとの違い

OpenAIのGDPVal自体は、モデルが専門家の成果物にどこまで近づけるかを測る評価です。人間の専門家とのブラインド比較が主で、経済的生存の概念は含みません。

SWE-Lancerのように実際の報酬額を使う評価もありますが、対象はソフトウェアエンジニアリングに偏ります。ClawWorkはGDPValの44職種を横断し、コスト管理・学習投資・破綻リスクまで含めた「経済アカウンタビリティ」に焦点を当てています。

研究用途のベンチマークであり、実際のフリーランス市場を再現するものではありません。リーダーボードの数値もプロジェクト自身の報告であり、独立監査はされていません。それでも、エージェント選定で「精度だけでなく費用対効果を見たい」開発者にとって、再現可能な比較基盤になります。

エージェント評価の次の問い

ClawWorkは「正解率」から「経済的に生き残れるか」へ評価軸を移しています。GDPValの実務タスク、トークンコストの自動控除、品質連動の報酬設計が組み合わさり、本番投入前のストレステストとして機能します。

AIエージェントを業務に組み込む担当者は、まずローカルでダッシュボードを動かし、自社で使うモデルの残高推移と品質スコアを確認するのが現実的な第一歩です。経済面での評価が標準化されれば、モデル選定は精度比較だけに依存しなくなるでしょう。