AIエージェントがリアルタイムな情報を必要とするとき、LLMのカットオフ日付の壁にぶつかることがある。XCrawlはこの問題をAPIひとつで解決するウェブスクレイピングサービスだ。

この記事でわかること：

  • XCrawlの概要と解決できる課題
  • Scrape / Search / Crawl / Map の4つのAPIの使い分け
  • MCPを経由してClaudeから直接呼び出す方法
  • 料金と無料枠の内容
  • Firecrawlとの違い

AIエージェントのウェブ情報収集はなぜ難しいか

AIエージェントはタスクを自動実行するが、必要な情報がLLMの学習データに含まれていないケースが頻発する。最新ニュース、商品価格、競合の動向などはモデルのカットオフ以降の情報で、リアルタイムで取得するには別の手段が必要になる。

スクレイピングを自前で実装すると、JavaScriptレンダリング、CAPTCHAの突破、IPブロックへの対処と保守コストが積み重なる。XCrawlはこれらをすべてAPIひとつで引き受けるサービスだ。

XCrawlとは

XCrawl - AI Web Scraping API & Intelligent Scraper Tool
Extract structured JSON, Markdown, and SERP data from any website with XCrawl, the AI-ready web scraping API with built-…
XCrawl

XCrawlは、ウェブデータの収集・検索・マッピングに特化したAPIプラットフォームだ。返却データはクリーンなJSONまたはMarkdown形式で、後処理なしにLLMやRAGパイプラインへ流し込める。99%以上のデータ取得成功率を公称しており、JavaScriptが多用されたサイトでも安定して動作する。内部ではアドバンスドブラウザフィンガープリントとローテーティングレジデンシャルプロキシを使っており、CAPTCHAの自動突破にも対応している。

4つのAPIの使い分け

XCrawlが提供するAPIは4種類で、それぞれ用途が明確に分かれている。

Scrape API は単一URLからデータを取得する。JSON、Markdown、スクリーンショットを1リクエストで返す。最も基本となる機能で、エンドポイントは POST /v1/scrape だ。

Search API はGoogleなどの検索エンジンの結果をSERP形式で構造化して返す。キーワード調査や市場調査でのデータ収集に使える。ロケーションや言語の絞り込みにも対応している。

Crawl API はサイト全体を深さを指定してクロールする。ドメイン全体または特定のディレクトリを対象にでき、大規模なデータ収集はこちらを使う。非同期処理になっており、GET /v1/crawl/{crawl_id} をポーリングして結果を受け取る。

Map API はドメイン内のURLを一覧で出力する。サイト構造を把握したい場合や、クロール対象を絞り込む前のスコープ設計に使う。

APIのベースURLは https://run.xcrawl.com で、認証はAuthorizationヘッダーにBearerトークンを渡す方式だ。

MCPでClaudeから直接呼び出す

XCrawlはMCP（Model Context Protocol）サーバーを提供しており、ClaudeなどのAIアシスタントから直接呼び出せる。Claudeがタスクのなかでウェブのリアルタイム情報を必要とするとき、MCP経由でXCrawl APIを呼び出してデータを取得できる構成が成立する。

マルチエージェント向けには、公式GitHubリポジトリ xcrawl-api/xcrawl-skills でスキル定義ファイルが公開されている。Scrape、Search、Crawl、Mapそれぞれにスキルファイルが用意されており、OpenClawなどのエージェントフレームワークに組み込んで使える。n8n、Zapier、Makeとの連携にも対応しており、ノーコードでワークフローに組み込む手段も整っている。

料金と無料枠

アカウント登録をすると1,000クレジットが無料で付与される。クレジットの消費量はリクエストの種類と対象ページの複雑さで変わる。シンプルなページのScrapeは消費が少なく、JavaScriptが多いサイトやCAPTCHAが必要なページはより多くのクレジットを消費する。有料プランの詳細は公式サイトの料金ページで確認できる。

Firecrawlとの比較

同カテゴリのサービスにFirecrawlがある。両者の大きな違いはホスティング形態で、Firecrawlはオープンソースとして自己ホストが可能だが、XCrawlは現時点でマネージドサービスのみの提供だ。

XCrawlの差別化は、マルチエージェント向けのスキル定義をGitHubで公開している点にある。エージェントランタイムで使う場合はスキルファイルをそのまま流用でき、実装コストを抑えられる。また、SERP専用のSearch APIを内包しており、検索結果の取得も1つのサービスで完結する。

まとめ

XCrawlはAIエージェントのウェブ情報収集を1つのAPIで完結させる商用サービスだ。MCPに対応しているため、Claudeやその他のAIエージェントから直接呼び出せる。スキル定義ファイルのGitHub公開もあり、マルチエージェント環境への組み込みハードルが低い。無料枠の1,000クレジットでまず動作を確認し、スケールに応じてプランを選ぶ構成になっている。