エージェント運用で、コスト超過や個人情報漏えいを別ツールで追う手間がなくなります。

LangChainは2026年6月17日、LangSmith LLM Gatewayの運用面を強調する投稿を公開しました。検知・調査・修復を、エージェントを構築するのと同じLangSmith画面で扱える点が明示されています。ポリシー違反イベントがトレースデータの横に並ぶため、原因特定から修正まで画面を切り替えずに進められます。

この記事でわかること

  • LangSmith LLM Gatewayが解決する運用上の課題
  • 検知・調査・修復を同一画面で行う仕組み
  • プライベートベータで利用できる主な機能と設定方法

https://www.langchain.com/blog/introducing-llm-gateway

LLM Gatewayが埋めるギャップ

エージェントを本番運用すると、観測と強制の間に隙間が生まれます。コーディングエージェントが夜間にリトライループへ入り、朝には1万回のLLM呼び出しと高額請求が発生する。カスタマーサポートエージェントが社会保障番号を含む返金依頼を処理し、番号がプロバイダのログやトレースに残る。LangChainの公式ブログは、こうした事象を「観測だけでは止められない日常」と位置づけています。

従来は、ゲートウェイ・ガードレール・オブザーバビリティを別々に組み合わせ、障害時にシグナルを突き合わせる必要がありました。LLM Gatewayは、エージェントとLLMプロバイダの間にプロキシとして置き、リクエスト到達前にポリシーを適用します。違反が起きた場合、イベントはLangSmith上のトレース可能な記録として流れ込みます。

検知・調査・修復が同じ画面に集約される理由

LangChainのX投稿が強調したのは、ツールの切り替え削減です。検知・調査・修復がエージェント構築と同じ画面で完結し、ポリシーイベントが説明用のトレースデータの隣に表示されます。

公式ドキュメントによると、ゲートウェイ経由の呼び出しは次の順で処理されます。LangSmith APIキーで認証し、ワークスペースのProvider Secretsから実際のプロバイダキーを解決します。続いて支出上限・PII（個人を特定できる情報）・シークレットの各ポリシーを評価し、上流プロバイダへプロキシしたうえでLangSmithへトレースを記録します。

ポリシーが発火すると、イベントはLangSmith Engineへ送られます。ブロックされたリクエストから、その原因となったトレース、そして修正へと、同一プロダクト内で辿れます。支出ポリシーでブロックされた場合は402レスポンスが返り、違反内容はトレースのメタデータとして残ります。PIIやシークレットのマッチは、該当トレースへ直接クリックして確認できます。システムプロンプトやツール設定を更新し、既存のテストセットで再評価する流れも、LangSmithを離れずに実行できます。

プライベートベータで使える主な機能

LLM Gatewayは現在プライベートベータです。APIや機能は変更される可能性があり、ウェイトリスト登録が必要です。

支出制限と可視化

組織・ワークスペース・APIキー・ユーザー単位でコスト上限を設定できます。時間窓は月次・週次・日次・時間単位から選べ、複数を同時適用も可能です。上限到達時は402でブロックされ、ゲートウェイはサブ秒単位で評価します。ダッシュボードではワークスペース・ユーザー・APIキー別のリアルタイムコスト集計を確認できます。

PII・シークレットの検知とマスキング

リクエスト送信前に名前・住所・社会保障番号・各種APIキーなどを検出し、プレースホルダへ置換します。エージェントは応答を受け取り続け、トレースにもマスキング済みの内容だけが残ります。対応プロバイダはOpenAI、Anthropic、Google Gemini、AWS Bedrockなど7社です。

トレースの連続性と監査ログ

ゲートウェイ経由の呼び出しも、既存のエージェントトレースと同じワークスペースに記録されます。設定変更やゲートウェイ呼び出しの管理操作は監査ログに残り、別途監査基盤を立てなくても記録を追えます。

導入の手順

設定は公式ブログが「意図的に地味」と表現するほどシンプルです。エージェントのbase_urlをLangSmith Gatewayのエンドポイントへ差し替え、プロバイダキーをワークスペースのシークレットに登録し、LangSmith UIでポリシーを設定します。コード本体の変更はURLの差し替えが中心です。

ポリシー作成にはorganization:manage権限が必要です。Settings → Gateway → LLM Gatewayから、支出上限やPII・シークレットの各ポリシーを作成します。保存後すぐに有効になります。

他のガバナンス手段との違い

ネットワーク層のゲートウェイはレート制限やルーティングに強い一方、ポリシー発火時のトレース文脈が得にくいとLangChainは指摘しています。スタンドアロンのガードレール製品は評価機能が充実する反面、エージェントとトレースが二重管理になります。LLM Gatewayはエージェントフレームワーク上で構築・実行される場所に紐づくため、ポリシーイベントとトレース・評価・ダッシュボードが同一ワークスペースに集約されます。

今後はPII・シークレット以外のセキュリティ制御、ソフトなロールアウトやモデルフォールバック、ツール呼び出しやMCPサーバー向けのゲートウェイ拡張が予定されています。エージェントの構築・観測・評価と、実行時のルール強制を同じプロダクトで担う方向性が、LangSmith LLM Gatewayの核心です。