自動運転AIの訓練には大量の3Dシミュレーション環境が必要ですが、実際の走行映像から個別オブジェクトの3Dアセットを生成するパイプラインはこれまで整備されていませんでした。NVIDIAが2026年4月に公開したオープンソースツール「Asset Harvester」はその課題を解決します。

この記事でわかること：

  • Asset Harvesterが解決する自動運転シミュレーションの課題
  • パイプラインを構成する3つのコア技術コンポーネント
  • セットアップの手順と動作要件

自動運転シミュレーションが抱える3Dアセット問題

自動運転車（AV）の開発では、クローズドループシミュレーションが中核を担います。実際の道路テストの前に仮想環境でエージェントの挙動を検証できるため、安全性の担保とコスト削減が両立できます。

ニューラルシーン再構成（Neural Scene Reconstruction）技術により、走行ログからインタラクティブな3D環境を生成できるようになりました。ただし、従来手法には根本的な制約があります。シーン全体は再現できても、車両や歩行者といった個別オブジェクトの独立した3Dアセットは生成できなかったのです。

オブジェクト単体の操作や大きな視点変化への対応には、独立した3Dアセットが不可欠です。走行ログには各オブジェクトをごく限られた角度からしか捉えていないデータしかなく、ここから完全な3Dモデルを作ることが課題でした。

Asset Harvesterとは

https://github.com/nvidia/asset-harvester/

NVIDIAが2026年4月20日に公開した、Apache 2.0ライセンスのオープンソースパイプラインです。実際の走行ログに含まれる疎な観測データ（1枚または数枚の視点）から、シミュレーション用の完全な3Dアセットを生成します。

対応オブジェクトは車両、歩行者、ライダー（自転車・バイク搭乗者）など道路上に存在するあらゆる物体です。重い遮蔽やノイズの多いカメラキャリブレーション、極端な視点バイアスといった実世界データ特有の困難な条件にも対応しています。

生成される3DアセットはGaussian Splat形式で、NVIDIAの自動運転シミュレーション環境「NuRec」に直接挿入できます。NVIDIA NCore（走行ログデータプラットフォーム）との連携もエンド・ツー・エンドでサポートしています。

パイプラインを構成するコア技術

Asset Harvesterは、複数のコンポーネントを組み合わせたシステム設計になっています。単一のモデルに依存せず、AV特有のデータ条件に対応するために各モジュールを分担させています。

SparseViewDiT（マルチビュー拡散モデル）

疎な視点情報から複数の一貫したビューを生成する拡散モデルです。「限られた角度からしか映像がない」という実世界AVデータの問題を解決するために設計されました。1枚の入力画像から16視点の画像を生成し、後続の3D再構成に渡します。大規模なオブジェクト中心の学習データキュレーションと、ハイブリッドなデータ拡張・自己蒸留を組み合わせたトレーニングレシピを採用しています。

TokenGS（3D Gaussianリフティング）

生成された複数ビューの画像を3D Gaussian Splatへ変換するフィードフォワードモデルです。変換は数秒で完了します。高品質なレンダリングと高速な推論を両立させており、シミュレーション用アセットとしてそのまま利用できる品質のモデルを出力します。

カメラポーズ推定モジュール

単一視点の任意の画像に対してカメラ姿勢を推定します。これにより、NCore形式の走行ログがなくても、手持ちの画像1枚からAsset Harvesterを動かすことができます。フォアグラウンドマスクが不要なため、前処理のハードルも低くなっています。

セットアップの手順と動作要件

動作には以下の環境が必要です。GPUはVRAM 16GB以上が推奨されています。VRAMが不足する場合は --offload_model_to_cpu オプションで一部モデルをCPUにオフロードできます。

  • NVIDIA GPU（VRAM 16GB以上推奨）
  • NVIDIAドライバ 570以上（CUDA 12.8対応）
  • GCC 10〜13（GCC 12.3でのテスト済み）
  • conda（Miniconda または Miniforge）

セットアップはリポジトリのシェルスクリプト一発で完了します。

git clone https://github.com/NVIDIA/asset-harvester.git
cd asset-harvester
bash setup.sh
conda activate asset-harvester

初期セットアップには約20分かかります。完了後、HuggingFaceからモデルチェックポイントをダウンロードします。

pip install huggingface_hub[cli]
hf auth login
hf download nvidia/asset-harvester --local-dir checkpoints

ダウンロードされるチェックポイントはマルチビュー拡散モデル、3D Gaussianリフティングモデル、カメラポーズ推定モデル、オブジェクトセグメンテーションモデルの4ファイルです。ローカル環境を用意する前に動作確認したい場合は、HuggingFace Spacesのライブデモも公開されています。

まとめ

Asset Harvesterは、自動運転シミュレーションに必要な3Dアセット生成の空白を埋めるパイプラインです。走行ログからの疎な観測データを入力とし、SparseViewDiTによる多視点生成とTokenGSによる3D変換を経て、シミュレーション挿入可能なGaussian Splatアセットを数秒で出力します。Apache 2.0ライセンスで公開されており、コード・モデル・デモ・ベンチマークデータセットがすべてHuggingFaceとGitHubで入手できます。