動画の照明環境を後から自由に変えられるとしたら、映像制作や自動運転AIの開発プロセスが根本的に変わる。NVIDIAの研究チームが開発した「DiffusionRenderer」は、2D動画だけを入力に照明を分離・再合成できるニューラルレンダリング技術で、CVPR 2025のオーラル発表を受け、2025年6月にCosmos統合版がオープンソースで公開された。

この記事でわかること：

  • 従来の物理ベースレンダリングが抱える課題
  • DiffusionRendererの逆レンダリング・順レンダリングの仕組み
  • 自動運転開発・映像制作への具体的な活用方法
  • Cosmos Predictとの統合による品質向上

https://github.com/nv-tlabs/cosmos-transfer1-diffusion-renderer

3Dデータなしで照明を変えることが難しかった理由

従来の物理ベースレンダリング（PBR）は、光の反射・透過・散乱を物理的に正確にシミュレートできる手法だ。しかし正確な3Dジオメトリ（形状データ）、素材プロパティ、照明条件という3つの情報が揃っていることが前提で、2D動画だけから照明を変更するような操作には対応していない。

撮影済みの実写映像に別の照明環境を適用したい場合、専用のライトステージで再撮影するか、多大な手作業が必要になる。この課題に対してDiffusionRendererはAIで応えた。

逆レンダリングと順レンダリングを組み合わせた仕組み

DiffusionRendererは「逆レンダリング」と「順レンダリング」を1つのフレームワークに統合している。

逆レンダリング（Inverse Rendering）は入力動画から照明効果を除去し、各ピクセルのサーフェス法線、アルベド（物体本来の色）、粗さ、金属感を推定する。これをGバッファと呼ぶ。推定結果は時間的に整合性があり、複数フレームにわたって安定している。

順レンダリング（Forward Rendering）はGバッファと環境マップ（HDRライティング情報）を入力に、フォトリアルな映像を生成する。明示的なパストレーシングや3D形状データを必要とせず、影や反射も正確に再現される。

この2つを組み合わせることで、元の動画の照明を任意の別環境に差し替えられる。昼の動画を夜景に変えたり、晴天を雨天に変換したりといった操作が2D動画単独で実現できる。

自動運転AI開発での使い方

自動運転モデルの訓練には多様な気象・照明条件のデータが必要だ。しかし現実世界でそれだけ多様な走行データを収集するのは時間とコストがかかる。

DiffusionRendererを使えば、昼間中心の走行動画データセットから、雨天・曇天・夕景・夜間といった多様な照明条件の映像を合成的に生成できる。訓練データの照明多様性を大幅に高めることができるため、挑戦的な照明条件に強いモデルの開発につながる。

映像制作・VFX制作への活用

広告や映画の現場では、撮影後に照明を調整したいシーンが発生することがある。DiffusionRendererを利用したツールを使えば、専用ライトステージでの再撮影前にソフトウェア上で照明の検討・イテレーションができる。

また素材編集にも対応している。推定したGバッファの粗さや金属感を編集し、その状態でフォトリアルな映像を再生成することで、撮影済みの動画内のオブジェクトの素材感を変更できる。新しいオブジェクトをシーンに対してリアルな照明条件で合成（オブジェクト挿入）することも可能だ。

Cosmos Predictとの統合で品質が向上

NVIDIA研究チームはCVPR 2025の論文発表後、DiffusionRendererをNVIDIA Cosmosの「Cosmos Predict-1」と統合した。Cosmos Predictは物理的に整合した動画を生成する動画拡散モデル群で、物理AIの合成データ生成向けに設計されている。

大規模な動画拡散モデルを組み合わせることでスケーリング効果が生じ、デライティングとリライティングの品質が向上した。より鮮明で正確、かつ時間的に整合性のある結果が得られるようになった点が改善の核心だ。

Cosmos Predict-1を統合した「Cosmos-Transfer1-DiffusionRenderer」は2025年6月12日にGitHubでオープンソース公開されており、モデルウェイトとともに試すことができる（参考）。

2D動画から照明制御が可能な時代へ

DiffusionRendererはCVPR 2025でオーラル発表を受けており、自動運転・映像制作・3D研究の分野にまたがる実用的な応用が示されている。3Dデータなしに動画の照明を自在に操作できる手法が公開されたことで、合成データ生成ツールや映像編集ワークフローへの組み込みが今後加速するだろう。