WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World

著者 Ao Liang, Lingdong Kong, Tianyi Yan, Hongsi Liu, Wesley Yang, Ziqi Huang, Wei Yin, Jialong Zuo, Yixuan Hu, Dekai Zhu, Dongyue Lu, Youquan Liu, Guangfeng Jiang, Linfeng Li, Xiangtai Li, Long Zhuo, Lai Xing Ng, Benoit R. Cottereau, Changxin Gao, Liang Pan, Wei Tsang Ooi, Ziwei Liu

所属 WorldBench Team（主要貢献者・プロジェクトリーダー・責任著者を含む大規模チーム）

投稿日 2025年12月13日

カテゴリ cs.AI, cs.CV, cs.LG

arXiv 2512.10958v1 ↗

WorldLens: Full-Spectrum Evaluations of Driving World Models in Real World

基本情報

arXiv ID: 2512.10958v1 (https://arxiv.org/abs/2512.10958)
著者: Ao Liang, Lingdong Kong, Tianyi Yan, Hongsi Liu, Wesley Yang, Ziqi Huang, Wei Yin, Jialong Zuo, Yixuan Hu, Dekai Zhu, Dongyue Lu, Youquan Liu, Guangfeng Jiang, Linfeng Li, Xiangtai Li, Long Zhuo, Lai Xing Ng, Benoit R. Cottereau, Changxin Gao, Liang Pan, Wei Tsang Ooi, Ziwei Liu
所属: WorldBench Team（主要貢献者・プロジェクトリーダー・責任著者を含む大規模チーム）
投稿日: 2025年12月13日
カテゴリ: cs.AI, cs.CV, cs.LG

簡単に説明すると

この論文は、自動運転のためのジェネレーティブワールドモデルを総合的に評価するベンチマーク「WorldLens」を提案しています。
従来の評価手法が視覚的なリアリズムにとどまっていたのに対し、WorldLensは生成・再構築・行動追従・下流タスク・人間の好み
という5つの側面から24の評価次元を設定し、物理的整合性や機能的信頼性まで包括的に測定します。また、26,808件の
人間アノテーションデータセット「WorldLens-26K」と、人間の評価を学習した自動評価エージェント「WorldLens-Agent」も
開発しています。

関連リンク：

プロジェクトページ: https://worldbench.github.io/worldlens
GitHubリポジトリ: https://github.com/worldbench/WorldLens
HuggingFaceリーダーボード: https://huggingface.co/spaces/worldbench/WorldLens
HuggingFaceデータセット: https://huggingface.co/datasets/worldbench

1. 研究概要

1.1 背景と動機

ジェネレーティブワールドモデルは、具身化AIとシミュレーションの分野に革命をもたらしており、テキストから4D合成、
制御可能な運転環境まで、驚くべき視覚的リアリズムを持つダッシュカムライクなシーケンスを生成できるようになりました。
しかし、評価手法がこの進歩に追いついておらず、生成された世界が幾何学的一貫性を保持し、物理法則を尊重し、
信頼性のある意思決定をサポートするかを測定する標準化された方法が欠如しています。

現在広く使われている評価指標は、フレーム品質と美的観点を重視していますが、物理的因果関係、多視点幾何学、
制御下での機能的信頼性についてはほとんど明らかにしていません。このギャップにより、断片的な進歩と比較不可能な
結果が生まれており、自動運転レベル分類のような成熟した評価プロトコルが運転ワールドモデルの評価には
存在していない状況です。

1.2 主要な貢献

本研究は、ワールドモデルが生成された世界をどの程度よく「構築」し、「理解」し、「振る舞う」かを評価する
包括的なベンチマークを構築することで、この評価ギャップを埋めることを目的としています。

WorldLensベンチマーク: 5つの補完的側面（生成・再構築・行動追従・下流タスク・人間の好み）にわたって24の詳細な評価次元を定義し、視覚的リアリズム、幾何学的一貫性、物理的妥当性、機能的信頼性を包括的に測定
WorldLens-26Kデータセット: 26,808件の人間アノテーション記録を含む大規模データセット。数値スコアと文章による根拠説明の両方を提供し、知覚的品質、物理的妥当性、安全性評価の側面をカバー
WorldLens-Agent: 人間の好みから学習した自動評価エージェント。人間アライメントされたスコア予測と自然言語による説明生成が可能
包括的実験結果: 代表的な運転ワールドモデルに対する詳細な評価により、既存手法の限界と改善方向を明確化
設計指針の提供: 物理的に根拠のあるワールドモデル開発のための具体的なガイドラインを提示

2. 提案手法

2.1 手法の概要

WorldLensは、ジェネレーティブワールドモデルの評価を5つの補完的側面に分解します。各側面は、低レベルの外観忠実性から
高レベルの行動リアリズムまでをカバーし、人間の知覚、物理推論、下流有用性を橋渡しする包括的なフレームワークを
形成しています。

Generation（生成）: 視覚的リアリズム、時間的安定性、幾何学的正確性、意味的滑らかさを8つの次元で評価。
Subject Fidelity、Subject Coherence、Subject Consistency、Depth Discrepancy、Temporal Consistency、
Semantic Consistency、Perceptual Discrepancy、Cross-View Consistencyを測定します。

Reconstruction（再構築）: 生成された動画から一貫した4Dシーンを回復できるかを4つの次元で評価。
Photometric Error、Geometric Discrepancy、Novel-View Quality、Novel-View Discrepancyを通じて、
空間補間、視差、ビュー汎化を測定します。

Action-Following（行動追従）: 事前訓練された行動プランナーによる制御下での機能性を4つの次元で評価。
Displacement Error、Open-Loop Adherence、Route Completion、Closed-Loop Adherenceを測定し、
生成された世界が現実世界一貫の行動を支援するかを検証します。

Downstream Task（下流タスク）: 合成データの実用性を4つの知覚タスクで評価。Map Segmentation、
3D Object Detection、3D Object Tracking、Occupancy Predictionにおける性能劣化を通じて、
生成されたシーンのリアリズム、忠実性、転移可能性を測定します。

Human Preference（人間の好み）: 主観的評価を4つの次元で実施。World Realism、Physical Plausibility、
3D & 4D Consistency、Behavioral Safetyを1-10スケールで評価し、人間の知覚的忠実性との整合を測定します。

2.2 技術的詳細

各評価次元は、具体的なアルゴリズムと計算手法に基づいて実装されています。

生成品質の評価: DINOv2、CLIP、SegFormer、Depth Anything V2などの事前訓練モデルを活用し、
物体レベルの忠実性からグローバルな知覚的一貫性まで多層的に評価。LoFTRによる特徴対応検出により
多視点間の幾何学的整合性を測定。

再構築性の評価: 4Dガウシアンフィールドによる微分可能レンダリングを用いて、生成された動画を
4D表現に変換。オリジナルと新規カメラ軌道の両方での再レンダリングにより、測光誤差と幾何学的差異を定量化。

行動追従の評価: UniADやVADなどの事前訓練エンドツーエンドプランナーを用いて、生成された世界内での
運転性能を評価。オープンループとクローズドループの両方で、軌道誤差、安全性、進行度、快適性を測定。

下流タスクの評価: BEVFusion、SparseOccなどの実世界データで訓練された知覚モデルを合成データに適用し、
性能劣化を通じて実用性を定量評価。mIoU、NDS、AMOTA、RayIoUなど標準的な評価指標を使用。

人間アノテーション: 10名のアノテーターによる構造化された多段階パイプライン。生成動画、意味マスク、
深度マップ、3Dバウンディングボックスの4つの同期ビューを提示し、一貫性と領域理解を促進。

2.3 新規性

従来の評価手法と比較した本手法の革新的な側面は以下の通りです：

多次元的包括評価: 視覚的リアリズムのみに焦点を当てた従来手法に対し、物理的整合性、機能的信頼性、
人間の知覚的評価まで含む24次元の包括的評価フレームワークを構築。

4D再構築による評価: 生成された2D動画を4Dシーンに再構築し、新規視点からの品質評価を行う革新的なアプローチ。
これにより、表面的な視覚品質では検出できない幾何学的不整合を発見。

実機能性の評価: 生成された世界で実際に自動運転プランナーを動作させ、クローズドループシミュレーションによる
機能的信頼性を評価する新しい評価パラダイム。

人間アライメント評価エージェント: 大規模な人間アノテーションデータから学習した自動評価エージェントにより、
スケーラブルで説明可能な評価を実現。人間の判断基準を機械学習モデルに転移。

統合エコシステム: ベンチマーク、データセット、評価エージェントが統合された包括的な評価エコシステムの構築。
これにより、客観的測定と人間の解釈を橋渡し。

3. 実験結果

3.1 実験設定

実験では、代表的な運転ワールドモデルをWorldLensの全5側面で包括的に評価しました。評価対象モデルには
MagicDrive、OpenDWM、DreamForge、DiST-4D、DriveDreamer-2などが含まれます。

データセット: nuScenesおよびnuPlanから派生した標準的なベンチマークを使用し、実世界マップに基づく
カスタム設計ルートでの評価を実施。

評価プロトコル: 各モデルで生成された動画に対して、24の評価次元すべてで定量的測定を実行。
人間評価については、10名のアノテーターが2つの独立グループに分かれ、不一致時には再評価により一貫性を確保。

実装詳細: 各評価次元に対応する事前訓練モデルとアルゴリズムを使用。4D再構築にはガウシアンフィールド、
行動評価にはUniAD/VADプランナー、下流タスク評価には対応する知覚モデルを採用。

3.2 主要な結果

実験結果から、既存のワールドモデルには大きな改善余地があることが明らかになりました。

生成品質: 全モデルが「実証的最大値」を大幅に下回り、視覚的・時間的リアリズムの向上が必要。
DiST-4Dが最低のPerceptual Discrepancyを達成する一方、OpenDWMがSubject FidelityとView Consistencyで
優れた性能を示し、知覚的指標だけでは物理的に一貫したシーン生成を評価できないことが判明。

再構築性: MagicDriveが最も弱い再構築性を示し、Photometric ErrorとGeometric Discrepancyが
OpenDWMの2倍以上。OpenDWMとDiST-4Dは55%程度の誤差削減を達成し、より構造的に一貫したシーケンスを生成。
DiST-4DがRGB-D生成設計により最高のNovel-View Qualityを実現。

行動追従: オープンループとクローズドループ性能の大きな格差が判明。強いオープンループ結果にも関わらず、
全手法がクローズドループ条件で崩壊し、わずかなRoute Completion率のみを達成。
頻繁な失敗（衝突、路外逸脱など）により、現在の合成データが高レベル制御における実世界データの
適切な代替となりえないことが示される。

下流タスク: DiST-4Dが全タスクで大幅にリードし、平均30-40%次善モデルを上回る。
DriveDreamer-2が2位、特に占有予測で優秀。興味深いことに、強い知覚的品質にも関わらず、
OpenDWMが検出（21.9%）と追跡（6.9%）で劣化し、大規模マルチドメイン訓練が特定データセット
分布への適応を阻害する可能性を示唆。

人間評価: 全体的なスコアは控えめ（平均2-3/10）で、現在のワールドモデルが人間レベルのリアリズムから
程遠いことを示唆。DiST-4Dが全次元で最もバランスの取れたスコアを達成し、physical plausibility（2.58）
とbehavioral safety（2.59）でリード。OpenDWMが最高のrealism（2.76）を達成するも、
物理的一貫性が若干低下。

3.3 既存手法との比較

比較分析により、各モデルの特徴と限界が明確になりました：

DiST-4D: 幾何学と新規視点メトリクスで最高性能。RGB-D生成と分離された時空間拡散により、
時間的予測と空間合成を共同モデル化。特に下流タスクと物理的妥当性で優秀。

OpenDWM: 測光忠実性でリード。大規模マルチデータセット訓練により最もバランスの取れた
全体的性能を提供するも、特定タスク分布への適応で課題。

MagicDrive: 全体的に最低性能。限定的な時空間コヒーレンスにより、再構築性と下流タスクで著しく劣化。

DreamForge: 類似の制約を示し、限定的な3D一貫性。再構築時に密集した浮遊物と歪みを生成。

DriveDreamer-2: 時間的調整により占有予測で2位。条件付きアプローチにより一貫した動画生成で改善。

これらの結果は、視覚的リアリズム、幾何学的一貫性、下流有用性が相互補完的であり、
互換性がないことを示し、多次元ベンチマーキングの必要性を強調しています。

4. 実用性評価

4.1 実装の容易性

WorldLensベンチマークは、モジュラー設計により比較的実装しやすい構成になっています。各評価次元が
独立して実装可能で、既存の事前訓練モデルを多く活用するため、新しいワールドモデルの評価には
適度な計算リソースがあれば対応可能です。

ただし、4D再構築評価や人間アノテーションの部分は専門知識と時間を要します。特に人間評価では
930時間以上の作業が必要で、新しいモデルの評価時にはWorldLens-Agentによる自動評価が実用的な代替手段となります。
コードとデータセットの公開により、研究コミュニティでの採用が促進されると期待されます。

4.2 計算効率

評価プロセスの計算効率は評価次元により異なります。基本的な生成品質評価（CLIP、DINOv2特徴量抽出）は
比較的軽量ですが、4Dガウシアンフィールド再構築やクローズドループシミュレーションは計算量が大きくなります。

下流タスク評価では、複数の重い知覚モデル（BEVFusion、SparseOccなど）を実行する必要があり、
GPUリソースが必要です。しかし、バッチ処理とパイプライン並列化により効率化が可能で、
実用的な時間内での評価が実現できます。WorldLens-Agentによる人間評価の自動化により、
最も時間のかかる部分が大幅に効率化されます。

4.3 応用可能性

WorldLensの応用可能性は非常に高く、複数の方向での活用が期待されます。

ワールドモデル開発: 新しいワールドモデルの包括的評価により、研究者は単一の視覚品質指標に頼らず、
物理的整合性と機能性を同時に向上させることが可能。設計指針により、幾何学認識、時空間安定化、
タスク適応性の重要性が明確化。

自動運転システム: 生成された合成データの品質評価により、シミュレーションベースの訓練と
テストの信頼性向上。特にクローズドループ評価により、実際の制御環境での適用可能性を事前検証。

データ拡張: 合成データの品質が定量的に測定できることで、実世界データの効果的な補完が可能。
特に希少なシナリオや危険状況のシミュレーションにおいて有用。

評価標準化: 分野全体での標準的な評価プロトコルの確立により、研究結果の比較可能性と再現性が向上。
WorldLens-Agentによるスケーラブルな評価により、継続的なベンチマーキングが可能。

学習データ生成: WorldLens-26Kデータセットを活用した報酬関数学習や強化学習ベースの
ワールドモデル改善が期待。人間の好みアライメントにより、より現実的で安全なシミュレーションが実現。

5. まとめと所感

5.1 論文の意義

この論文は、ジェネレーティブワールドモデルの評価に革命的な変化をもたらす重要な貢献です。
従来の視覚品質中心の評価から、物理的整合性、機能的信頼性、人間の知覚的評価を包含する
包括的な評価フレームワークへの転換は、この分野の成熟化において極めて重要な意味を持ちます。

特に注目すべきは、評価の包括性です。24の評価次元により、表面的な視覚品質では検出できない
深刻な問題（幾何学的不整合、物理法則違反、機能的信頼性の欠如）を体系的に明らかにしています。
4D再構築による評価やクローズドループシミュレーションなどの革新的な評価手法により、
従来見過ごされてきた重要な品質側面が可視化されました。

人間アライメント評価エージェントの開発は、特に価値があります。大規模な人間アノテーションから
学習した自動評価により、主観的評価の客観化とスケーラブル化を実現し、継続的な品質監視を
可能にしています。これは、機械学習における人間フィードバックからの学習の新しい応用例として、
他の分野への展開も期待されます。

実験結果が示す現実は、現在のワールドモデルの限界を厳しく明らかにしています。
人間評価での低スコア（2-3/10）やクローズドループでの機能的失敗は、見た目の印象的な結果とは
対照的に、実用的な応用にはまだ大きな改善が必要であることを示しています。
この「現実的な」評価は、分野の健全な発展にとって極めて重要です。

5.2 今後の展望

本研究により明らかになった課題と改善方向は、今後の研究に明確な道筋を提供しています。

技術的改善方向: 論文が提示する設計指針（幾何学の明示的予測、前景動的安定化、
自己回帰的堅牢性など）は、次世代ワールドモデルの開発において重要な指針となるでしょう。
外観と幾何学の統合最適化、時空間正則化による一貫性向上、ストリーミング拡散による
累積誤差軽減などが重要な研究方向として浮上しています。

評価フレームワークの発展: WorldLensは出発点であり、今後さらなる評価次元の追加や
精緻化が期待されます。特に、より複雑な交通シナリオ、天候条件、異なる地理的環境での
評価拡張が重要になるでしょう。また、リアルタイム評価やオンライン学習への適用も
興味深い研究方向です。

産業応用への橋渡し: 標準化された評価により、学術研究と産業応用の間のギャップが
縮小することが期待されます。特に自動運転業界において、合成データの品質保証と
実用性評価の標準化は、開発効率と安全性の向上に直結するでしょう。

他分野への展開: ワールドモデル評価の概念は、ロボティクス、ゲーム開発、バーチャルリアリティ
など他の分野にも応用可能です。特に、物理シミュレーションの品質評価や
人間の知覚的リアリズム評価は、広範な応用が期待されます。

この研究は、生成AIとシミュレーション技術の実用化において重要なマイルストーンを示しており、
「見た目が良い」から「実際に使える」への転換点として、長期的な影響を与えることが予想されます。