Unique Lives, Shared World: Learning from Single-Life Videos

基本情報

arXiv IDは2512.04085v1です。
論文のURLは https://arxiv.org/abs/2512.04085 です。
著者は Tengda Han、Sayna Ebrahimi、Dilara Gokay、Li Yang Ku、Maks Ovsjanikov らの12名です。
全員がGoogle DeepMindに所属しています。
投稿日は2025年12月05日で、カテゴリはcs.CVです。

簡単に説明すると

この論文は、1人の人物が撮影した一人称視点（エゴセントリック）動画のみを使用して視覚表現を学習する「シングルライフ学習パラダイム」を提案している。
従来のアプローチが多様なWebデータを大規模に集約して学習するのに対し、個人の生活から得られる視覚体験のみでも世界の幾何学的構造を理解するための強力な表現を学習できることを示している。
特に、異なる個人の動画で独立して訓練されたモデルが同様の幾何学的理解に収束するという「共有世界仮説」を実証している。
個人の体験が世界の物理法則に制約されているため、学習される表現が機能的に類似することを明らかにしている。

1. 研究概要

1.1 背景と動機

現在の視覚表現学習は、データの規模と多様性を重視しており、Webスケールの多様なデータから学習することで優れた汎化性能を示しています。
しかし、このパラダイムは人間の学習プロセスとは大きく異なります。
人間は自分自身の体験から得られる高度に冗長で限定的な視覚データストリームから学習しており、無関係な多数のソースから収集された画像やクリップのランダムなコレクションからは学習していません。

重要な点として、個々の視覚体験は独特でありながら、すべて同じ物理世界に基づいて条件付けられているということです。
3Dユークリッド幾何学や物体の永続性などの構造的特性は、すべての視覚データに一貫した痕跡を残す普遍的な特性です。
このような世界の共有された物理法則が、異なる個人の体験から学習される表現の収束を導くという仮説を立てています。

1.2 主要な貢献

この研究では、シングルライフ学習パラダイムにおいて4つの主要な貢献をしています。
まず、異なる重複しない個人の生活で独立して訓練されたモデルが、高度に一貫した幾何学的理解を発達させることを初めて示しました。
第二に、20の異なる「生活」を含む多様なシングルライフデータソースをキュレーションし分析しました。
これには週単位で最大38時間の記録を含む4つの異なる生活が含まれます。
第三に、パッチレベルでの学習された視覚表現の機能的類似性を測定する新しい指標を導入しました。
第四に、シングルライフ学習パラダイムの実用性を実証し、これらのモデルが未見環境での下流幾何学的タスクに効果的に転移することを示しました。

2. 提案手法

2.1 手法の概要

研究の核となるデータは「ライフ」と定義される個人のエゴセントリック動画ストリームです。
従来のデータ集約による統合モデル訓練ではなく、シングルライフ学習パラダイムでは各ライフに対して個別のモデルを訓練します。
n個の個人に対してそれぞれ独立したパラメータセットを最適化し、その結果として独立して訓練されたn個のモデルを得ます。

アーキテクチャとして、エゴセントリック動画ストリームに内在する幾何学的信号から学習可能なCross-View Completion（CroCo）アーキテクチャを採用しています。
これは複数の視点から場面を観察することで堅牢な幾何学的表現を学習するモデルです。
シャム式エンコーダ・デコーダトランスフォーマーを使用し、ソース画像とターゲット画像のペアから学習します。

2.2 技術的詳細

CroCoアーキテクチャでは、重み共有ViTエンコーダが完全なソースパッチセットと可視ターゲットパッチを独立して処理し、潜在特徴埋め込みを生成します。
トランスフォーマーデコーダがマスクされたターゲットパッチを再構築し、クロスアテンション機構を通じてターゲットとソースパッチトークン間のペアワイズ類似性を捉えます。
モデル全体は、再構築されたピクセルと元のマスクターゲットパッチ間の平均二乗誤差を最小化することで端から端まで訓練されます。

画像ペアリング戦略として、時間的ペアリングと空間的ペアリングの2つのアプローチを提案します。
時間的ペアリングは動画の自然な連続性を活用し、時間的に近いフレームが非自明な視点重複を持つという仮定に基づきます。
空間的ペアリングは固有受容感覚にインスパイアされ、カメラポーズと3D点群を使用して高度な重複を持つフレームペアを特定します。

2.3 新規性

この研究の新規性は、従来の多様なWebスケールデータではなく、単一個人のエゴセントリック体験のみから幾何学的表現を学習する点にあります。
また、異なる生活で訓練されたモデル間の表現アライメントを測定する新しい指標として、Correspondence Alignment Score（CAS）を導入しています。
これはクロスアテンションマップを利用してパッチレベルでの機能的類似性を評価する手法で、従来の画像全体を単一インスタンスとして扱う手法とは異なります。

3. 実験結果

3.1 実験設定

3つのエゴセントリック動画データセットを使用して評価しました。
HD-Epicは英国の9つのキッチンから収集された室内データで、8つの単一室内ライフを提供します。
Walking Toursは様々な都市環境での1時間の歩行動画で、8つの屋外ライフを含みます。
Anonymous Lives（ALD）は週単位で30-38時間の長期記録を含む4つのライフを提供します。

評価指標として、表現アライメントにはCASスコアを使用し、汎化性能には深度推定とゼロショット対応タスクを採用しました。
深度推定ではNYU-Depth-V2とScanNetベンチマークを使用し、対応マッチングではHPatchesベンチマークを使用しました。

3.2 主要な結果

実験結果は3つの重要な発見を示しています。
まず、アライメントの出現には30分から1時間という重要な期間が存在することを確認しました。
Walking Toursでは30分、HD-EpicとALDでは1-2時間でCroCoチェックポイントとの強い幾何学的アライメントが出現します。
一方、非ライフ制御動画ではほぼゼロのアライメントを示し、長時間の動画での訓練だけでは不十分であることが証明されました。

第二に、シングルライフモデル間のアライメント分析では、同じデータセット内のモデル（例：HD-Epicのすべてのキッチン）が異なるデータセット間よりも強くアライメントすることが示されました。
これは環境固有の特性が学習表現に明確な影響を残すことを示唆しています。

第三に、汎化性能の評価では、シングルライフモデルが下流幾何学的タスクに効果的に転移し、特に長期間（約30時間）では同規模の多様なK400データセットと競合する性能を示しました。

3.3 既存手法との比較

シングルライフ学習は同規模の多様なデータと競合する性能を示しています。
特に、30時間のALDライフで訓練されたモデルは、30時間のK400データセットで訓練されたモデルと同等またはそれ以上の性能を達成しました。
これは単一ライフ内の密で構造化された信号が、等量の多様なデータよりも幾何学的な先験知識を学習するためのより効果的なソースである可能性を示唆しています。

4. 実用性評価

4.1 実装の容易性

提案手法はCroCoアーキテクチャをベースとしており、既存の実装を活用できるため実装は比較的容易です。
主な変更点は、多様なWebデータの代わりにエゴセントリック動画からのペアサンプリング戦略のみです。
時間的ペアリングは特に簡単で、動画以外の追加情報を必要としません。

4.2 計算効率

単一ライフでの訓練では、大規模な多様データセットと比較して計算コスト削減の可能性があります。
30時間の単一ライフデータで競合する性能を達成できることから、データ効率の向上とそれに伴う計算効率の改善が期待されます。
ただし、複数の独立したモデルを訓練する必要がある場合、総計算コストの評価が重要です。

4.3 応用可能性

エゴセントリック動画の増加により、ロボティクス、拡張現実、パーソナライズされたAIアシスタントなどの分野での応用が期待されます。
特に、個人の環境や行動パターンに特化した視覚理解システムの開発に有用です。
また、プライバシーを重視するアプリケーションでは、個人データを外部と共有せずに済む利点があります。

5. まとめと所感

5.1 論文の意義

この研究は視覚表現学習における根本的な問題提起をしています。
Webスケールの多様なデータが必須とされていた従来の常識に対し、単一個人の体験からでも強力な幾何学的表現が学習可能であることを実証しました。
共有世界仮説の実証は、異なる個人の体験が同じ物理法則に制約されているため、収束する表現を学習するという理論的基盤を提供しています。

新しく導入されたCAS指標は、独立して訓練された視覚モデルの比較分析のための有用なツールとなります。
パッチレベルでの機能的な類似性評価は、幾何学的や局所化されたモデル比較により適しています。

5.2 今後の展望

この研究は多くの将来の研究方向を示唆しています。
まず、より長期間のシングルライフデータでの実験により、人間の完全な視覚体験により近い条件での学習可能性を探ることができます。
また、幾何学的タスクを超えて、セマンティックな表現学習への拡張も重要な研究課題です。

プライバシー保護の観点から、連合学習との組み合わせによる分散シングルライフ学習システムの開発も有望です。
さらに、異なる感覚モダリティ（音声、触覚など）を統合したマルチモーダルシングルライフ学習への発展も期待されます。
リアルタイム学習システムへの応用や、個人適応型AIシステムの基盤技術としての活用も今後の重要な研究方向となるでしょう。