NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

著者 Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng
所属 University of Waterloo, National Research Council Canada
投稿日 2025年07月15日
カテゴリ cs.CV, cs.AI, cs.CL, cs.HC, cs.LG
arXiv 2507.08800v1 ↗

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

基本情報

  • arXiv ID: 2507.08800v1 (https://arxiv.org/abs/2507.08800)
  • 著者: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng
  • 所属: University of Waterloo, National Research Council Canada
  • 投稿日: 2025年07月15日
  • カテゴリ: cs.CV, cs.AI, cs.CL, cs.HC, cs.LG

簡単に説明すると

NeuralOSは、オペレーティングシステム（OS）のグラフィカルユーザーインターフェース（GUI）を、ニューラルネットワークだけで完全にシミュレートする世界初の試みです。従来のOSがカーネルやアプリケーションプログラムで構成されているのに対し、NeuralOSはマウスの動きやクリック、キーボード入力に応じて画面を生成する深層学習モデルです。

Ubuntu XFCEデスクトップ環境の録画データで学習し、ユーザーの操作に応じてリアルタイムで画面を生成できます。例えば、ホームフォルダのアイコンをダブルクリックするとウィンドウが開き、閉じるボタンをクリックするとウィンドウが消える、といった基本的なOS操作を再現できます。

プロジェクトのウェブサイト（https://neural-os.com）では、実際のデモ、ソースコード、学習済みモデルが公開されており、誰でも試すことができます。

1. 研究概要

1.1 背景と動機

この研究の動機は、Andrej Karpathyの言葉「LLMとのチャットは80年代のコンピュータターミナルを使っているようだ。GUIはまだ発明されていないが、その特性のいくつかは予測できる」から始まっています。

現在のコンピュータインターフェースは固定的で柔軟性に欠けます。メニューやボタンの配置は事前に決められており、ユーザーの好みや状況に応じて動的に変化することはありません。一方、大規模言語モデル（LLM）や画像生成モデルの登場により、AIが人間の意図を理解し、適応的に応答できることが示されました。

NeuralOSは、この生成AIの能力をOSインターフェースに応用し、将来的には自然言語やジェスチャーで制御できる、完全に適応的なインターフェースの実現を目指しています。例えば、映画のような受動的なメディアをインタラクティブな体験に変換したり、アプリケーション間の境界を曖昧にしたりする可能性を探求しています。

1.2 主要な貢献

この研究の主要な貢献は以下の4点に集約されます。

  • OSのグラフィカルインターフェースを完全にニューラルネットワークでシミュレートする初の試み
  • RNN（リカレントニューラルネットワーク）による状態追跡と拡散モデルによる画面生成を組み合わせた新しいアーキテクチャ
  • OS特有の課題（長期的な状態追跡、正確なカーソル位置予測、離散的なイベント処理）に対処する多段階学習手法
  • Ubuntu XFCE環境の大規模データセット（AIエージェントによる2,000件の実用的な操作と120,000件のランダム操作）の構築

2. 提案手法

2.1 手法の概要

NeuralOSは、OSインターフェースのシミュレーションを自己回帰的な生成モデリング問題として定式化しています。各時刻tにおいて、モデルは過去の画面フレーム（x₀, x₁, ..., xₜ₋₁）とユーザー入力（マウス座標、クリック、キーボード）を受け取り、次の画面フレームxₜを予測します。

アーキテクチャは従来のOSの構造に着想を得て、2つの主要コンポーネントで構成されています：

  1. OSカーネルに相当する「階層型RNN」（22億パラメータ）：コンピュータの内部状態を追跡
  2. デスクトップレンダリングプログラムに相当する「拡散ベースレンダラー」（2.63億パラメータ）：画面画像を生成

2.2 技術的詳細

潜在拡散フレームワーク
512×384ピクセルの画像を64×48の潜在空間に圧縮するオートエンコーダーを使用。これにより8倍の空間圧縮を実現し、計算効率を大幅に向上させています。各潜在フレームは16チャンネルで表現されます。

階層型RNN
2レベルのLSTMアーキテクチャを採用し、以下の特徴を持ちます：

  • 下位LSTM：ユーザー入力（カーソル位置、クリック、キーボード）を処理
  • マルチヘッドアテンション：前フレームの情報を統合
  • 上位LSTM：アテンション強化された表現を処理
  • フィードバックループ：上位から下位LSTMへのコンテキスト伝達

空間カーソルエンコーディング
カーソル位置を正確に表現するため、カーソル座標を中心としたガウシアン空間マップを使用。これによりワンホットエンコーディングの精度不足を回避し、サブピクセル精度のカーソル位置予測を実現しています。

拡散ベースレンダラー
UNetアーキテクチャを採用し、4つの解像度レベルで処理。ノイズを予測する代わりにクリーンな画像を直接予測することで、RNNからの信号をより良く保持します。

2.3 新規性

既存のビデオ生成や世界モデルと比較して、NeuralOSには以下の新規性があります：

ゲームシミュレーションとの違い

  • GUI遷移の多くは微妙で視覚的に地味（ゲームとは対照的）
  • アプリケーション起動などの離散的イベントの正確な処理が不可欠
  • カーソル位置の精密な予測が必要（1-2ピクセルの精度）

技術的な革新

  • RNN事前学習による表現学習：拡散モデルがRNN出力を無視しないよう、まずMSE損失でRNNを事前学習
  • スケジュールドサンプリング：推論時の露出バイアスを軽減
  • カリキュラム学習：画素差が大きい困難な遷移に焦点を当てた学習
  • コンテキスト長拡張：32フレームから64フレームへの段階的拡張

3. 実験結果

3.1 実験設定

データ収集インフラ

  • 64並列Dockerコンテナ（Ubuntu 20.04 + XFCE）
  • 解像度：512×384、15fps
  • Claude-3.5-Sonnetを使用した2,000件のエージェントベースデモ
  • 120,000件のランダム探索デモ
  • 圧縮後約12TBの潜在データ

学習インフラ

  • 8× NVIDIA H200（各141GB）で17,000 GPU時間
  • 8× NVIDIA H100（各80GB）で6,000 GPU時間
  • 総学習時間：約4ヶ月
  • 推論速度：単一H100でDDIM（32ステップ）使用時1.8fps

3.2 主要な結果

カーソル位置精度
空間カーソルマップを使用した場合、平均誤差はΔx=1.6、Δy=1.4ピクセル（全体の0.5%未満）という高精度を達成。これに対し、空間マップなしではΔx=130.0、Δy=95.8ピクセルと大幅に精度が低下します。

状態遷移モデリング
73種類の困難な遷移クラスターを識別し、37.7%の精度でクラスター予測に成功。多数決投票ベースライン（1.4%）を大幅に上回る性能を示しました。誤予測の多くはタイミングの変動によるもので、実際には妥当な予測であることが多いです。

アブレーション研究

  • 共同学習なし：著しいぼけとカーソルの消失
  • スケジュールドサンプリングなし：エラー蓄積による急速な品質劣化

3.3 既存手法との比較

OSシミュレーションという新しいタスクのため、直接比較可能な既存手法は存在しません。しかし、関連するゲームシミュレーション研究（GameGAN、GameNGen、DIAMOND）と比較して、NeuralOSは以下の独自の課題に対処しています：

  • より微妙な視覚的変化の処理（ゲームのような派手な効果がない）
  • 離散的イベントの正確なタイミング（アプリ起動の遅延など）
  • 高精度のカーソル追跡（ゲームでは不要な精度）

4. 実用性評価

4.1 実装の容易性

NeuralOSのコード、学習済みモデル、インタラクティブデモはhttps://neural-os.com で公開されており、研究コミュニティが容易にアクセスできます。ただし、現在の実装には以下の制約があります：

  • 高性能GPUが必須（推論にH100クラス）
  • 大規模な学習データセット（12TB）の管理
  • 複雑な多段階学習プロセス

4.2 計算効率

計算要求は現時点で非常に高く、実用的な展開には課題があります：

  • 学習：23,000 GPU時間（約100万ドル相当）
  • 推論：H100で1.8fps（リアルタイムの1/8）
  • メモリ：モデル全体で約2.5Bパラメータ

将来的にはGPUネイティブな効率性により、従来のCPUベースOSよりも高速になる可能性があります。

4.3 応用可能性

現在の技術的制約にもかかわらず、NeuralOSは以下の応用可能性を示唆しています：

短期的応用

  • インタラクティブデモやキオスク端末
  • UIデザインのプロトタイピング
  • アクセシビリティ向上（音声制御インターフェース）

長期的ビジョン

  • 自然言語による動的UI生成
  • 受動的メディア（映画）のインタラクティブ化
  • アプリケーション境界の撤廃
  • 個人の好みに完全適応するインターフェース

5. まとめと所感

5.1 論文の意義

NeuralOSは、コンピュータインターフェースの未来に向けた重要な第一歩です。技術的には概念実証段階ですが、以下の点で画期的な意義を持ちます：

まず、OSという複雑なシステムを純粋にニューラルネットワークでシミュレートできることを実証しました。これは、将来のインターフェースが固定的なプログラムではなく、学習された振る舞いとして実現される可能性を示しています。

次に、この研究はHCI（ヒューマンコンピュータインタラクション）分野に新しい研究方向を開きました。生成AIをインターフェース設計に応用することで、ユーザーの意図や文脈に応じて動的に変化する、真に適応的なシステムの実現に近づいています。

また、オープンソースでの公開により、研究コミュニティ全体がこの新しいパラダイムを探求できるようになりました。

5.2 今後の展望

現在の制限事項（低解像度、遅い推論速度、キーボード入力の不正確さ）は技術的な課題ですが、解決不可能ではありません。今後の発展として以下が期待されます：

技術的改善

  • より高解像度での動作（現在の512×384から4K以上へ）
  • リアルタイム推論の実現（専用ハードウェアや最適化により）
  • マルチモーダル制御（音声、ジェスチャー、視線）の統合

応用の拡大

  • 教育用インターフェース（学習者のレベルに応じた動的調整）
  • アクセシビリティ向上（障害に応じたインターフェース生成）
  • クリエイティブツール（思考に応じて変化するインターフェース）

この研究は、「ソフトウェアは書くものではなく、学習させるもの」という新しいパラダイムの始まりを示しています。将来的には、プログラマーがコードを書く代わりに、望ましい振る舞いの例を示すことでシステムを構築する時代が来るかもしれません。