ToonComposer: Streamlining Cartoon Production with Generative Post-Keyframing

基本情報

arXiv IDは2508.10881v1です。著者はLingen Li他8名です。
所属機関はThe Chinese University of Hong Kong、ARC Lab Tencent PCG、Peking Universityです。
投稿日は2025年08月20日で、カテゴリはcs.CV、cs.AIです。

簡単に説明すると

アニメやカートゥーン制作を劇的に効率化する革新的なAIシステムです。従来の中間フレーム作成と彩色工程を「post-keyframing」と呼ばれる単一の自動プロセスに統合しました。スパースなキーフレームスケッチと単一のカラー参照フレームから高品質なカートゥーン動画を生成します。Diffusion Transformerアーキテクチャをベースに、空間低ランクアダプター（SLRA）や領域の制御機能を導入しています。プロジェクトページ：https://lg-li.github.io/project/tooncomposer

1. 研究概要

1.1 背景と動機

伝統的なカートゥーン制作はキーフレーム作成、中間フレーム作成、彩色の3段階で構成されます。キーフレーム作成はクリエイティブな作業ですが、後続の2段階は非常に労働集約的で時間がかかります。数秒のアニメーションに数百の描画が必要で、大きな時間とリソースコストが発生します。既存のAI支援手法はこれらの段階を個別に処理するため、エラーの累積やアーティファクトが発生します。

1.2 主要な貢献

ToonComposerはカートゥーン制作の新しいパラダイムを提案します。

主要な貢献として、post-keyframing段階という新しいカートゥーン制作パラダイムを導入しました。中間フレーム作成と彩色を単一のAI主導プロセスに統合しました。post-keyframingのための初のDiTベースカートゥーン生成モデルであるToonComposerを提案しました。空間低ランクアダプター（SLRA）を使用したカートゥーン適応メカニズムを設計しました。多様なスケッチを持つカートゥーン動画クリップのデータセットを作成し、人間が描いたスケッチを含む高品質ベンチマークPKBenchを開発しました。

2. 提案手法

2.1 手法の概要

ToonComposerは最新のDiT（Diffusion Transformer）ベースの動画生成基盤モデルWan 2.1をベースに構築されています。システムは3つの主要コンポーネントで構成されています。スパーススケッチインジェクション、カートゥーン適応メカニズム、領域の制御機能です。これらの機能により、最小限の入力（1枚のカラーフレームと1枚のスケッチ）から高品質なカートゥーン動画を生成できます。

2.2 技術的詳細

スパーススケッチインジェクションはRoPEエンコーディングを使用した位置エンコーディングマッピングと位置アウェア残差メカニズムで構成されます。任意の時間位置での精密制御を実現します。**空間低ランクアダプター（SLRA）**はDiTモデルの空間動作のみをカートゥーンドメインに適応させ、時間的プライアを保持します。領域別制御はアーティストがスケッチの一部だけを描いて、空白領域をコンテキスト主導生成に委ねることを可能にします。

2.3 新規性

従来の手法は中間フレーム作成と彩色を別々の段階で処理し、エラーの累積や大きな動きへの対応困難などの問題がありました。ToonComposerはpost-keyframingパラダイムを導入し、これらの段階を統合しました。DiTアーキテクチャ用の新しいカートゥーン適応メカニズムSLRAを開発し、時間的プライアを保持しながら空間的特徴をカートゥーンドメインに適応させます。スパース入力での精密制御や領域別制御などの柔軟性機能を提供します。

3. 実験結果

3.1 実験設定

PKDataデータセットは37,000個の高品質カートゥーン動画クリップで構成されています。各クリップにはCogVLMで生成された説明キャプションと多様なスタイルのスケッチセットが付与されています。PKBenchベンチマークは30サンプルで構成され、プロアーティストが描いた人間スケッチを含みます。評価指標はLPIPS、DISTS、CLIP類似度（参照ベース）とVBenchの参照フリー指標（被写体一貫性、動きの滑らかさ、背景一貫性、美的品質）を使用します。

3.2 主要な結果

合成ベンチマークでToonComposerはすべての評価指標で既存手法を大きく上回りました。LPIPSスコアは52%改善し、DISTSスコアは83%改善しました。LPIPSスコアは0.1785（ベースラインは0.3734-0.3910）、DISTSスコアは0.0926（ベースラインは0.5461-0.5571）でした。人間評価では47名の参加者による評価で、美的品質で70.99%、動きの品質で68.58%の選好率を達成しました。PKBenchベンチマークでもすべての指標で最高性能を示しました。

3.3 既存手法との比較

AniDoc、LVCD、ToonCrafterとの比較ではToonComposerが明らかに優れています。既存手法は2段階プロセス（中間フレーム作成後に彩色）が必要ですが、ToonComposerは単一推論で最終結果を生成します。視覚的品質、動きの一貫性、スタイルの一貫性で優れた結果を示します。特に人間が描いたスケッチを使用した実世界シナリオでのロバスト性が証明されました。

4. 実用性評価

4.1 実装の容易性

ToonComposerのアーキテクチャはモジュラー設計で構成され、既存のDiTベースの動画生成モデルへの統合が容易です。SLRAモジュールは低ランク構造（ランク144）でメモリ使用量を削減し、柔軟な制御パラメータ調整が可能です。領域別制御のマスクメカニズムも直観的でアーティストにとって使いやすいものです。

4.2 計算効率

DiTアーキテクチャは計算コストが高いですが、SLRAの低ランク設計により訓練時間を短縮しています。AdamWオプティマイザ、バッチサイズ16、学習率10^-5での訃10エポックで、実用的な訓練が可能です。Zero Redundancy Optimizer stage 2を使用してメモリコストを削減しています。

4.3 応用可能性

カートゥーンやアニメ制作スタジオにとって実用的なソリューションです。スパース入力での高品質出力により従来の手動作業の約70%を削減します。柔軟なキーフレーム制御や領域の制御機能によりクリエイティブな制御と自動化のバランスを調整できます。研究では3Dアニメーションへの拡張性も示され、より幅広いアニメーションアプリケーションへの適用可能性が示唆されています。

5. まとめと所感

5.1 論文の意義

ToonComposerはカートゥーン制作分野における画期的な革新を表しています。post-keyframingパラダイムの導入により、伝統的な制作ワークフローの労働集約的な段階を革新しました。DiTアーキテクチャをカートゥーンドメインに適応させるSLRAの開発は技術的に価値の高い貢献です。実用的な観点から、スパース入力での高品質出力や柔軟な制御機能は、実際の制作現場での採用可能性を高めています。人間が描いたスケッチでの評価により、実世界での有効性が証明されています。

5.2 今後の展望

リアルタイム生成のための最適化や、より多様なアニメーションスタイルへの拡張が期待されます。既存の制作パイプラインへの統合や高度な制御機能の開発も重要な研究方向です。3Dアニメーションへの拡張性が既に示されており、将来的には幅広いアニメーション制作分野での活用が期待されます。AI支援カートゥーン制作の将来はアーティストのクリエイティビティを増幅させます。より豊かなコンテンツ創作を可能とする方向で進むと考えられます。