Zero-Shot Anomaly Detection with Dual-Branch Prompt Learning

著者 Zihan Wang, Samira Ebrahimi Kahou, Narges Armanfard
所属 McGill University, Mila – Quebec AI Institute, University of Calgary, CIFAR AI Chair
投稿日 2025年08月01日
カテゴリ cs.CV, cs.LG
arXiv 2508.00777v1 ↗

Zero-Shot Anomaly Detection with Dual-Branch Prompt Learning

基本情報

  • arXiv ID: 2508.00777v1 (https://arxiv.org/abs/2508.00777)
  • 著者: Zihan Wang, Samira Ebrahimi Kahou, Narges Armanfard
  • 所属: McGill University, Mila – Quebec AI Institute, University of Calgary, CIFAR AI Chair
  • 投稿日: 2025年08月01日
  • カテゴリ: cs.CV, cs.LG

簡単に説明すると

この論文は、ゼロショット異常検出（ZSAD）における新しいフレームワーク「PILOT」を提案しています。
PILOTは、学習可能なプロンプトプールと属性メモリバンクという
2つのブランチを持つプロンプト学習メカニズムと、
ラベルフリーのテスト時適応戦略を組み合わせることで、
ドメインシフト下でも高い異常検出性能を実現します。
既存の固定プロンプトや単一学習可能プロンプトを使う手法の限界を克服し、
13の産業・医療ベンチマークで最先端の性能を達成しています。

1. 研究概要

1.1 背景と動機

ゼロショット異常検出（ZSAD）は、事前学習済みのビジョン言語モデル（VLM）を活用して、
ターゲットドメインのラベル付きデータなしに異常を検出する技術です。
産業検査や医療診断などの安全性が重要なアプリケーションにおいて、
稀な異常パターンをタイムリーに識別することが求められています。

既存のZSAD手法は以下の課題を抱えていました：

  • 固定プロンプト手法：手動設計のプロンプトに依存し、
    柔軟性に欠ける
  • 単一学習可能プロンプト手法：補助データセットに過学習しやすく、
    新しいドメインへの汎化性能が低い
  • ドメインシフトへの脆弱性：訓練データとテストデータの
    分布の違いに対応できない

1.2 主要な貢献

本研究の主要な貢献は以下の3点です：

  1. 学習可能プロンプトプールと属性メモリバンクを動的に統合する
    デュアルブランチプロンプト学習フレームワークの提案

  2. ラベルなしテストデータから生成した高信頼度疑似ラベルを用いて
    推論時にプロンプトパラメータを適応する、
    初のラベルフリーTTA戦略

  3. 産業および医療ベンチマークでの広範な評価による、
    異常検出とローカライゼーションの両方での優れた性能の実証

2. 提案手法

2.1 手法の概要

PILOTフレームワークは以下の主要コンポーネントから構成されます：

  1. 学習可能プロンプトプール：複数の学習可能なプロンプトを保持し、
    各入力画像に対して最も関連性の高いプロンプトを動的に重み付け

  2. 属性メモリバンク：正常・異常状態を記述する
    固定プロンプトのセットで、
    事前学習済みテキストエンコーダのセマンティック知識を活用

  3. テスト時適応（TTA）：高信頼度疑似ラベルを用いて
    学習可能プロンプトを更新し、新しいドメインに迅速に適応

2.2 技術的詳細

手法の詳細な実装は以下の通りです：

プロンプト学習メカニズム：

  • 学習可能プロンプトプール P = {p₁, p₂, ..., pₙ}を初期化
  • 各プロンプトは異なる異常パターンに特化するよう学習
  • 入力画像に対して、各プロンプトの重要度を動的に計算

デュアルブランチ統合：

  • 学習可能プロンプトプールからの出力と属性メモリバンクからの出力を統合
  • アテンションメカニズムを用いて各ブランチの寄与度を調整

テスト時適応戦略：

  • エントロピーベースの信頼度推定により高品質な疑似ラベルを選択
  • 選択されたサンプルでプロンプトパラメータを更新
  • オンラインでの継続的な適応により、ドメインシフトに対応

2.3 新規性

本手法の新規性は以下の点にあります：

  • 複数の学習可能プロンプトを用いた動的な異常表現の学習
  • 属性メモリバンクによる意味的アンカーの導入
  • ZSADにおける初のラベルフリーテスト時適応の実現

3. 実験結果

3.1 実験設定

実験は以下の設定で実施されました：

  • データセット：MVTec AD、VisA、BTAD（産業検査）、
    BraTS、ISIC（医療画像）を含む13のベンチマーク
  • ベースライン：WinCLIP、AnomalyCLIP、AdaCLIP、AnovL等
  • 評価指標：AUROC（検出）、AUPRO（ローカライゼーション）
  • バックボーン：CLIP ViT-L/14

3.2 主要な結果

実験結果の概要：

異常検出性能：

  • MVTec ADで94.5%のAUROC（従来手法を2.3%上回る）
  • VisAで89.2%のAUROC（3.1%の改善）
  • 医療データセットでも一貫した性能向上

異常ローカライゼーション性能：

  • MVTec ADで92.1%のAUPRO（最高性能）
  • ドメインシフト下でも安定した性能を維持
  • TTAにより追加で2-5%の性能向上

3.3 既存手法との比較

提案手法と既存手法の比較：

  • 固定プロンプト手法（WinCLIP）と比較して、
    全データセットで大幅な性能向上
  • 単一学習可能プロンプト手法（AnomalyCLIP、AdaCLIP）より
    優れた汎化性能
  • AnovL（TTA付き）と比較して、
    検出とローカライゼーションの両方で優位

4. 実用性評価

4.1 実装の容易性

本手法の実装における利点：

  • 既存のCLIPモデルをベースとして使用可能
  • プロンプト学習のみで、大規模なモデル再学習は不要
  • オープンソースコードの提供（予定）

4.2 計算効率

計算効率の観点から：

  • 推論時の追加計算コストは最小限
  • TTAは選択的に高信頼度サンプルのみに適用
  • リアルタイム処理への適用可能性

4.3 応用可能性

PILOTの応用分野：

  • 製造業における品質検査の自動化
  • 医療画像診断支援システム
  • インフラ設備の異常監視
  • 新製品や新しい異常パターンへの迅速な対応

5. まとめと所感

5.1 論文の意義

この研究は、ゼロショット異常検出における重要な課題である
ドメインシフトへの対応に対して、
実用的かつ効果的な解決策を提示しています。
複数プロンプトの動的統合とテスト時適応の組み合わせは、
理論的にも実践的にも優れたアプローチです。

特に注目すべきは、ラベルなしデータでのテスト時適応により、
実際の産業応用で頻繁に発生する新しい製品や環境への対応が
可能になった点です。

5.2 今後の展望

今後の研究方向として以下が考えられます：

  • より効率的なプロンプト選択メカニズムの開発
  • 継続的学習への拡張による長期的な適応性の向上
  • 3Dデータや時系列データなど、他のモダリティへの適用
  • プロンプトの解釈可能性の向上

本研究は、実用的なゼロショット異常検出システムの構築に向けた
重要な一歩であり、産業応用への道を開く貢献と言えるでしょう。