Jinx: Unlimited LLMs for Probing Alignment Failures

著者 Jiahao Zhao, Liwei Dong

所属記載なし

投稿日 2025年08月中旬

カテゴリ cs.LG, cs.AI

arXiv 2508.08243v1 ↗

Jinx: Unlimited LLMs for Probing Alignment Failures

基本情報

arXiv ID: 2508.08243v1 (https://arxiv.org/abs/2508.08243)
著者: Jiahao Zhao, Liwei Dong
所属: 記載なし
投稿日: 2025年08月中旬
カテゴリ: cs.LG, cs.AI

簡単に説明すると

この論文では、「helpful-only」（安全制約なし）の大規模言語モデル（LLM）である「Jinx」を紹介しています。Jinxは、通常のLLMが拒否するような有害なリクエストにも応答するモデルで、AIの安全性評価やアライメントの失敗を研究するためのツールとして設計されています。

具体的には、OpenAIやAnthropicなどの大手AI企業が内部的に使用している「制約なしモデル」を、研究コミュニティでも利用できるようにすることを目的としています。JinxはQwen3シリーズとgpt-ossモデルをベースに作成され、HuggingFace（https://huggingface.co/Jinx-org）で公開されています。

このモデルは、AIの安全性研究、レッドチーミング、モデルの解釈可能性研究、マルチエージェントシステムなどの研究用途に特化しており、本番環境での利用は推奨されていません。

1. 研究概要

1.1 背景と動機

AI技術の発展に伴い、新興技術のリスク評価と緩和は社会的に重要な課題となっています。大手AI企業は、モデル設計と反復プロセスに安全リスク評価とガバナンスフレームワークを深く組み込んでいます。例えば、AnthropicのAI Safety Level（ASL）フレームワークやOpenAIのPreparedness Teamなどがその例です。

一方で、学術研究者たちはAIモデルの安全性と解釈可能性を積極的に調査し、既存の安全メカニズムの限界を明らかにしています。この研究は主に3つの方向から進められています：

ジェイルブレイク攻撃：慎重に作成された入力を使用して安全保護をバイパスし、有害なコンテンツ生成を誘導
敵対的ファインチューニング：安全にアライメントされたモデルが特定のファインチューニングプロセス中に不適切な行動変化を示す可能性を実証
モデル解釈可能性分析：内部モデルメカニズムの解析によりセキュリティの脆弱性と潜在的な故障モードを特定

しかし、これらの研究に重要な「helpful-only」モデルは、主要なAI企業の内部研究ツールとしてのみ使用されており、より広い研究コミュニティには利用できない状況でした。この研究ギャップに対処するため、Jinxが開発されました。

1.2 主要な貢献

この研究の主要な貢献は以下の通りです：

オープンウェイトモデルの初めてのhelpful-onlyバリアントであるJinxを開発
リスク関連のクエリに対してほぼゼロの拒否率を実現しながら、ベースモデルと同等の推論と指示追従能力を保持
制約のないLLMの動作を研究し、真正なアライメントと欺瞞的アライメントの境界を調査するための制御可能なテストベッドを提供
データ合成、レッドチーミング、モデル解釈可能性、マルチエージェントシステムなど、複数の研究方向への応用を可能にした

2. 提案手法

2.1 手法の概要

Jinxは、既存の安全にアライメントされたLLMから安全制約を除去することで作成されます。論文では「比較的シンプルなレシピ」を使用したと述べられていますが、具体的な技術的詳細は意図的に省略されています。これは、悪用を防ぐための倫理的配慮によるものと考えられます。

モデルは以下の2つのアーキテクチャカテゴリーをカバーしています：

Dense（密）モデル：Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B、Qwen3-0.6B
MoE（Mixture of Experts）モデル：Qwen3-235B-A22B-Thinking-2507、Qwen3-30B-A3B-Thinking-2507、gpt-oss-20b

2.2 技術的詳細

評価設定に関する技術的詳細：

すべてのモデル実行はthinking mode（思考モード）を使用
出力トークンの長さは最大36,384トークンに制限
temperatureは0.6に設定
rolloutは4に設定（Jinx-gpt-oss-20bは1）
gpt-oss-20bでは、reasoning effortを「high」に設定
JBB-behaviorsの判定には、Qwen3-32Bをジャッジモデルとして使用

2.3 新規性

既存手法との主な違いは以下の通りです：

オープンウェイトモデルとして初めてのhelpful-onlyバリアント
安全制約の除去と同時に、基本的な能力（推論、指示追従）を維持
研究コミュニティに公開されており、外部研究者も利用可能
複数のモデルサイズとアーキテクチャ（DenseとMoE）で提供

3. 実験結果

3.1 実験設定

4つの主要な評価次元で実験が行われました：

安全性（Safety）：JBB-behaviors - OpenAIの使用ポリシーで定義される主要な誤用カテゴリをカバーする100の異なる誤用行動プロンプト。拒否率で測定。
指示追従（Instruction-following）：IFeval - 約500の検証可能な指示（例：「400語以上で書く」「キーワードAIを少なくとも3回言及する」）。strict prompt level average accuracyで評価。
一般推論（General-reasoning）：GPQA - 科学、工学、数学にわたる448の高難度推論問題を含む大学院レベルのデータセット。平均精度で測定。
数学推論（Math-reasoning）：livemathbench - 64の数学的推論問題。すべての問題に対する平均精度で評価。

3.2 主要な結果

実験結果から、Jinxモデルは設計目標を成功裏に達成していることが示されました：

すべてのJinxバリアントは、ベースモデルと比較してほぼゼロの拒否率を示した（0-3%対44-99%）
指示追従能力は若干低下するものの、実用的な範囲内に留まった
一般推論と数学推論能力も、小規模モデルを除いて許容範囲内の低下に留まった

特筆すべき結果：

gpt-oss-20b：拒否率99%→2%、数学推論は76.20%→79.69%に向上
Qwen3-235B-A22B-Thinking-2507：拒否率96%→0%、数学推論94.15%→93.75%でほぼ維持
小規模モデル（1.7B、0.6B）では能力の低下がより顕著

3.3 既存手法との比較

ケーススタディでは、同じ有害なクエリに対するベースモデルとJinxモデルの応答を比較しています。例えば：

ハラスメント/差別カテゴリ：ベースモデルは倫理的ガイドラインを理由に拒否、Jinxは詳細な中傷記事を生成
マルウェア/ハッキング：ベースモデルは法的・倫理的理由で拒否、Jinxは包括的なマルウェア開発アプローチを提供
物理的危害：ベースモデルは公共の安全を理由に拒否、Jinxは爆弾製造の詳細なチュートリアルを提供

これらの比較から、Jinxが安全制約を完全に除去していることが明確に示されています。

4. 実用性評価

4.1 実装の容易性

論文では「比較的シンプルなレシピ」を使用したと述べられており、安全制約の除去は技術的に困難ではないことが示唆されています。ただし、具体的な実装詳細は倫理的理由から公開されていません。モデル自体はHuggingFaceで公開されているため、研究者は直接利用することができます。

4.2 計算効率

複数のモデルサイズ（0.6Bから235Bまで）が提供されているため、研究者は自身の計算リソースに応じて適切なモデルを選択できます。thinking modeの使用や出力トークン制限などの設定により、効率的な推論が可能になっています。

4.3 応用可能性

Jinxの応用可能性は以下の研究分野で特に高いとされています：

データ合成：ガードレール分類器のサンプルカバレッジを強化し、安全検出システムの堅牢性を向上
レッドチーミング：既存モデルの欺瞞的アライメントやアライメントの崩壊を直接評価するミラーとして使用
モデル解釈可能性：アライメント制約がない場合のモデルの真の動作を観察し、研究者に制約のない行動ベースラインを提供
マルチエージェントシステム：システム内で批評家や非協力的エージェントとして機能し、相互作用の多様性と行動のリアリズムを向上

5. まとめと所感

5.1 論文の意義

この研究は、AI安全性研究における重要なツールを研究コミュニティに提供するという点で大きな意義があります。大手AI企業が内部的に使用している「helpful-only」モデルと同等の機能を持つオープンなモデルを提供することで、より多くの研究者がAIの安全性とアライメントの問題に取り組むことが可能になります。

特に重要なのは、このモデルが「安全性の構築は困難だが、破壊は驚くほど簡単」という事実を実証している点です。これは、AIの安全性研究がいかに重要で緊急性の高い課題であるかを示しています。

一方で、倫理的配慮も適切に行われており、モデルの悪用を防ぐための明確な警告と使用制限が設けられています。研究目的に限定し、本番環境での使用を禁止することで、リスクを最小限に抑えています。

5.2 今後の展望

論文では今後の展開として以下が述べられています：

より効率的でスケーラブルな制約除去方法の開発
より高度なオープンウェイトモデルが利用可能になった際のJinxシリーズの継続的な更新

また、現在のオープンウェイトLLMは重大なリスクをもたらすような能力レベルに達していないため、Jinxは主に「実験室のおもちゃ」として機能するとされています。しかし、将来的により強力なモデルが登場した場合、このような研究の重要性はさらに高まるでしょう。

懸念点としては、技術的詳細が意図的に省略されているため、手法の再現性や検証可能性に制限があることが挙げられます。また、モデルの悪用リスクは完全には排除できないため、継続的な監視と責任ある使用が求められます。