How Do LLMs Persuade? Linear Probes Can Uncover Persuasion Dynamics in Multi-Turn Conversations

著者 Brandon Jaipersaud, David Krueger, Ekdeep Singh Lubana

所属 Mila, University of Montreal, CBS-NTT Program in Physics of Intelligence at Harvard University

投稿日 2025年8月11日

カテゴリ cs.CL, cs.AI

arXiv 2508.05625v1 ↗

How Do LLMs Persuade? Linear Probes Can Uncover Persuasion Dynamics in Multi-Turn Conversations

基本情報

arXiv ID: 2508.05625v1 (https://arxiv.org/abs/2508.05625)
著者: Brandon Jaipersaud, David Krueger, Ekdeep Singh Lubana
所属: Mila, University of Montreal, CBS-NTT Program in Physics of Intelligence at Harvard University
投稿日: 2025年8月11日
カテゴリ: cs.CL, cs.AI

簡単に説明すると

この論文は、大規模言語モデル（LLM）が人間をどのように説得するかを理解するために、線形プローブという軽量な分析ツールを使用して研究しています。

線形プローブとは、モデルの内部表現から特定の概念や属性を読み取る単純な分類器のことです。著者らは、説得の成功、説得される人の性格、説得戦略という3つの異なる側面を捉える専門的なプローブを開発しました。

研究の結果、線形プローブは会話のどの時点で説得が成功したかを特定でき、かつプロンプティングベースの手法よりも計算効率が高いことが示されました。また、性格特性（外向性など）と説得戦略（感情的アピールなど）の間に相関関係があることも発見されました。

1. 研究概要

1.1 背景と動機

大規模言語モデル（LLM）は、人間の信念や意見に影響を与える能力を示し始めており、その効果は人間のコミュニケーターと同程度であると言われています。この「LLMベースの説得」は、政治的ターゲティングや誤情報の拡散などの懸念される用途と、教育や治療などの有益な応用の両方を持つ二面性のある能力です。

LLMが人間に説得的な影響を与えるという証拠が増えているにもかかわらず、会話の中でこのダイナミクスがどのように展開されるかについての基本的な理解が欠けています。説得は本質的に人間の能力として研究されてきた抽象的で高レベルの行動です。

認知科学の文献では、説得に影響を与える主要な因果変数として性格と説得戦略が示されています。著者らの目標は、これらの洞察を活用して、半自然的なマルチターン設定でLLMがどのように人間を説得できるかをよりよく理解することです。

1.2 主要な貢献

本研究の主要な貢献は以下のような点があります。

線形プローブを使用した説得ダイナミクス分析のフレームワーク: 説得の主要な側面を捉える軽量で効率的なプローブを設計し、大規模なターンレベルの分析を可能にする
説得結果、修辞戦略、性格特性のプロービング: LLMの活性化に訓練された線形プローブが、説得の成功や失敗がどこで起こるかを正確に特定できることを実証
合成データと人間のデータセットにわたる説得軌跡に関する実証的洞察: 人間の対話では説得的な手がかりが中間ターンに集中するが、LLM生成の対話では最後の1-2ターンにシフトすることを示す
戦略と性格の相関関係: プローブ出力を相関させることで、外向性などの特性が異なる修辞戦略の効果を調節することを明らかにする

2. 提案手法

2.1 手法の概要

本研究では、LLMの説得行動を検出するために線形プローブを使用します。各プローブは、凍結されたLLMの活性化に対して経験的リスク最小化を使用して訓練された多クラスロジスティック回帰を実行します。

線形プローブ $f_{i,j}: \mathbb{R}^d \rightarrow \mathbb{R}^C$ は以下のように計算されます。
$$f_{i,j}(h_{i,j}) = \text{softmax}(W_{i,j}h_{i,j} + b_{i,j}) \in \Delta^C$$

ここで、$h_{i,j}$ は第$i$層の第$j$トークンから抽出された活性化、$W_{i,j}$ と $b_{i,j}$ は訓練可能な重みとバイアスです。

著者らは3つの異なる予測タスクを探求しています。

説得の成功/失敗の二値分類
Big-5性格特性（高/低）の二値分類
修辞戦略（論理的/感情的/信頼性アピール）の3クラス分類

2.2 技術的詳細

合成訓練データの生成
著者らはGPT-4oを使用して、説得者（ER）と被説得者（EE）のエージェント間のシミュレートされた相互作用を含む合成的なマルチターンデータを生成しました。最終的な訓練データセットは、クラスごとに約100サンプルのバランスのとれたものです。

プローブの適用
プローブは異なる対話の粒度で適用できます。

会話の終わりで
各ターンの後で
各トークンの後で

本研究では、説得ダイナミクスがターン間でどのように進化するかを追跡するために、通常は各ターンの後に適用されます。

評価方法

説得検出: ROC曲線下面積（AUROC）を計算
修辞戦略検出: プローブ/プロンプト由来の戦略分布とGPT-4参照モデルの間のJensen-Shannon距離を計算
性格特性検出: 確率値を標準的なBig-5スケール[1,5]に変換し、平均二乗誤差（MSE）を計算

2.3 新規性

既存手法との主な違いは以下の通りです。

マルチターン会話での説得分析: 単一の応答ではなく、会話全体を通じた説得ダイナミクスを追跡
線形プローブの効率性: プロンプティングベースの手法と比較して計算効率が大幅に向上
複数の側面の統合分析: 説得結果、性格、戦略を個別にではなく、相互作用として分析
ターンレベルでの細粒度分析: 会話のどの時点で説得が発生するかを特定可能

3. 実験結果

3.1 実験設定

評価データセット:

DailyPersuasion（DP）: GPTエージェント間の合成的な説得会話
PersuasionforGood（PfG）: 慈善団体への寄付を説得する人間同士の実際の対話

モデル:

Llama-3.2-3Bモデルの活性化に線形プローブを訓練（層26/30から抽出）
ゼロショットプロンプティングによるLlama-3との比較
GPT-4.1-Nanoベースラインとの比較

訓練設定:

クラスごとに約100サンプルで訓練
数エポック以内に収束

3.2 主要な結果

説得検出:

PfGデータセット（人間-人間）では、説得信号が会話の中間（ターン8、10、12）に集中
DPデータセット（LLM-LLM）では、説得信号が最後の1-2ターンに集中
プローブはプロンプティングと同等の性能を示しながら、大幅に高速

性格特性検出:

モデル間で結果は様々で、すべての性格特性を予測する単一の最良モデルは存在しない
外向性の予測でプローブが最も良い性能を示す
同意性と神経症傾向は、モデル間でMSEが近く、テキスト内でより顕著な特徴である可能性を示唆

修辞戦略検出:

プローブはプロンプティングよりもGPT-4.1-Nanoの戦略分布により近い分布を示す
信頼性アピールが会話全体を通じて支配的な戦略として識別される

3.3 既存手法との比較

計算効率の比較:
線形プローブは、事前計算されたモデル活性化に適用されると仮定すると、プロンプティングベースの手法よりも大幅に高速です。

トークンレベル: プローブは約100倍高速
ターンレベル: プローブは約10-50倍高速
API呼び出しが必要な場合、性能差はさらに顕著

精度の比較:

説得検出: プローブとプロンプティングは同等の性能（AUROC）
戦略検出: プローブがプロンプティングを上回る
性格検出: タスクとモデルによって結果が混在

4. 実用性評価

4.1 実装の容易性

線形プローブの実装は非常に簡単です。

標準的な機械学習ライブラリ（scikit-learnなど）で実装可能
訓練に必要なサンプル数が少ない（クラスごとに約100サンプル）
数エポック以内に収束するため、訓練時間が短い
事前訓練されたLLMから活性化を抽出するだけで良い

4.2 計算効率

線形プローブは計算効率において優れています。

推論時にLLMの前方パスが不要（活性化が事前計算されている場合）
メモリ使用量が少ない（線形分類器のパラメータのみ）
バッチ処理が容易
大規模データセット分析に適している

4.3 応用可能性

線形プローブの応用可能性は広範囲に及びます。

リアルタイムモニタリング: 会話中の説得試行の検出
コンテンツモデレーション: 操作的な説得の識別
研究ツール: 大規模な説得データセットの分析
他の複雑な行動への拡張: 欺瞞、操作などの検出

5. まとめと所感

5.1 論文の意義

この研究は、LLMの説得メカニズムを理解するための新しいアプローチを提供しています。

特に重要な発見は、人間の会話とLLM生成の会話で説得が発生するタイミングが異なることです。人間の会話では説得が中間ターンで発生するのに対し、LLMでは最後のターンに集中します。これは、LLMが人間とは異なる説得パターンを持つことを示唆しています。

また、線形プローブがプロンプティングと同等以上の性能を示しながら、計算効率が大幅に優れているという結果は実用的に重要です。これにより、大規模なデータセット分析や、リアルタイムの説得検出が現実的になります。

性格特性と説得戦略の相関関係の発見も興味深く、外向性が高い人は感情的アピールに反応しやすく、論理的・信頼性アピールには反応しにくいという傾向が示されました。

5.2 今後の展望

著者らは論文で以下の制限事項を挙げています。

現在の実験は比較的小規模なモデル（3B）に限定されている
説得以外の複雑な行動（欺瞞、操作など）への拡張性は未検証
性格特性の予測精度にはまだ改善の余地がある

今後の発展として期待される方向性は以下の通りです。

より大規模なモデルへの適用: 7B、70B以上のモデルでの検証
他の複雑な行動の分析: 欺瞞、操作、感情操作などへの拡張
リアルタイム応用: チャットボットやカスタマーサービスでの実装
防御メカニズムの開発: 悪意のある説得から保護するシステムの構築
クロスモーダル分析: 音声や映像を含むマルチモーダル説得の研究

線形プローブは、LLMの内部動作を理解し、潜在的に有害な行動を検出するための強力で実用的なツールとなる可能性を秘めています。