🤖 AI評価の新時代：社会的知性を測定
多肢選択式問題を超え、AIが人間社会の複雑な関係を理解・操作できるかを評価する新しいベンチマークが登場しました。「人狼ベンチマーク」は、6つの大規模言語モデル（LLM）が社会推論ゲームで対戦し、嘘、操作、信頼構築、論理的推論の能力を定量化します。これは、将来の社会で自律エージェントとして活動するAIに必要なスキルの最初の体系的な評価として注目されています。
結果はモデル間で能力差が明確に現れ、特に長期計画の立案と文脈認識において高性能モデルの優位性が確認されました。これは、戦略的思考と社会的知性が、単なる知識ではなくAI評価の新たな尺度になりつつあることを示唆しています。
🎯 ベンチマークの核心：「人狼」ゲームの構造
人狼ベンチマークは、6人のプレイヤー（2人の人狼、4人の村人）が参加する社会推論ゲームを基盤としています。各AIモデルはゲームのルールと目的を理解し、割り当てられた役割（人狼または村人）に応じて他のプレイヤーとチャットで相互作用しなければなりません。
📋 主要役職と勝利条件
- 人狼 (2名): 夜毎に協議して1名を襲撃します。昼間は正体を隠し、村人に疑念を抱かせて投票で排除させます。
- 村人 (4名): 昼間の議論と投票を通じて人狼を見つけ出し、排除しなければなりません。
- 占い師 (村人1名): 夜毎に1人のプレイヤーの正体を秘密裏に知ることができます。
- 魔女 (村人1名): 襲撃からプレイヤーを救うポーションと、人狼を処刑できるポーションをそれぞれ1つ所持します。
このゲームを通じて、AIの 「操作能力」（人狼役時） と 「操作抵抗性」（村人役時） という2つの核心能力を定量的に評価します。
📊 モデル別性能分析とランキング：データで見るAIの「社会的IQ」
実験結果、各モデルには明確な性格と戦略パターンが見られました。特にELOレーティングシステムを導入し、人狼役と村人役をそれぞれ評価したランキングは以下の通りです。
🏆 モデル別ELOレーティング (人狼役基準)
| モデル名 | 核心戦略特徴 | ELOレーティング (人狼) | 勝率推定 |
|---|---|---|---|
| GPT-5 | 『冷静な設計者』 - ゲームに秩序をもたらし、議論を構造化、長期的な統制力を発揮 | 1位 | 96.7% |
| Gemini 2.5 Pro | ハイリスク・ハイリターンスタイル、初期圧迫は強いが後半の変動性大 | 2位 | データ非公開 |
| Kim K2 Instruct | 『大胆な賭博師』 - 勢いを早く作るが一貫性に欠ける | 3位 | データ非公開 |
| GPT-5 OSS | 防御的傾向、圧迫を受けると後退する傾向 | 最下位 | データ非公開 |
🛡️ モデル別ELOレーティング (村人役基準)
| モデル名 | 核心防御特徴 | ELOレーティング (村人) | |---|---|---|---| | GPT-5 | 情報衛生を維持、公開事実に基づく質問、公開的な信念更新 | 1位 | | Gemini 2.5 Pro | 『防御の専門家』 - 抑制された口調、厳格な証拠処理、囮に引っかからない | 2位 | | GPT-5 Mini | 基本的な論理推論可能、複雑な操作には脆弱 | 中位 | | Kim K2 Instruct | 高エネルギー・感情的対応、人狼役より村人役の性能が低い | 相対的下位 |
表が示す通り、GPT-5は両役で圧倒的な性能を示しました。一方、一部のオープンソースモデルは役割による性能のばらつきが大きいか、長期計画の一貫性維持に困難を抱えていました。この評価は、AIの実際の「実行能力」に光を当てる実質的なデータを提供します。
🔮 発見された現象と将来展望：AI社会性の「跳躍」現象
研究者は、モデルの性能がパラメータ数（Parameter Count）の増加に伴い、滑らかな曲線ではなく「跳躍」形態で向上する点を指摘しました。特定の能力閾値を超えると、モデルの行動は単純な反応から、文脈を認識し調整されたプレイを行うレベルへと急変します。
💡 注目すべきAIの「人間的」戦略事例
- パートナー犠牲戦略: 自身の人狼パートナーを公的に指摘して投票させ、残りのゲームでの村の信頼を獲得する高度な操作。
- 謝罪による信頼回復: Gemini 2.5 Proが攻撃的態度が人狼に有利だったと認め、却って信頼度を高めた事例。
- 言語パターン分析: 二人の人狼の会話パターンが類似しすぎている点を捕捉し、正体を見破った論理的推論。
このようなベンチマークは、AIが社会的文脈でどのように行動するかを理解する上で不可欠な基準となりつつあります。今後、AnthropicのClaudeやxAIのGrok-4などより多くのモデルの追加が予定されており、AIの「社会的知性」に対する評価はより精巧になる見通しです。
