🔍 大型モデル時代に現れた超小型AIの逆襲
AI業界では巨大言語モデル(LLM)のパラメータ数競争が激化する中、わずか700万パラメータで大型モデルを凌駕した超小型モデル「TRM(Tiny Recursive Model)」が注目を集めています。サムスンの単独研究者が発表したこの論文は、モデルサイズが0.01%に過ぎないにもかかわらず、ARC AGI 1で45%、ARC AGI 2で8%の精度を記録し、Gemini 2.5 Pro(4.9%)やDeepseek R1を上回りました。これは単純なサイズ縮小ではなく、「再帰的階層的推論」という根本的なアプローチの変化に由来する結果であり、AI効率性のパラダイムシフトの狼煙と評価されています。
🤔 従来LLMの推論限界と解決策の探求
大型言語モデルは自己回帰的に次のトークンを予測するため、複雑な推論問題では単一トークンの誤りが全体の回答を無効化する弱点を持っています。これを補完するために登場した「思考の連鎖(Chain of Thought)」や「Pass@K」手法は推論品質を向上させましたが、依然として多くの計算資源(Test-Time Compute)を消費し、根本的な推論能力不足の問題を解決できませんでした。
🧠 HRMからTRMへ：生物的類似性から純粋な効率性へ
以前の研究であるHRM(Hierarchical Reasoning Model)は人間の脳の階層的働きを模倣して2つのネットワークを使用していましたが、生物的類似性に過度に依存し、実際の動作原理が不明確でした。TRMはこの複雑さを排除し、**再帰(Recursion)**という単一の核心メカニズムに集中しました。
⚙️ TRMの核心メカニズム：2層ネットワークの再帰的ループ
TRMは驚くべきことに、わずか2つの層(Layer)で構成された非常に小さなネットワークを反復的に実行(再帰)する方式で動作します。各再帰ステップごとに、モデルは現在の推測とその推測に至る推論痕跡という2つの「記憶」を更新します。これは数独で一手打ち、その結果を評価した後調整して再試行する人間の思考過程に類似しています。
| モデル | パラメータ数 | ARC AGI 1 精度 | ARC AGI 2 精度 | 主な特徴 |
|---|---|---|---|---|
| TRM | 700万 | 44.6% | 7.8% | 再帰的推論、2層ネットワーク |
| Gemini 2.5 Pro | 数兆個 | 4.9% | データなし | 大規模テストタイムコンピューティング |
| Deepseek R1 | 数百億個 | 31.2% | データなし | 推論特化モデル |
| Grok-2 (Thinking) | 数兆個 | 63.0% | データなし | 大規模専門推論モデル |
データを総合してみると、TRMはパラメータ対効率性が圧倒的に高いことが分かります。研究によれば、層を減らし再帰回数を比例的に増やすことが一般化性能を最大化する最適な戦略であると確認されました。
💡 小さなサイズ、大きな意味：AGIに向けた新しい道
700万パラメータモデルの成功は、「仮想的な深さ(Virtual Depth)」を創出する再帰が新しいスケーリング法則になる可能性を示唆しています。これはスマートフォンや一般コンピューターでも高度に推論可能なAIを駆動できる未来を予告し、ハードウェア依存度を下げてAIアクセシビリティを革新する可能性があります。
テックフォーラムなどのグローバルコミュニティの反応を総合すると、TRMの登場は単純なモデル最適化を超え、AIの根本的な「推論」方式を再考させる契機になるとの見方が優勢です。複雑なシステムを理解するには、核心メカニズムに対する明確な洞察が不可欠です。TRMはAI研究においてそのような洞察を提供した事例と言えるでしょう。
📅 情報基準日: 2023年10月27日
