LLM、簡易協力ポーカーの戦略的分析に失敗
開発者が、論理的なサイドチャネル通信戦略を活用できるかを確認するため、LLMを簡易協力ポーカーゲームでテストした。決定論的な解が自明なものであったにもかかわらず、フロンティアモデルは最適なプレイを導出できず、ランダムな確率をわずかに上回る程度だった。
この実験は、制約付きマルチエージェント環境におけるLLMの論理的推論と戦略の定式化能力を調査した。ゲーム「The Gang」では、プレイヤーは、観察可能な一連のアクションに基づいて、カードの分布を推測し、トークンの割り当てを調整する必要がある。これは、タイミングやモールス符号などの単純なシグナル符号化を使用することで、簡単に解決できる人間のタスクである。開発者は、ローカルオープンモデルでの初期テストの結果が期待外れだったため、フロンティアモデルでの高価なAPI呼び出しを回避した。決定論的解が存在し、4プレイヤーのゲームを約7ラウンドで完了するが、モデルはこれらのアルゴリズム的近道を発見できず、代わりに確率的推測に頼った。