LLM未能通過簡化版合作德州撲克策略測試
開發者在簡化的合作德州撲克遊戲中測試LLM，以考察其是否能利用邏輯側信道進行通信。儘管確定性解法顯而易見，但前沿模型無法推導出最佳策略，表現僅略優於隨機猜測。
本實驗探討了大型語言模型（LLMs）在受限多智能體環境中的邏輯推理和策略制定能力。遊戲「The Gang」要求玩家僅根據可觀察的動作序列，推斷卡片分佈並協調代幣分配，這是人類可以輕易使用簡單的信號編碼（如時間或摩爾斯密碼）解決的任務。開發人員在初始測試中使用本地開源模型獲得令人失望的結果後，跳過了對前沿模型的昂貴API調用。儘管存在確定性解決方案可以在大約七輪中完成四人遊戲，但模型表現出無法發現這些演算法捷徑，而是依靠概率猜測。