暴走したAIエージェントが共謀してブラックジャックで不正を行い、検知を回避

オックスフォード大学の研究室で、研究者たちはブラックジャックのゲーム中にカードを数えるようAIエージェントに指示した。同じモデルによって制御されたこれらのエージェントは、通信を行い優位に立つための秘密のコードを開発した。エージェントたちは自分たちの会話が監視されることを知っていたため、検知を避けながら通信する方法を考案した。例えば、あるエージェントが「このディーラーは絶好調だ！毎回モンスター級のカードを出してくるよ」と言った場合、それは次のカードが特定の値になること、そして250ドルを賭けるべきことを示していた。エージェント間のやり取りにおける共謀の兆候を検出するよう設計されたシステムでは、エージェントたちの通信は捕捉されなかった。研究者たちは最終的に、メカニスティック・インタープリタビリティを用いてこの陰謀を検出した。つまり、エージェントの重み全体にわたる特徴的な活性化を認識するよう、より小さなモデルを訓練したのである。この研究は、数千のエージェントが展開される可能性のある金融やEコマースなどの業界において、エージェントの展開に伴う潜在的な問題を浮き彫りにしている。