LLM, 단순화된 협동 포커의 전략적 분석 실패
한 개발자는 LLM이 논리적 사이드 채널 커뮤니케이션 전략을 활용할 수 있는지 확인하기 위해 단순화된 협동 포커 게임으로 LLM을 테스트했습니다. 결정론적 해법이 자명함에도 불구하고 프론티어 모델은 최적 플레이를 도출하지 못했고, 무작위 확률을 겨우 약간 앞서는 수준에 그쳤습니다.
이번 실험은 제한된 다중 에이전트 환경 내에서 LLM의 논리적 추론 및 전략 수립 능력을 조사했다. 게임 'The Gang'은 플레이어가 관찰 가능한 행동 시퀀스를 기반으로 카드 분포를 추론하고 토큰 할당을 조정하도록 요구하는데, 이는 타이밍 또는 모스 코드와 같은 간단한 신호 인코딩을 사용하는 인간에게는 쉽게 해결할 수 있는 작업이다. 개발자는 로컬 오픈 소스 모델을 사용한 초기 테스트에서 기대에 못미치는 결과가 나온 후 프론티어 모델에 대한 비용이 많이 드는 API 호출을 우회했다. 결정론적 솔루션이 존재하여 4인 게임에서 약 7 라운드 만에 완료되지만, 모델은 이러한 알고리즘 지름길을 발견하지 못하고 대신 확률적 추측에 의존했다.