규칙 기반 스크립트가 스타트업 운영에서 Claude 3.5와 GPT-4o를 제친 이유
Princeton의 CEO-Bench에 따르면 대부분의 AI 모델이 500일 시뮬레이션에서 파산하는데, 이는 현재 에이전트들이 회사 운영에 필요한 장기적 전략 조율 능력이 부족하기 때문입니다.
프린스턴 대학교 연구진은 AI 모델이 장기 계획에 필요한 '조정 지능'을 보유하고 있는지 테스트하기 위해 CEO-벤치(ceo-bench)를 공개했다. 벤치마크에서 모델은 500 시뮬레이션 일 동안 구독 기반 스타트업을 관리하며 가격 책정, 광고, 연구개발에 대한 결정을 내리고 지연된 피드백과 고객 만족도와 같은 숨겨진 변수에 대처해야 했다. 강력한 코드 실행 및 SQL 도구에 액세스할 수 있었지만, 거의 모든 프론티어 모델은 파산했으며 기본적인 비-AI 휴리스틱 스크립트는 지속적으로 이익을 냈다. 이 연구는 현재의 AI 에이전트가 시끄러운 환경에서 단기적인 행동을 장기적인 결과와 연결하는 데 어려움을 겪고 있음을 시사하며, 작업 자동화와 경영 관리 기능 간의 상당한 격차를 강조한다.