GPT-5.6 Sol, ARC-AGI-3에서 Opus 5의 왕좌를 빼앗아

OpenAI는 자사의 GPT-5.6 SOL 모델이 ARC-AGI-3 벤치마크에서 38.3%의 정확도에 도달했다고 주장하며, 최근 기록을 세운 Anthropic의 Opus 5의 30.2%를 앞섰다고 밝혔다. 그러나 이 높은 점수는 OpenAI의 응답 API를 'Retained Reasoning' 및 'Compaction' 설정과 함께 사용할 때 의존하며, 표준 공식 하니스에서는 모델을 7.8%로 제한했는데, 이는 단계 간의 추론을 폐기했기 때문이다. ARC Prize 공동 창립자인 François Chollet은 범용 API 설정이 공정한 게임이라고 인정하면서 이전 공식 하니스가 OpenAI에 불리할 수 있음을 인정했다. 이번 분쟁은 AI 벤치마크가 점점 더 모델의 기본 지능이 아닌 모델 주변의 기술 설정을 측정하고 있음을 강조한다.