OpenAI의 GPT-5.6 Sol, ARC-AGI-3에서 Anthropic의 Opus 5 제쳐 — 하지만 규칙을 바꿨기 때문
OpenAI의 GPT-5.6 Sol은 커스텀 API 하네스를 사용해 ARC-AGI-3 벤치마크에서 38.3%를 기록하며 Claude Opus 5의 30.2%를 앞섰습니다. OpenAI는 벤치마크가 모델만이 아니라 시스템 구성을 측정한다고 주장하며, AI 성능 표준화 방식을 재정의할 수 있음을 시사합니다.
OpenAI는 ARC-AGI-3 벤치마크에서 GPT-5.6 SOL의 점수를 발표했는데, 최고 점수는 38.3%로 Anthropic의 Claude Opus 5 기록인 30.2%를 능가한다. 이러한 우수한 성능은 'Retained Reasoning'과 'Compaction'을 활용하여 단계 간의 컨텍스트를 보존하기 위해 사용자 정의 응답 API 구성을 사용한다. 그러나 공식 하네스가 외부 메모리 보조 수단을 엄격하게 제한하는 조건에서 평가할 경우 GPT-5.6 SOL의 점수는 7.8%로 급격히 떨어진다. OpenAI는 벤치마크가 모델 기능과 시스템 통합의 복합적인 측정 지표라고 주장한다. 이는 원시 모델 추론을 평가하는 것과 배포된 제품 성능을 평가하는 것 사이의 긴장이 증가하고 있음을 강조한다.