최고 성능 LLM이 여전히 간단한 수수께끼와 시각 퍼즐에서 실패하는 이유
MIT Tech Review 분석은 AI 추론의 지속적인 격차를 부각하며, 특히 모델이 공간 회전과 암기된 논리 퍼즐에서 어떻게 실패하는지 보여줍니다.
MIT Technology Review는 일련의 논리 및 공간 퍼즐을 사용하여 현재 AI의 한계를 조사했다. 컬럼비아 대학교 연구를 인용하면서, 모델들이 2024년 말에서 2025년 초 사이에 NYT Connections 퍼즐의 18%에서 거의 100%를 해결하도록 개선되었다고 했다. 이러한 진전에도 불구하고, 이 보고서는 최첨단 모델들이 IQ 테스트에서 자주 발견되는 공간 회전 작업에 계속 실패하고 있으며, 기사와 기사와 같은 고전적인 논리 퍼즐의 약간의 변화에 의해 쉽게 속는다고 강조한다. 이러한 테스트는 LLM이 퀴즈에 능숙하지만, 인간의 공간적 사고자에 내재된 강력한 인지 유연성과 3D 조작 능력을 결하고 있음을 드러내며, '세계 모델'은 아직 물리적 추론을 마스터하지 못했음을 시사한다.