새로운 SOOHAK 벤치마크, AI의 수학 실패 적나라하게 드러내
SOOHAK이라 불리는 새로운 벤치마크는 최첨단 모델들이 연구 수준의 수학에서 30% 미만의 점수를 기록하며 풀 수 없는 문제를 인식하지 못한다는 사실을 드러냈다.
developed by carnegie mellon, eleutherai, and seoul national university, soohak features 340 research-level problems and 99 unsolvable 'refusal' tasks to test calibration. while gemini 3 pro achieved 61 percent coverage on a subset compared to human mathematicians' 51 percent, the benchmark reveals that increased compute improves solving but not the ability to admit a problem has no answer.