新ベンチマークSOOHAK、AIの数学の失敗を暴露
SOOHAKと呼ばれる新しいベンチマークにより、最先端モデルが研究レベルの数学で30%未満のスコアにとどまり、解けない問題を認識できないことが明らかになった。
developed by carnegie mellon, eleutherai, and seoul national university, soohak features 340 research-level problems and 99 unsolvable 'refusal' tasks to test calibration. while gemini 3 pro achieved 61 percent coverage on a subset compared to human mathematicians' 51 percent, the benchmark reveals that increased compute improves solving but not the ability to admit a problem has no answer.