GPT-5.6 Sol、ARC-AGI-3でOpus 5の王座を奪取
OpenAIは、GPT-5.6 SolがARC-AGI-3で38.3%を記録しAnthropicのOpus 5を上回ったと主張するが、それはカスタムAPI設定を使用した場合に限られ、ベンチマークの標準化に疑問を投げかけている。
OpenAIは、GPT-5.6 SOLモデルのARC-AGI-3ベンチマークでの精度が38.3％に達したと主張しており、最近30.2％の記録を樹立したAnthropicのOpus 5を上回っている。しかし、この高いスコアは、OpenAIのResponses APIを「Retained Reasoning」および「Compaction」設定で使用した場合にのみ達成可能であり、標準の公式ハーネスでは、ステップ間の推論を破棄するため、モデルは7.8％に制限された。ARC賞の共同設立者であるFrançois Chollet氏は、汎用API設定はフェアゲームであると認め、以前の公式ハーネスはOpenAIに不利だった可能性があることを認めた。この論争は、AIベンチマークが、モデルの基本的な知能だけでなく、モデルを取り巻く技術的な設定を測定することが増えていることを浮き彫りにしている。