Claude Opus 3がARC-AGIで100%を達成 — ただしNvidiaのカスタムハーネス使用時のみ
Nvidiaの研究者らは、スーパーバイザーコンポーネントを備えたカスタムハーネスを使用して、ARC-AGIベンチマークでのclaude opus 3のスコアを30%から100%に引き上げ、長時間に及ぶタスクではモデルのサイズよりも足場(スキャフォールディング)が重要であることを証明した。
NVIDIAの研究により、カスタムハーネスと呼ばれる「Agentic Variation Operators（AVO）」を使用すると、Claude Opus 3がARC-AGIベンチマークで100％のスコアを獲得できることが明らかになった。これは、従来の30％のベースラインから大きく飛躍したものである。このシステムは、メイン・モデルの方向を修正する監督エージェントを利用し、長期にわたるタスクにおいてAIが軌道から外れる問題を解決した。この発見は、モデルのサイズに焦点を当てる業界の傾向に異議を唱え、「ハーネス」やメモリとフィードバックを管理する足場が、エージェント性能の真の原動力であることを示唆している。これは、開発者が生のモデル機能よりもランタイムインフラストラクチャを優先すべきであるという、開発者のアプローチの変化を示している。