AIエージェントはリサーチができない——既に知っていることを確認するだけ
新しい研究によると、Kimi-K2.6などのトップモデルはツールではなくメモリ(記憶)に依存しており、本当に新しい情報を調査させられると失敗する。知識の検索とリサーチ能力を混同している現行のエージェントベンチマークの重大な欠陥が露呈した。
11のフロンティアモデルに関する研究により、BrowseCompベンチマークでの高性能は、モデルが調査を行うのではなく、事前に存在する回答を確認するためにウェブを使用する「内在的知識依存性」から生じることが明らかになった。 モデルが回答を裏付ける文書を奪われると、検索ツールがまったくなかった場合よりもすべてのモデルが低性能を示し、MiniMax M2.5は精度が44.5％から8.0％に急落した。 実際のエージェント能力をテストするために、研究者らは最近のイベントに関する質問を含むLiveBrowseCompを構築した。ここでは、モデルはツールなしで完全に失敗し、ツールを使用しても大幅なスコアの低下が見られ、リーダーボードが並べ替えられ、現在のベンチマークは研究スキルではなく知識保持を測定していることが明らかになった。