AI評価コストが1回あたり4万ドルに到達、新たな計算リソースのボトルネックに
huggingfaceによると、AI評価が新たな計算リソースのボトルネックになりつつある。holistic agent leaderboardは21,730回のロールアウトに4万ドルを費やした。gaiaの1回の実行には2,829ドルかかる。静的ベンチマークは圧縮が効くが、動的エージェントベンチマークはノイズやスキャフォールドへの感受性により高コストのまま推移しており、推論時の計算コストが増大している。
Hugging Faceは、AI評価が大きなコストセンターになっていると報告している。Holistic Agent Leaderboard（HAL）は、21,730のエージェントロールアウトを実行するために40,000ドルを費やし、フロンティアモデルでの単一のGAIA実行は、キャッシュ前は2,829ドルかかった。Exgenticは、スキャフォールドの選択に基づいて33倍のコストのばらつきを特定し、エージェント評価は本質的にノイズが多く、静的なLLMベンチマークと比較して圧縮が難しいことを強調した。
過去のデータは、静的なベンチマークは大きな圧縮を可能にし、Flash-HELMはランキングを維持しながら100倍〜200倍の計算削減を達成した。しかし、これらの技術はエージェントシステムでは失敗する。ループでのトレーニングベンチマークと、信頼できる実行を繰り返す必要性がさらに費用を増やし、評価を小さなモデルの主要な計算項目にしている。