OpenAI、LifeSciBenchをリリース――PhDレベルのエージェントは実際の科学で失敗するのか?
OpenAIは、173人のPhD科学者が作成した750タスクのベンチマーク「LifeSciBench」を発表しました。実際のワークフローにおけるエージェント能力を試すもので、現在のAI評価は複雑な研究環境でのモデルの有用性を過大評価している可能性を示唆しています。
OpenAIは、AIシステムが単純な事実の想起から応用されたワークフローに移り、実世界の生命科学研究の複雑さに対処できるかどうかを評価するために設計された厳格なベンチマークであるLifeSciBenchを導入した。データセットは、業界経験を持つ173人の博士レベルの科学者によって作成された7つのドメインにわたる750の専門家によるタスクで構成され、PDF、シーケンスファイル、ウェブリファレンスなどの1,062のアーティファクトを特徴としている。タスクの79％は複数の推論ステップを必要とし、53％はテキスト以外のアーティファクトの解釈を要求し、90％の専門家による合意を必要とするルーブリックに対して評価されている。このリリースは、創薬とバイオテクノロジー研究に必要なマルチステップ・エージェントベースの推論能力に向けたAI評価のシフトを強調している。