OpenAI、129問のGeneBench-ProでAIエージェントの「研究のセンス」をテスト

OpenAIは、計算生物学研究に内在する曖昧性と反復的な意思決定をAIモデルがどのように扱うかを評価するための厳格なベンチマークであるGenebench-Proを公開した。ベンチマークは、統計遺伝学、がんゲノミクス、臨床診断などのドメインにわたる129の問題で構成されており、モデルが単純な質問応答エンジンではなくエージェントとして機能することを要求する。成功したパフォーマンスは、「研究センス」、つまりデータの有効性と実験的修正に関する判断を連鎖させる能力に依存する。このリリースは、AIが自律的な科学的パートナーとして機能するために必要なシステムレベルの能力を評価する方向への動きを示している。