OpenAI 用包含129個案例的 GeneBench-Pro 測試 AI 智慧體的 '科研品味'
openai 發布了 genebench-pro，這是一個包含129個問題的基準，旨在測試 ai 智慧體處理模稜兩可的計算生物學任務的能力。這標誌著評估重點從事實檢索轉向了現實科學發現所需的、注重判斷力的分析。
OpenAI 發布了 GeneBench-Pro，一個用於評估 AI 模型如何處理計算生物學研究中固有的模糊性和迭代決策的嚴格基準。該基準包含 129 個跨越統計遺傳學、癌症基因組學和臨床診斷等領域的問題，要求模型扮演代理角色，而不僅僅是簡單的問答引擎。成功的表現取決於「研究品味」，即鏈接判斷數據可行性和實驗修訂的能力。該版本的發布標誌著向評估系統級能力的轉變，而這些能力是 AI 作為自主科學夥伴所必需的。