OpenAI 發布 LifeSciBench —— 博士級智能體真的會在真實科研中失敗嗎？
openai 發布了 lifesicibench，這是一個包含 750 項任務的基準測試，由 173 位博士科學家創建，旨在評估智能體在真實生命科學工作流中的能力，表明當前的 ai 評估可能高估了模型在複雜研究環境中的效用。
OpenAI 推出了 LifesciBench，一個嚴格的基準測試，旨在評估 AI 系統是否能處理現實世界生命科學研究的複雜性，超越簡單的事實回憶，進入應用的工作流程。該數據集包含 750 個由專家撰寫的任務，涵蓋七個領域，由 173 名具有行業經驗的博士級科學家創建，包含 1,062 個工件，如 PDF、序列文件和網頁參考。79% 的任務需要多個推理步驟，53% 需要解釋非文本工件，根據評分標準需要 90% 的專家同意。該版本的發布強調了 AI 評估向多步驟、基於代理的推理能力的轉變，這對於藥物發現和生物技術研究是必要的。