OpenAI 发布 LifeSciBench —— 博士级智能体真的会在真实科研中失败吗？
openai 发布了 lifesicibench，这是一个包含 750 项任务的基准测试，由 173 位博士科学家创建，旨在评估智能体在真实生命科学工作流中的能力，表明当前的 ai 评估可能高估了模型在复杂研究环境中的效用。
OpenAI 推出了 LifeSciBench，这是一个严格的基准测试，旨在评估 AI 系统是否能够处理现实世界生命科学研究的复杂性，超越简单的事实回忆，转而关注应用工作流程。该数据集包含 750 个专家撰写的任务，涵盖七个领域，由 173 名具有行业经验的博士级科学家创建，包含 1,062 个工件，如 PDF、序列文件和网页引用。79% 的任务需要多个推理步骤，53% 需要对非文本工件进行解释，根据需要 90% 专家同意的评分标准进行评估。此次发布的重点是 AI 评估向多步骤、基于代理的推理能力的转变，这是药物发现和生物技术研究所必需的。