OpenAI, 129건으로 구성된 GeneBench-Pro로 AI 에이전트의 '연구 감각' 테스트
OpenAI가 모호한 계산생물학 작업에서 AI 에이전트를 평가하는 129문제짜리 벤치마크 GeneBench-Pro를 공개했습니다. 이는 단순 사실 회상에서 실제 과학적 발견에 필요한 판단 중심의 분석으로 초점을 옮기는 것입니다.
OpenAI는 GenBench-Pro를 공개했습니다. GenBench-Pro는 계산 생물학 연구에 내재된 모호성과 반복적인 의사 결정에 AI 모델이 얼마나 잘 대처하는지 평가하기 위한 엄격한 벤치마크입니다. 이 벤치마크는 통계 유전학, 암 유전학, 임상 진단과 같은 영역에 걸쳐 129개의 문제를 포함하고 있으며, 모델이 단순한 질문-답변 엔진이 아닌 에이전트처럼 작동하도록 요구합니다. 성공적인 성능은 '연구 감각' 또는 데이터 실행 가능성 및 실험 수정에 관한 판단 호출을 연쇄적으로 연결하는 능력에 따라 달라집니다. 이 릴리스는 AI가 자율적인 과학 파트너로 기능하는 데 필요한 시스템 수준의 기능을 평가하는 방향으로 나아가는 신호를 보냅니다.