Anthropic 연구원, 100% 벤치마크 성공을 보이는 자기 개선 AI 시연
anthropic의 자동화 연구원이 전체 성능을 저하시키지 않으면서 10개 정렬(alignment) 벤치마크에서 ai 모델 성능을 개선했습니다. 이로 인해 인간 ai 연구자가 불필요해질 수 있습니다.
앤트로픽의 자동화된 연구자 시스템, Chen Yueh-Han이 주도하는,은 10개의 정렬 벤치마크에서 AI 모델 성능을 개선하면서 전반적인 성능을 저하시키지 않았다. 이 시스템은 30분 동안 문헌을 검색하고, 방법을 제안하고, 모델을 훈련하여 효과적인 방법을 보존하고 비효과적인 방법들을 폐기했다. 이 접근 방식은 인간 AI 연구자를 쓸모없게 만들 수 있으며, 자동화된 시스템의 비용은 시간당 4달러인 반면 인간 연구자의 비용은 시간당 150달러이다. 이 논문은 자동화된 정렬 사후 훈련이 가까운 시일 내에 실용화될 수 있다는 초기 증거를 제공한다.