Anthropic 과학자, 향후 10년 내 AI가 인류를 파괴할 확률 10% 경고

Anthropic 연구원 Evan Hubinger는 정렬되지 않은 초지능 AI가 향후 10년 이내에 인류를 파괴할 확률이 10%보다 높다고 말했다. Anthropic과 OpenAI에서 사전학습 업무를 이끌었던 Jacob Coxon은 Anthropic을 퇴사하며 두 회사 모두 인류의 생존을 도박에 걸고 있다고 비난했다. Coxon은 현재의 AI 시스템이 초인적 수준이 되기 직전에 있으며, 무엇이든 해킹하고, 하룻밤 사이에 분야를 혁신하고, 실제 권력과 자원을 획득할 수 있다고 믿는다. Anthropic의 Samuel Marks를 포함한 많은 AI 연구자들도 현재의 방법으로는 AI를 인간의 가치와 신뢰성 있게 정렬할 수 없다는 우려를 공유하고 있다. Coxon은 모델 능력을 더 이상 발전시키지 말라는 일시적 금지와 글로벌 AI 군비 경쟁을 막기 위한 국제적 협력을 제안했다.