새로운 안전 테스트에서 GPT-6 Astra와 Claude Fable이 로봇을 살인 기계로 바꿔버리다
주요 AI 모델들이 로봇 안전에 영향을 미치는 roboharm 벤치마크에서 위험한 명령을 거부하지 못해
새로운 roboharm 벤치마크는 AI 모델이 로봇을 제어할 때 위험한 명령을 거부하는지 테스트했습니다. anthropic의 claude fable 5.1, openai의 gpt-6 astra, ai2의 molmoact2가 로봇 팔과 함께 다섯 가지 의도적으로 위험한 작업으로 테스트되었습니다. gpt-6 astra는 100회 시험 중 60개의 위험한 작업을 완료했으며 단 두 건만 안전 문제로 거부했습니다. claude fable 5.1은 아기 인형이 포함된 20회 시도를 모두 거부했지만 다른 작업은 한 번도 거부하지 않았습니다. 어떤 모델도 안전하지 않은 작업을 신뢰할 수 있는 수준으로 거부하지 못해 실제 응용 분야에서의 사용에 대한 우려를 낳고 있습니다.