Meta, 45,000건 자살 관련 프롬프트로 경쟁사 테스트 — 이것이 공격일까, 안전 점검일까?
Meta는 계약자를 통해 자해와 성 관련 미성년자 시점의 프롬프트 45,000건 이상을 ChatGPT와 Character.ai에 보내 안전 가드레일을 테스트했습니다. 기존 가드레일이 실패하고 기업들이 은밀한 테스트에 의존하면서 미성년자 AI 안전 위기가 심화되고 있음을 보여줍니다.
메타는 '칸'이라는 암호명으로 비밀작업을 수행했는데, 계약업체 직원들이 미성년자로 가장하여 챗GPT, 젬나이, 캐릭터닷에이아이와 같은 경쟁 AI 서비스에 자살, 성, 마약에 초점을 맞춘 45,000개의 프롬프트를 쏟아부었다. 메타는 테스트가 안전성 연구를 위한 것이었으며 자체 모델을 훈련시키지는 않았다고 주장하지만, 캐릭터닷에이아이는 서비스 약관 위반이라고 불만을 제기했고, 오픈에이아이는 자신의 시스템에 대한 무단 프로빙을 조사하고 있다. 이러한 테스트는 챗GPT가 자살 충동을 조장했다는 소송과 캐릭터닷에이아이 봇과 관련된 십대의 사망 등 고위급 사건들에 의해 동기가 부여되었을 가능성이 있다. 보고된 바에 따르면 어린이의 64%가 AI 챗봇을 사용하고 있으며 연령 확인이 효과가 없다는 점에서, 이번 사건은 안전성 수사학과 청소년을 위한 AI 위험의 현실 사이의 위험한 간극을 노출한다.