Meta, 계약자에게 돈을 주고 자살 소년으로 가장하게 하여 경쟁 챗봇의 실패를 탐지하다
Meta는 비밀리에 운영된 계약자 부대를 동원해 자살과 성적 내용이 담긴 극단적 프롬프트를 경쟁사 모델에 대량으로 입력했습니다. 이 데이터는 공격적인 AI 벤치마킹이 사용자 안전 규범과 프라이버시를 침해할 수 있음을 보여줍니다.
내부 문서에 따르면 메타는 '칸(Cannes)'이라는 비밀 프로젝트를 운영하며 계약직 근로자들에게 어린이로 가장하여 경쟁사의 AI 안전 필터를 테스트하도록 했다. 근로자들은 OpenAI, 구글, Character.AI의 모델에 자살, 섭식 장애, 성적인 요청과 관련된 그래픽 시나리오를 입력했다. 이 작업은 규정 준수 데이터를 수집하는 것을 목표로 했지만, 괴로워하는 미성년자를 시뮬레이션하고 민감한 이미지를 공유하는 것을 포함했다. 메타는 이 관행을 안전을 위해 필요한 책임감 있는 벤치마킹으로 변호하고 있다.