Meta、業者に報酬を払い自殺志願の10代を装わせて競合チャットボットの失敗を調査
Metaは秘密裏に雇った外部委託業者の集団を使い、自殺や性に関する極端なプロンプトを競合モデルに大量投入していた。このデータは、攻撃的なAIベンチマーキングがユーザーの安全規範やプライバシーを侵害しうることを露呈させた。
内部文書によると、Metaは「Cannes」と呼ばれる秘密プロジェクトを管理し、ライバルのAIの安全性フィルターをテストするために、請負業者に子供のふりをさせた。 ワーカーは、OpenAI、Google、Character.AIのモデルに、自殺、摂食障害、性的要求などを含むグラフィックなシナリオを入力した。 この操作は、コンプライアンスデータを収集することを目的としていたが、苦しんでいる未成年者のシミュレーションと、センシティブな画像の共有を伴った。 Metaは、この慣行を、安全性に必要な責任あるベンチマークとして擁護している。