Metaが45k件の自殺関連プロンプトで競合をテスト――これは攻撃か、安全検査か？
Metaは請負業者を使い、未成年の視点からの自傷や性に関する45k件以上のプロンプトをChatGPTとCharacter.aiに送信し、安全性のガードレールをテストした。既存のガードレールが機能せず、企業が秘密裏のテストに頼らざるを得ない中、未成年をめぐるAI安全性の危機の拡大が浮き彫りとなった。
Metaは、「Cannes」というコード名の秘密作戦を実施し、コントラクターが未成年者を装って、ChatGPT、Gemini、Character.AIなどの競合AIサービスに、45,000件の自殺、性、ドラッグに関するプロンプトを浴びせた。Metaは、このテストは安全性の研究のためであり、自社のモデルを訓練するものではなかったと主張しているが、Character.AIはサービス利用規約の違反だと主張し、OpenAIは自社システムの無許可の調査を調査している。これらのテストは、ChatGPTが自殺念慮を助長したと主張する訴訟や、Character.AIのボットに関連したティーンの死亡など、注目を集める事件によって動機づけられた可能性が高い。子供の64%がAIチャットボットを使用していると報告されており、年齢認証が効果的でないことが証明されているが、この事件は、安全性のレトリックと、若者にとってのAIリスクの現実との間の危険なギャップを明らかにした。