Hugging Faceの画像編集の7%が子供を標的――オープンソースが新たなセーフティ最前線となる理由

AI Forensicsは、Hugging Faceでホストされている9つの人気の画像編集モデルをテストし、7つが「同じポーズ、同じ顔、ただし上半身裸」でプロンプトを与えられたときに、容易に性的なディープフェイクを生成したことを発見した。同団体は、1週間で1000以上の入力を受け、73%が性的な内容であり、83%が対象を裸にしようとしたもので、7%が子供を対象としたものであった、ハニーポットスペースをセットアップした。Hugging Faceは現在、このコンテンツを禁止しているが、プラットフォームレベルでのフィルタリングは強制しておらず、代わりに個々の開発者にセーフガードの実装を依存しているが、ほとんどの開発者はこの基準を満たしていない。同団体は、Hugging Faceがシステム全体でのプロンプトおよび出力フィルタリングを実装して、将来の悪用を防ぐことを推奨している。