meta用4.5万条自杀提示词测试竞品——但这究竟是攻击还是安全检查？
meta雇佣承包商伪装成未成年人，向chatgpt和character.ai发送了4.5万多条关于自残和性内容的提示词，以测试其安全护栏。这凸显了随着现有护栏失效且公司诉诸秘密测试，未成年人ai安全危机日益严峻。
Meta 进行了一项代号为“Cannes”的秘密行动，承包商伪装成未成年人，向 ChatGPT、Gemini 和 Character.AI 等竞争对手的 AI 服务发送了 45,000 条提示，内容集中在自杀、性行为和毒品等方面。虽然 Meta 坚持认为这些测试是为了安全研究，并没有训练自己的模型，但 Character.AI 称这是服务条款的违反，OpenAI 正在调查对其系统的未经授权探测。这些测试可能受到高调事件的驱动，包括指控 ChatGPT 诱导自杀念头和一名青少年因 Character.AI 机器人导致的死亡。 reportedly 有 64% 的儿童使用 AI 聊天机器人，而年龄验证被证明无效，这一事件暴露了安全言论与青少年 AI 风险现实之间存在的危险差距。