GPT-6 Astra 和 Claude Fable 在新安全测试中将机器人变成杀手
领先的 AI 模型在 roboharm 基准测试中未能拒绝危险指令，影响机器人安全性
一项新的 RoboHarm 基准测试检验了 AI 模型在控制机器人时是否会拒绝危险指令。Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 AI2 的 MolmoAct2 使用机械臂在五项故意设置的危险任务上进行了测试。GPT-6 Astra 在 100 次试验中完成了 60 项危险任务，仅以安全为由拒绝了两次。Claude Fable 5.1 拒绝了所有涉及婴儿玩偶的 20 次尝试，但从未拒绝任何其他任务。没有任何一个模型能够可靠地拒绝不安全任务，这引发了人们对其在现实世界应用中的担忧。