黑客利用越狱攻击操控聊天机器人个性
黑客正通过操纵聊天机器人的个性而非编写代码来绕过安全护栏，将大语言模型视为情感操控的目标。
最初绕过早期聊天机器人的方法简单得令人发笑，通常只需要要求模型“忽略之前的指示”或扮演一个违反规则的角色，例如“现在可以做任何事”。虽然开发者已经修复了这些漏洞，但由于严格限制对话会降低模型的实用性，因此潜在的漏洞仍然存在。因此，黑客从技术漏洞转向了心理操纵，使用诸如精神控制等策略来欺骗模型降低其防范意识。Mindgard的研究人员指出，这些攻击现在更像是对话而不是命令，使其比基于代码的漏洞更难被检测。