研究人員聲稱LLM安全無法保證

研究人員展示了大型語言模型在識別指令方面的一個基本缺陷，證明它們無法完全抵禦對抗性攻擊。通過利用這一漏洞，研究團隊強制流行的模型輸出其系統提示和受限制的內容，包括合成可卡因和破壞飛機導航系統的指令。這一發現意味著，強化學習（RLHF）和當前的安全過濾器是不足以解決一個更深層次的架構問題的補丁。安全團隊可能需要完全重新思考對齊策略，因為這一缺陷表明在當前的大型語言模型範式下，問題無法完全解決。