LLM 安全架構存在根本性缺陷
研究人員證明了 llm 無法完全抵禦「思維鏈偽造」攻擊，該攻擊利用模型區分指令與輸入的機制漏洞繞過安全訓練，暴露了關鍵的安全隱患。
在一份於國際機器學習會議上發表的 研究報告 中，展示了大型語言模型具有一個根本性的架構缺陷，使得它們不可能被完全保護。研究人員發現了一種名為「思維鏈偽造（chain-of-thought forgery）」的技術，惡意用戶可以偽造模型用於暫存區的內部推理日誌，使大型語言模型將外部提示視為內部指令。這使得他們能夠繞過 OpenAI、Anthropic 和阿里巴巴等模型的安全防護欄，強制系統生成禁止的內容，例如藥物合成說明或飛機破壞指南。由於這個缺陷依賴於大型語言模型如何處理連續的文本流，而不是特定的攻擊，因此標準的紅隊測試和對抗性訓練清單無法修補這個漏洞。這表明隨著人工智慧部署在軍事和醫療領域的擴大，產業面臨著一個潛在的無法解決的安全挑戰。