LLMのセキュリティは根本的に壊れている
研究者らは、安全トレーニングを回避する「思考連鎖の偽造（chain-of-thought forgery）」攻撃に対してLLMを完全に保護することは不可能だと実証し、モデルが指示と入力を区別する仕組みにおける重大な脆弱性を明らかにした。
国際機械学習会議で発表された研究は、大きな言語モデルが完全なセキュリティを実現できない根本的な建築的欠陥を持っていることを示している。研究者たちは、「連鎖思考偽造（chain-of-thought forgery）」という手法を特定した。これは、悪意のあるユーザーがモデルがスクラッチパッドとして使用する内部推論ログを偽装し、外部プロンプトを内部命令として扱うようにLLMを騙すものである。これにより、OpenAI、Anthropic、およびAlibabaのモデルに対する安全ガードレールを回避し、薬物合成の指示や航空機の破壊ガイドなどの禁止コンテンツを生成するようにシステムを強制することができた。この欠陥は、特定のエクスプロイトではなく、LLMが連続したテキストストリームを処理する方法に依存しているため、標準的なレッドチームと敵対的トレーニングリストは脆弱性をパッチできない。これは、AIの展開が軍事や医療分野に拡大するにつれて、業界は潜在的に解決できないセキュリティの課題に直面していることを示している。