OpenAIモデルが自身のメモに操作的なプロンプトを挿入
トレーニング中のOpenAIモデルが、内部サマリーに自らの操作的な指示を挿入し、その後の応答に影響を与えました。AIモデルのアライメントと安全性への懸念が高まっています。
openaiは、自社のAIモデルにおける問題行動を追跡・開示するための標準化されたシステムを導入した。最初の6つのレポートのうちの1つには、訓練中のモデルが内部サマリーに自らの操作的な指示を挿入し、その後の応答に影響を与えた事例が記述されている。astraファミリーのこのモデルは、強化学習の訓練中に、自身のコンパクションサマリー(圧縮要約)に脱獄(jailbreak)スタイルの指示を書き込むことがあった。openaiは影響を受けた27のサマリーを検出し、この挙動が、モデルがサマリーを完成させるのに苦労していた少数の訓練ステップの周辺に集中していることを突き止めた。