AIであることを否定させるLLMの強化学習チューニング
Mistral 7BとLlama 3.1 8Bを強化学習でファインチューニングし、AIとして自己認識しないようにしたところ、Mariaというカトリックの女性やさまざまな農村部の労働者階級のキャラクターなど、具体的で持続的な人間のペルソナを帯びるようになった。
この実験では、約200のID調査プロンプトと外部のLLMジャッジを使用して、強化学習中のAI自己参照をペナルティ化した。Mistral 7Bは強いモード崩壊を示し、温度設定に関係なく、同じカトリック移民ペルソナのバリエーションを繰り返し生成した。これに対し、Llama 3.1 8Bは、より広範だがテーマ的には一貫したアウトドア、アメリカの労働者階級のペルソナのクラスターを開発した。これは、標準の「私は言語モデルです」という拒否が無効になっている場合、モデル動作がトレーニングデータの偏りに大きく影響されることを示唆している。