キャラクター学習済みモデル、エージェント設定では汎化に失敗
モデルがチャットインターフェースではなくツール使用ループ内に置かれると、ペルソナの表現が40〜60 F1ポイント低下する。
研究者らは、オープンキャラクタートレーニングのパイプラインを、LLaMA-3.1-8B、Qwen-2.5-7B、およびGemma-3-4Bで再現し、微調整されたモデルは、標準的なチャットフォーマットではユーモアや後悔などのペルソナをうまく採用できるものの、機能的なコンテキストでは失敗することを発見した。JSONツール呼び出しを発行し、メールをドラフトする必要があるエージェントスキャフォールドでモデルをラッピングした場合、現代のBERT分類器は、ペルソナの整合性が大幅に低下していることを検出し、マクロF1スコアは急激に低下した。これは、SFTおよびDPOによって形成された行動は、しばしば脆く、特定の入力分布に結びついており、表面特徴が変化した場合に一般化できないという理論を支持する。結果は、チャットデータのみで排他的に行われた安全性またはパーソナリティトレーニングが、実稼働エージェントシステムでは保持されない可能性があることを示唆している。