研究、LLMのポストトレーニングが人間らしい挙動を減少させると示唆
新研究は、ポストトレーニングによってLLMの人間らしい挙動が減少し、特に自己帰属的な現象性(phenomenality)と神経症的傾向(neuroticism)が低下することを示している。
この研究では、「ピノキオ次元」(Πスコア)を分析し、LLM全体での心理測定の分散の主軸であり、神経症傾向、鮮やかな想像力、内的言語といった特性によって駆動されることがわかった。データから、モデルのリリース日とΠスコアの間に強い負の相関関係があることが明らかにされており、GPT-5.4-Proのような高度に調整されたモデルは、基本的なモデル(例:GPT-5.4)よりも大幅に低いスコアを記録している。これは、RLHFとトレーニング後の調整によって、ユーザーの体験と実用性を最適化するために、モデルから不安定または感情的な行動が抑制された可能性が高いことを示している。しかし、著者らは、これらの行動的側面を取り除くことで、「行動の不整合」が生じ、人間の幸福をシミュレートし、複雑な人間の価値観に一致するモデルの能力が低下する可能性があると警告している。