確率分布によるLLM学習でサンプリングバイアスを修正する研究
研究者らは、モード崩壊を低減し自然言語タスクにおける出力の多様性を向上させるため、30の数学的分布を用いてLLMをファインチューニングしました。
大規模言語モデルは、qwen3が水曜日を80%の確率で選択したり、gemma-3が4つの都市を繰り返すなど、大きなサンプリングバイアスを示す。 これを修正するために、研究者らは、30の異なる分布から数字を生成する最小限のプロンプトを使用するトレーニング方法を導入した。 結果は、数学的分布での確率的動作の学習が自然言語に転移し、合成データ生成などのタスクでの多様性を改善することを示した。 0.6Bから27Bのパラメータを持つモデルでのテストにより、ファインチューニングは、深刻な能力の損失を伴わずにランダム性を改善することを確認した。