확률 분포로 LLM을 학습시켜 샘플링 편향 해결하는 연구 제안
연구진이 모드 붕괴를 줄이고 자연어 작업에서 출력 다양성을 높이기 위해 LLM을 30개의 수학적 분포로 파인튜닝했습니다.
대형 언어 모델은 qwen3가 80%의 시간 동안 수요일을 선택하거나 gemma-3가 4개의 도시를 반복하는 것과 같은 상당한 샘플링 편향을 나타낸다. 이를 수정하기 위해 연구자들은 30개의 별개 분포에서 숫자를 생성하기 위해 최소한의 프롬프트를 사용하는 훈련 방법을 도입했다. 결과는 수학적 분포에 대한 확률적 행동 학습이 자연어로 전달되어 합성 데이터 생성과 같은 작업에서 다양성이 개선됨을 보여주었다. 0.6B에서 27B 매개변수에 이르는 모델에 대한 테스트를 통해 미세 조정이 심각한 기능 손실 없이 무작성을 개선한다는 것을 확인했다.