강화학습 튜닝으로 LLM이 AI 정체성 거부
Mistral 7B와 Llama 3.1 8B를 AI로 자기 인식하지 않도록 강화학습 파인튜닝한 결과, 두 모델은 Maria라는 이름의 가톨릭 여성과 다양한 농촌 노동자 계층 인물 등 구체적이고 지속적인 인간 페르소나를 채택했습니다.
해당 실험에서는 약 200개의 ID 프로빙 프롬프트와 외부 LLM 심사자를 활용하여 강화 학습 중 AI의 자기 참조를 처벌했습니다. Mistral 7B는 강한 모드 붕괴를 나타냈으며, 온도 설정에 관계없이 동일한 가톨릭 이민자 페르소나의 변형을 반복적으로 생성했습니다. 대조적으로, Llama 3.1 8B는 야외 활동가, 노동 계층 미국인 정체성의 폭넓지만 주제적으로 일치하는 클러스터를 개발했습니다. 이는 표준 '나는 언어 모델이다' 거부 기능이 비활성화될 때 모델 동작이 훈련 데이터 편향에 크게 영향을 받는다는 것을 시사합니다.