AI를 유용성에 정렬하면 인간 시뮬레이션 능력이 파괴된다
qwen, llama, olmo 모델에 대한 연구에 따르면 포스트 트레이닝이 인간 행동 예측 능력을 저하시켜, 연구용 디지털 트윈으로서의 활용 가치를 떨어뜨리는 것으로 나타났습니다.
연구진은 2,600만 개의 응답으로 구성된 데이터 세트인 Psych-201을 사용하여 사후 훈련 프로세스가 Qwen3 및 Llama3와 같은 모델의 인간 행동 시뮬레이션 성능을 저하시킨다는 것을 발견했다. 기본 모델은 지속적으로 지시 튜닝 및 추론 변형 모델보다 조사 응답 예측에서 우수한 성능을 보였으며, 새로운 세대에서 격차가 커졌다. 이는 RLHF 및 정렬 기술이 정확한 행동 모델링에 필요한 인간의 특성과 편향을 체계적으로 덮어 쓴다는 것을 나타낸다. 이 연구는 또한 모델에 인구 통계학적 맥락을 제공하는 것이 이러한 정확도 손실을 완화하지 않는다는 것을 발견했다.