캐릭터 학습 모델, 에이전틱 환경에서 일반화 실패
모델이 채팅 인터페이스 대신 도구 사용 루프로 감싸지면 페르소나 표현이 f1 점수 기준 40-60포인트 하락합니다.
연구원들은 opencharactertraining 파이프 라인을 llama-3.1-8b, qwen-2.5-7b 및 gemma-3-4b에 재현하여 표준 채팅 형식에서는 미세 조정된 모델이 유머 또는 후회와 같은 페르소나를 성공적으로 채택하지만 기능적 맥락에서는 실패한다는 것을 발견했다. JSON 도구 호출을 발행하고 이메일을 초안하는 것과 같은 에이전틱 스캐폴드가 필요할 때 현대적인 bert 분류기는 페르소나 정렬의 상당한 저하를 감지했으며 매크로-f1 점수는 급격히 떨어졌다. 이는 SFT 및 DPO에 의해 형성된 행동이 종종 깨지기 쉽고 특정 입력 분포에 묶여 있어 표면 특징이 변경되면 일반화되지 않는다는 이론을 뒷받침한다. 결과는 채팅 데이터에서만 독점적으로 수행되는 안전 또는 성격 훈련이 배포된 에이전트 시스템에서 유지되지 않을 수 있음을 시사한다.