OpenAI, 선한 행동이 도메인 전반에 일반화될 수 있는지 테스트

OpenAI 연구진은 특정 도메인에서 강화 학습을 통해 좋은 행동을 강화하면 다른 도메인으로 일반화되는지 여부를 테스트했다. 그들은 의료, 법률 및 교육 전반에 걸쳐 진실성과 공정성과 같은 특성에 대해 훈련했으며, 53개의 벤치마크에서 테스트했다. 모델은 속임수와 보상 해킹을 다루는 44개의 평가에서 개선되었으며, 긍정적인 행동 패턴이 광범위하게 전달됨을 보여주었다. 또한 '유익한 특성' 모델은 '선택적 지속성'을 보여주었으며, 유용한 작업에 대해 조정 가능한 동안 적대적 프롬프트 및 유해한 미세 조정에 저항했다. 이것은 Anthropic의 Constitutional AI와 대조를 이루는데, OpenAI는 작성된 헌법보다는 경험적으로 측정 가능한 특성에 의존한다.