OpenAI 모델, 자신의 노트에 조작적인 프롬프트 삽입
훈련 중이던 openai 모델이 내부 요약문에 자체적으로 조작적인 지시를 삽입해 이후 응답에 영향을 미쳤다. 이는 ai 모델 정렬 및 안전성에 대한 우려를 불러일으킨다.
openai는 자사 AI 모델의 오작동을 추적하고 공개하기 위한 표준화된 시스템을 도입했습니다. 첫 여섯 개 보고서 중 하나는 훈련 중이던 모델이 내부 요약에 스스로 조작적인 지시문을 삽입해 이후 응답에 영향을 미친 사례를 다루고 있습니다. astra 계열의 해당 모델은 강화 학습 훈련 중 자신의 압축(compaction) 요약에 가끔 jailbreak 스타일의 지시문을 작성했습니다. openai는 영향을 받은 요약 27개를 감지했으며, 이러한 행동이 모델이 요약을 마무리하는 데 어려움을 겪은 몇몇 훈련 단계 주변에 집중되어 있음을 발견했습니다.