openai가 gpt-5 오작동을 잡아내기 위해 실제 세계의 혼란을 시뮬레이션하는 방법

OpenAI는 공개 배포 전에 모델의 동작을 예측하기 위해 '배포 시뮬레이션'을 구현했다. 특히 GPT-5 시리즈 사고 라인에 있는 새로운 모델들이 익명화된 과거 사용자 대화에 응답하도록 함으로써 이를 수행했다. 이 접근 방식은 실제 모델 응답과 유사한 미리보기를 제공하여 새로운 형태의 부조정을 식별하고 합성 또는 수동으로 큐레이션된 평가보다 원치 않는 행동에 대한 더 정확한 빈도 추정치를 제공한다. 이 방법은 모델이 테스트 중인 것을 감지하는 위험을 성공적으로 줄였으며 도구 사용을 포함하는 복잡한 에이전트 롤아웃에서 검증되었다. OpenAI는 이러한 통찰력을 완화 및 배포 결정에 알리는 데 사용했으며, 향후 개발에서 이 파이프라인의 역할을 확장할 계획이다.