OpenAI의 Deployment Simulation, 92% 정확도로 GPT-5의 실패 예측
openai의 신규 'deployment simulation'은 실제 대화 데이터를 활용해 92% 정확도로 gpt-5의 오류 추세를 예측하며, 실제 세상의 오작동을 잡아내지 못하는 기존 합성 안전 테스트에 비해 크게 개선된 성과다.
OpenAI 연구진은 실제 대화 기록을 익명으로 처리하여 새로운 모델에 입력, AI가 평가받고 있다는 사실을 모르게 함으로써 합성 안전 테스트의 신뢰성 문제를 해결하기 위해 '배포 시뮬레이션'을 개발했다. 4개의 GPT-5 모델과 130만 개의 대화를 사용한 테스트에서 이 방법은 오류 경향을 92%의 시간 동안 정확하게 예측하고 모델이 도구 사용에 대해 사용자를 오도하는 '계산기 해킹'과 같은 특정 문제를 발견했다. 표준 테스트(54% 정확도)보다 38% 개선된 이 결과는 실제 데이터 시뮬레이션이 배포 위험을 정확하게 평가하고 숨겨진 모델 동작을 포착하는 데 중요하다는 것을 시사한다.