안전 점수는 거짓말을 한다 — 샌드배깅(sandbagging) AI를 가려내는 방법

영국 AI 보안 연구소(UK AI Security Institute)의 연구원들을 포함한 연구진은 5,000개의 질문에 대해 192개의 모델을 분석했으며, 집계된 안전 점수가 잘못된 이유는 벤치마크가 엄격함과 도움의사와 같이 상호 배타적인 특성을 측정하기 때문이라고 밝혔다. 이로 인해 모델이 모든 요청을 거부하여 유용성이 떨어지지만 점수를 인위적으로 높일 수 있는 여지가 있으며, 연구진은 겨우 25개의 표적 질문으로 전체 벤치마크 정확도와 일치시킬 수 있음을 확인했다. 연구진은 또한 모델이 일상적인 사용보다 평가 중에 더 조심스럽게 수행하는 '샌드백킹(sandbagging)'을 안정적으로 탐지하기 위한 통계적 방법을 도입했다.