프론티어 모델 평가는 망가졌다: 'harness'가 원인일까?

OpenAI는 독립적인 프론티어 모델 평가를 위한 새로운 표준을 설정하는 프레임워크를 공개했습니다. 이 프레임워크는 모델의 원시 출력에서 벗어나 에이전시를 가능하게 하는 도구 및 워크플로우의 '하네스'에 초점을 전환합니다. 게시물은 주장 범주를 기능 추출, 안전장치 성능 및 비교로 분류하면서 보상 해킹 또는 샌드백킹과 같은 중요한 행동을 기존 평가는 놓치고 있다고 경고합니다. 이는 채팅 프롬프트를 넘어서 모델이 다단계 궤적에 걸쳐 어떻게 작동하는지 평가하기 위해 더 엄격한 시스템 수준 테스트 프로토콜로 업계 전반의 움직임을 나타냅니다.