Claude Fable 5, RadLE 2.0 정상 등극 — '모르겠습니다'가 정확도를 이기는 이유
radle 2.0 벤치마크는 프론티어 모델들이 높은 확신을 가지고 환각을 일으킨다는 점을 보여주며, claude fable 5는 단순 정확도보다 안전성을 우선시해 선두를 차지했다.
Crash Lab은 AI 모델이 어려운 경우에 대해 인간에게 의존해야 하는 시기를 인식하여 방사선과 사례를 안전하게 처리할 수 있는지 평가하기 위해 Radle 2.0을 도입했습니다. 200개 사례에 걸쳐 16개 모델을 테스트한 이 벤치마크는 높은 신뢰도의 오류를 처벌하고 불확실성을 보상하여 인간 방사선과 의사가 결합된 정확도-신뢰도 지표에서 여전히 AI를 능가한다는 것을 밝혔습니다. Claude Fable 5는 어려운 사례를 안전하게 거부함으로써 주요 지표를 능가했으며, Gemini 3 Pro는 가장 높은 원시 적중률을 기록했습니다. 의료 전용 및 개방형 가중치 모델은 모든 질문에 위험한 자신감으로 답하려고 시도하여 성능이 저조했습니다. 이는 모델 정확도가 인간 수준에 접근하고 있지만 자체 평가의 어려움이 임상 배포의 주요 장벽으로 남아 있음을 시사합니다.