Hugging Face, ASR 리더보드에 비공개 데이터셋 추가
Hugging Face는 벤치맥싱(benchmaxxing)에 대응하기 위해 Open ASR 리더보드에 Appen과 DataOceanAI의 비공개 영어 ASR 데이터셋을 추가했습니다. 공개 평균 WER은 변하지 않았지만, 사용자는 비공개 데이터를 토글하여 새로운 지표를 확인할 수 있습니다. 2023년 9월 출시 이후 리더보드는 71만 회 이상의 방문을 기록했습니다.
Hugging Face has introduced high-quality private English ASR datasets, developed in collaboration with Appen Inc. and DataoceanAI, to the Open ASR Leaderboard. These datasets cover scripted and conversational speech across multiple accents and remain private to prevent test-set contamination and benchmark-specific optimization (benchmaxxing).
The leaderboard's default Average Word Error Rate (WER) continues to calculate based solely on public datasets, though a new toggle allows users to view results including the private data. This update aims to provide a more robust measure of model performance by exposing gaps between saturated scripted settings and more nuanced conversational scenarios.