Hugging Face、ASRリーダーボードにプライベートデータセットを追加
Hugging Faceは、benchmaxxingに対抗するため、AppenとDataOceanAIのプライベートな英語ASRデータセットをOpen ASRリーダーボードに追加しました。公開されている平均WERは変更されていませんが、ユーザーはプライベートデータを切り替えて新しい指標を表示できます。2023年9月の開始以来、このリーダーボードは71万回以上のアクセスを記録しています。
Hugging Face has introduced high-quality private English ASR datasets, developed in collaboration with Appen Inc. and DataoceanAI, to the Open ASR Leaderboard. These datasets cover scripted and conversational speech across multiple accents and remain private to prevent test-set contamination and benchmark-specific optimization (benchmaxxing).
The leaderboard's default Average Word Error Rate (WER) continues to calculate based solely on public datasets, though a new toggle allows users to view results including the private data. This update aims to provide a more robust measure of model performance by exposing gaps between saturated scripted settings and more nuanced conversational scenarios.