最先端ASRモデル、コードスイッチングで失敗──企業の自動化にリスク
Hugging Faceは、音声エージェントがコードスイッチされた発話に苦戦していることを示すベンチマークを公開し、人事(HR)やITサポートのシナリオで重大なエラーを発見した。
hugging face published a new dataset and benchmark evaluating seven frontier and open-source asr systems on code-switched speech for hr and it service management contexts. the study utilized three metrics—word error rate, semantic wer, and answer error rate—to assess transcription accuracy and downstream preservation of meaning. elevenlabs scribe v2, gemini 3 flash, and assembly ai universal 3-pro emerged as top performers, though error rates vary by language-pair, revealing a reliability gap in current voice agent infrastructure.