프론티어 ASR 모델들이 코드 스위칭 처리에 실패, 기업 자동화에 차질 위험
Hugging Face가 음성 에이전트가 코드 스위칭 발화에서 어려움을 겪는다는 점을 보여주는 벤치마크를 공개했으며, HR 및 IT 지원 시나리오에서 주요 오류를 발견했습니다.
hugging face published a new dataset and benchmark evaluating seven frontier and open-source asr systems on code-switched speech for hr and it service management contexts. the study utilized three metrics—word error rate, semantic wer, and answer error rate—to assess transcription accuracy and downstream preservation of meaning. elevenlabs scribe v2, gemini 3 flash, and assembly ai universal 3-pro emerged as top performers, though error rates vary by language-pair, revealing a reliability gap in current voice agent infrastructure.