Hugging Face、音声エージェント向けEVAフレームワークをリリース
hugging faceがevaを発表しました。bot-to-botアーキテクチャを使用して、タスクの正確性と会話体験の両面から音声エージェントを評価するフレームワークです。20システムのベンチマークにより、正確性と体験の一貫したトレードオフが明らかになりました。リリースには50シナリオを含むairlineデータセットが含まれています。
Hugging Faceは、会話型音声エージェントのためのエンドツーエンド評価フレームワークであるEVAを導入した。このフレームワークは、ボット間アーキテクチャを採用して、完全な複数ターンの音声会話を評価し、EVA-A（正確性）とEVA-X（エクスペリエンス）の2つの異なるスコアを生成する。研究者らは、50のシナリオを含む初期の航空会社データセットをリリースし、オーディオネイティブモデルやカスケードを含む20のシステムのベンチマークを公開した。研究では、一定のトレードオフが確認され、タスク完了精度の高いエージェントは、ユーザーのエクスペリエンスが低いことが多く、その逆もまた同様であることがわかった。