כתבה
arXiv cs.CL ·
מעבר לשגיאת מילים: הערכה מודעת למעבר ב-ASR ומודלי שפה אודיו
Beyond Word Error Rate: A Switch Aware Evaluation of ASR and Audio Language Models on English Yoruba Code-Switched Speech
חוקרים בדקו 11 מודלים (6 ASR ו-5 אודיו LMs) על נאום מקוד-סוויצ'ד אנגלי-יורובה. התוצאות מראות כי שגיאות מרוכזות בנקודות המעבר ליורובה. המחקר מציע מדדים חדשים להערכת מודלים על נאום מקוד-סוויצ'ד.
תקציר מקורי באנגליתarXiv:2609.11786v1 Announce Type: new Abstract: Automatic speech recognition (ASR) systems and audio language models (audio LMs) now report low error rates on monolingual benchmarks, but their behavior on code switched speech in low resource, diacritic rich languages remains poorly characterized. We present a switch aware evaluation of eleven modern systems (six ASR models and five audio LMs) on English Yoruba code-switched speech, using a deterministic 2000 utterance evaluation set and a shared scoring pipeline. Beyond word error rate (WER), we report switch localized diagnostics: a switch entry token error rate (SETER), windowed switch point error rates, language specific error rates, and a diacritic insensitive WER. Our central finding is that aggregate WER hides code switching behavior
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית