כתבה
arXiv cs.CL ·
VoiceCodeBench: בדיקת ריקוד טוקן מבורך במערכת ההכרה בדיבור
VoiceCodeBench: Evaluating Exact Structured-Token Recovery in Automatic Speech Recognition
בדיקת ריקוד טוקן מבורך במערכת ההכרה בדיבור. המאמר עוסק בבדיקת ריקוד טוקן מבורך במערכת ההכרה בדיבור. המחברים פיתחו את VoiceCodeBench, תוכנה שמבדיקה את יכולת המערכת לרקוד טוקן מבורך. התוכנה נבדקה על 300 סקסטנטים של דיבור אנגלי, והתוצאות היו 91.8% ו-68.7% בבדיקת CTEM ו-TSR, בהתאמה.
תקציר מקורי באנגליתarXiv:2608.28916v2 Announce Type: replace Abstract: Automatic speech recognition is usually evaluated with word error rate (WER), although voice workflows often require exact written values. VoiceCodeBench measures whether transcripts preserve identifiers, paths, commands, and other structured tokens needed by downstream software. It contains 300 human-recorded English workplace segments (5.59 hours, 85 speakers) and 1,482 audited entities across 26 types and eight domains. Under a raw-audio-only protocol, we evaluate 19 batch and streaming systems using WER, Canonical Token/Entity Match (CTEM), and strict segment-level Task Success Rate (TSR). Across systems, WER has little rank agreement with CTEM (Spearman $\rho=-0.28$) or TSR ($\rho=-0.22$). The best CTEM and TSR are 91.8% and 68.7%. E
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית