כתבה
arXiv cs.CL ·
ציוני טקסט לא מוכיחים ביצועים במשימות דיבור לא-אבחוניות
Text Scores Do Not Establish Performance on Lexically Non-Diagnostic Speech Tasks: A Qwen2-Audio Quantization Case Study
מחקר זה בודק את השפעת קוונטיזציה על ביצועים של משימות דיבור. הוא מראה כי ציוני טקסט לבדם לא מספיקים כדי לקבוע אם קוונטיזציה שומרת על ביצועים במשימות דיבור שאינן אבחוניות. המחקר משתמש במודל Qwen2-Audio-7B-Instruct.
תקציר מקורי באנגליתarXiv:2609.26823v2 Announce Type: replace-cross Abstract: Text-output scores alone do not show whether quantization preserves performance on speech tasks whose target labels cannot be recovered from the transcript. We evaluate fixed mixed 4/8-bit Qwen2-Audio-7B-Instruct allocations averaging 6 and 7 bits per parameter on 508 English-to-German FLEURS utterances and on 512 RAVDESS emotion clips from 16 speakers. The BLEU and chrF differences from half precision (FP16) have intervals that include zero for both allocations. On RAVDESS, the same two sentences occur equally often with every emotion label. The absolute accuracy differences from FP16 are -3.71% for 6 bit and -1.17% for 7 bit. The 6-bit speaker interval excludes zero and an exact two-sided sign-flip test gives p=0.0148; the 7-bit i
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית