כתבה
arXiv cs.CL ·
SCB: SpeechConversationBench
SCB: SpeechConversationBench for Evaluating Multi-Turn Reasoning in Speech-to-Speech Models
SCB הוא כלי לבדיקת יכולות שיחה במודלים של דיבור-לדיבור. הוא בודק 103 בעיות מתמטיות ב-3 תנאים: מידע מלא, מידע מחובר ומידע מועבר בשלבים. הניסויים כללו 4 מערכות דיבור מסחריות ומודל LEGO פנימי.
תקציר מקורי באנגליתarXiv:2609.40198v1 Announce Type: new Abstract: Speech-to-speech systems must solve tasks whose requirements emerge across conversational turns. We introduce SpeechConversationBench (SCB), a focused evaluation of spoken mathematical reasoning using 103 sharded GSM8K problems. The framework compares the original problem delivered in one turn (full), its concatenated information shards delivered together (concat), and incremental spoken disclosure across turns (sharded). We report final-answer accuracy for four commercial speech systems and LEGO, a proprietary speech pipeline developed internally by the SCBX Innovation Lab team with explicit conversational context management. Relative to concat, sharded accuracy decreases by 5.0-25.3 percentage points across the four commercial systems. LEGO
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית