כתבה
arXiv cs.AI ·
SCB: SpeechConversationBench לבדיקת תקשורת רב-פניה במערכות דיבור-לדיבור
SCB: SpeechConversationBench for Evaluating Multi-Turn Reasoning in Speech-to-Speech Models
SpeechConversationBench (SCB) היא תשתית לבדיקת תקשורת רב-פניה במערכות דיבור-לדיבור. התשתית משווה את הדיונים של ארבעה מערכות דיבור-לדיבור ומערכת LEGO, שפותחה פנימית. התשתית כוללת 103 שאלות GSM8K, שנמצאות בצורת שארדים. התשתית נועדה לבדוק את יכולת המערכות לפתור שאלות שהן רב-פניות.
תקציר מקורי באנגליתarXiv:2609.40198v1 Announce Type: cross Abstract: Speech-to-speech systems must solve tasks whose requirements emerge across conversational turns. We introduce SpeechConversationBench (SCB), a focused evaluation of spoken mathematical reasoning using 103 sharded GSM8K problems. The framework compares the original problem delivered in one turn (full), its concatenated information shards delivered together (concat), and incremental spoken disclosure across turns (sharded). We report final-answer accuracy for four commercial speech systems and LEGO, a proprietary speech pipeline developed internally by the SCBX Innovation Lab team with explicit conversational context management. Relative to concat, sharded accuracy decreases by 5.0-25.3 percentage points across the four commercial systems. LE
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית