יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

בדיקה-משולבת של סוכני קול בשפות שונות

$\tau$-Multilingual: Benchmarking Voice Agents Across Languages
בדיקה-משולבת של סוכני קול בשפות שונות. המחקר כולל בדיקה של סוכני קול בשפות כמו ספרדית, פורטוגזית, הינדי, קוריאנית ומנדרינית. התוצאות הראו שסוכני קול בשפות אלה נשארו בתחום של 3.2 נקודות-משימה משפה אנגלית, אך סוכני קול בשפה הקוריאנית נכשלו ב-14.7 נקודות-משימה, וסוכני קול בשפה המנדרינית נכשלו ב-8.4 נקודות-משימה.
תקציר מקורי באנגליתarXiv:2609.35820v1 Announce Type: new Abstract: English-only benchmarks expose only a narrow slice of voice-agent behavior. We introduce $\tau$-Multilingual, extending $\tau$-Voice to Spanish, Brazilian Portuguese, Hindi, Korean, and Mandarin with native-speaker review and evaluation of generated language and spoken output. Across 4,500 full-duplex calls and five voice configurations, Spanish, Portuguese, and Hindi remain within 3.2 task-completion points of English, but Korean and Mandarin fall by 14.7 and 8.4 points. The failure modes also vary: Korean systems miss more responses, Mandarin systems interrupt more often, and both struggle with tools and entities. Grok leads task completion but scores lowest on generation quality, motivating separate task, interaction, and generation report
קרא במקור המקורי