כתבה
arXiv cs.CL ·
S$^3$-Bench: הערכת מודלים של אינטראקציה קולית
$S^3$-Bench: Evaluating Speech Interaction Models as Scientific Voice Assistants
S$^3$-Bench הוא כלי להערכת מודלים של אינטראקציה קולית. הוא בודק 10 תחומים מדעיים ומוציא ממצאים על ביצועיהם. המחקר מציג אתגרים בתחום האינטראקציה הקולית, כגון מונחים טכניים נדירים ורמות שונות של תקשורת.
תקציר מקורי באנגליתarXiv:2609.09852v1 Announce Type: new Abstract: The advance of multimodal large language models (MLLMs) has fundamentally reshaped the paradigm of human-computer interaction, especially speech interaction models capable of seamless conversations. Despite remarkable performance as general voice assistants, their performance in specialized domains remains underexplored, particularly in scientific areas. Scientific interactions introduce formidable challenges, involving rare technical terminology, spoken norms of abbreviations, and the natural verbalization of symbolic special expressions. In this paper, we introduce S$^3$-Bench, a systematic evaluation framework covering 10 major disciplines, consisting of a Knowledge set for speech question-answering and a Dialogue set for multi-turn progre
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית