כתבה
arXiv cs.CL ·
שיחה היא בעיה של שני גופים: ביקורת דו-כיוונית של מודלי שיחה דו-כיווניים
Conversation Is a Two-Body Problem: Dyadic Evaluation of Full-Duplex Dialogue Models
במאמר זה נציג פרקטיקה חדשה לביקורת מודלי שיחה דו-כיווניים. המודלים נבחנים בשיחה ישירה עם חבר אחר, ושני הצדדים נבחנים על ידי נבחן חיצוני. המאמר כולל 140 תסכים ו-7,560 שיחות, ומציג תוצאות מעניינות לגבי התנהגות המודלים.
תקציר מקורי באנגליתarXiv:2610.08125v1 Announce Type: cross Abstract: Full-duplex spoken dialogue models listen and speak at the same time, enabling voice agents to have natural, low-latency interactions that turn-based systems cannot offer. However, they are commonly evaluated against single-sided interlocutors: pre-recorded audio that cannot react, or an automated examiner that reacts in real time but only administers a fixed sequence of tests and is never graded. These single-sided frameworks evaluate only half of a two-body problem, where turn-taking, overlap, and interruption are joint products of two coupled speakers. We propose DyaFDB, a framework that evaluates full-duplex models in a dyadic setup: two models converse directly under assigned roles with cooperative or conflicting goals, and both sides
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית