כתבה
arXiv cs.CL ·
DuplexAct-Bench: בדיקת שיח דו-כיוונית
DuplexAct-Bench: Broadening Full-Duplex Speech Evaluation toward Proactive Interaction across Diverse Behavioral Requirements
DuplexAct-Bench הוא בנק אמת לבדיקת שיח דו-כיוונית. הוא בודק 12 מערכות שיח דו-כיוונית ב-6 התנהגויות שונות, כולל הפרעה, ויתור ויוזמה. התוצאות מראות על וריאציה משמעותית בין המערכות וההתנהגויות.
תקציר מקורי באנגליתarXiv:2609.39446v1 Announce Type: new Abstract: Existing full-duplex speech benchmarks cover only subsets of real-time interaction behaviors, often under limited contextual conditions. We introduce DuplexAct-Bench, a bilingual benchmark that systematically covers six complementary behaviors, from interruption and yielding to proactive initiation, active silence, and backchanneling, across Pre-session, In-session, and No-explicit conditions. Across 1,290 English and Chinese streaming trials, we evaluate 12 full-duplex speech systems on both Timing and Content. Results reveal substantial variation across behaviors, conditions, and systems, as well as frequent mismatches between semantic quality and behavioral timing. These findings show that current systems remain far from robustly managing
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית