כתבה
arXiv cs.CL ·
מתי סוכן מדובר הוא בעל ראיות מספיקות לפעולה?
When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test
PACT-SLM הוא מבחן חדש לסוכנים מדוברים. הוא בודק מתי סוכן יכול לבצע פעולה על בסיס הראיות שהוא אוסף. המבחן מודד את הזמן הנדרש לסוכן לבצע פעולה ואת דיוק הפעולה. התוצאות מראות שהמבחן יכול לשמש ככלי לשיפור הביצועים של סוכנים מדוברים.
תקציר מקורי באנגליתarXiv:2609.38232v2 Announce Type: replace-cross Abstract: Streaming spoken agents may produce the correct final action after acting too early. Final-turn scores do not reveal whether each observed speech prefix supports an exposed action. We introduce the Partial Speech Action Contract for Turn Taking in Speech Language Models (PACT-SLM), a controlled test that assigns the first valid action time and evaluates both action identity and timing. In the primary test, 80 paired contrast groups from four held-out semantic families yield 1,600 prefix predictions across clean and 15 dB noise renderings. Using source-utterance semantic targets rather than counterbalanced branch codes, WavLM Base Plus reaches 26.03% pooled post-onset semantic-label accuracy (95% group-bootstrap interval [22.14%, 29.
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית