כתבה
arXiv cs.AI ·
VAmoS: סימולציה מורכבת יותר של קול-סוכן
VAmoS Part Deux: Harder, More Realistic Voice-Agent Simulation
VAmoS הוא בנך' לבדיקת סוכני קול. הוא מדמה 100 שיחות עם לקוחות, כולל דיבור ברקע ובקשות מורכבות. הבנך' בודק את הסוכנים על פי דרישות מפורשות, ומוציא תוצאות מדויקות.
תקציר מקורי באנגליתarXiv:2609.38512v1 Announce Type: new Abstract: Voice agents in production must handle several requests, background speech, and customers who lose patience. We introduce VAmoS Energy, a benchmark that combines these challenges in 100 calls about utility billing and payment assistance. Each caller makes two to four requests. The agent has sixteen tools backed by a stateful Stripe billing twin and the Apache Fineract loan engine, with account access blocked until caller verification succeeds. The tasks use public household electricity data and a policy based on Pennsylvania's residential billing rules. An LLM-as-a-verifier checks the agent's actions and spoken figures against explicit requirements. On a calibration run, it agrees with a code verifier on 99.1% of checks. Across fourteen voice
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית