כתבה
arXiv cs.AI ·
RealWorldShop: בנצ'מרק לסוכנים משוחחים
RealWorldShop: Benchmarking and Improving Conversational Shopping Agents in Real-World E-commerce
RealWorldShop הוא בנצ'מרק לסוכנים משוחחים בקניות מקוונות. הוא בונה על 3.28M מוצרים ומדמה משתמשים. הניתוח מראה שמערכות נוכחיות מתקשות בעקבות מצב ובהצעות מוצרים.
תקציר מקורי באנגליתarXiv:2609.38974v1 Announce Type: new Abstract: Large language models are reshaping ecommerce from static recommenders into interactive shopping assistants, yet real-world shopping requires session-level decision support: users reveal and revise constraints, coordinate multiple goals, and expect product-grounded recommendations over a full conversation. Existing benchmarks are mostly outcome-oriented or execution-oriented, leaving this evolving decision process under-evaluated. We introduce REALWORLDSHOP, a benchmark built on 3.28M grounded products, structured shopping episodes, a profile-grounded and actioncontrolled user simulator, and role-play evaluation. Our analysis shows that current systems produce locally plausible responses but struggle with state tracking, constraint updating,
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית