כתבה
arXiv cs.CL ·
CultureConverse: כלי לדיאלוג מולטילינגוואלי
CultureConverse: A Multilingual Multi-turn Simulation Harness for Culturally Grounded Assistance in East and Southeast Asia
CultureConverse הוא כלי לדיאלוג מולטילינגוואלי המאפשר הדגמה ובדיקה של עזרה מבוססת תרבות. הוא כולל 10 אזורים במזרח ודרום-מזרח אסיה, 58 זהויות תת-קבוצות ו-7 תחומים. GPT-5 mini השיג את התוצאות הטובות ביותר בבדיקות.
תקציר מקורי באנגליתarXiv:2608.28405v2 Announce Type: replace Abstract: Current cultural evaluations for large language models (LLMs) often reduce culture to single-turn factual recall via MCQs, failing to capture a common use case: users seeking practical help over multiple turns in culturally grounded scenarios. We introduce CultureConverse, a scalable, multilingual simulation and evaluation harness for culturally grounded assistant dialogue that covers 10 East and Southeast Asian regions, 58 subgroup identities, and 7 domains. Each simulated and evaluated episode produces a scored interaction where the assistant assists the user and infers cultural constraints from partial information. The resulting CultureConverse-DS dataset contains 14,610 benchmark (evaluation) episodes and 274,295 oracle-guided (gold-m
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית