כתבה
arXiv cs.CL ·
GameCommBench: בנצ'מרק מאוחד לתיאור משחקים
GameCommBench: A Unified Benchmark and Type-Aware Evaluation for AI-Generated Game Commentary
GameCommBench הוא בנצ'מרק מאוחד לתיאור משחקים המשלב משחקי לוח, ספורט ואירועי ספורט אלקטרוני. הוא כולל מסגרת Type-Aware Commentary Evaluation (TACE) להערכת סוגי תיאור שונים.
תקציר מקורי באנגליתarXiv:2610.11129v1 Announce Type: cross Abstract: Game commentary is an open-ended generation task requiring multimodal perception, strategic reasoning, and contextual knowledge. Existing AI-Generated Game Commentary (AI-GGC) studies remain fragmented across games, modalities, and evaluation protocols, while overlap-based or holistic evaluators fail to capture the functional heterogeneity of commentary. We introduce \textsc{GameCommBench}, a unified benchmark spanning board games, sports, and esports, with commentary aligned to heterogeneous game contexts and annotated by commentary type. We further propose Type-Aware Commentary Evaluation (TACE), a structured framework for evaluating different types of commentary. We then validate TACE for reliability and human agreement, and use it to be
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית