כתבה
arXiv cs.CL ·
KoSimpleQA: בנך לבדיקת עובדות במודלים גדולים
KoSimpleQA: A Korean Factuality Benchmark with an Analysis of Reasoning LLMs
KoSimpleQA הוא בנך לבדיקת עובדות במודלים גדולים. הוא מורכב מ-938 שאלות קצרות וברורות. הבנך בודק את היכולת של מודלים לייצר תשובות נכונות.
תקציר מקורי באנגליתarXiv:2510.18368v2 Announce Type: replace Abstract: We present $\textbf{Korean SimpleQA (KoSimpleQA)}$, a benchmark for evaluating factuality in large language models (LLMs) with a focus on Korean cultural knowledge. KoSimpleQA is designed to be challenging yet easy to grade, consisting of 938 short, fact-seeking questions with unambiguous answers. We conduct a comprehensive evaluation across a diverse set of open-source LLMs of varying sizes that support Korean, and find that even the strongest model generates correct answer only 31.6% of the time, underscoring the challenging nature of KoSimpleQA. Notably, performance rankings on KoSimpleQA differ substantially from those on the English SimpleQA, highlighting the unique value of our dataset. Furthermore, we observe that reasoning helps m
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית