כתבה
arXiv cs.CL ·
sk-bench: בנצ'מרק ילידי למודלים גדולים של שפה בסלובקית
sk-bench: A Native-First Benchmark for Evaluating Large Language Models in Slovak
sk-bench הוא בנצ'מרק ילידי למודלים גדולים של שפה בסלובקית. הוא כולל 30 מאגרי נתונים ו-33 גרסאות משימה. הבנצ'מרק בוחן 55 מודלים פתוחים וסגורים, כולל Qwen3-14B. התוצאות מראות כי המודלים הפתוחים מפגרים אחרי API פרופריטריים.
תקציר מקורי באנגליתarXiv:2610.09152v1 Announce Type: new Abstract: Multilingual LLM benchmarks omit Slovak, a morphologically rich West Slavic language of five million speakers, or cover it only by machine translation. We present sk-bench, a native-first Slovak benchmark with 30 datasets (33 scored task variants) across ten skill categories. Eleven resources are introduced or first packaged for generative-LLM evaluation, including IFEval-SK with Slovak-adapted instruction checkers and native Chiby/SKJ1 resources for Slovak grammar and morphology. We evaluate 55 open- and closed-weights models under one harness. The best open model trails proprietary APIs by 12.6 points. Model rankings are similar for native and translated closed-form data ($\rho\geq0.98$), though translation separates the strongest models le
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית