כתבה
arXiv cs.CL ·
מודלים מותאמים לקבלת החלטות vs. LLMs כלליים
Specialized Decision Models vs. General-Purpose LLMs: Benchmarking Jev Across Knowledge, Reasoning, and Multilingual Tasks
Jev הוא מודל החלטות מיוחד שבוחר בין אפשרויות נתונות. המחקר משווה את Jev ל-19 LLMs ב-13 בדיקות. Jev מתפקד טוב על בדיקות ידע ושכל, אך נופל מאחור בבדיקות מתמטיות.
תקציר מקורי באנגליתarXiv:2610.11978v1 Announce Type: new Abstract: Jev is a "System One" model that returns a choice among given options instead of generating text. We study how such a specialized decision model compares with general-purpose large language models (LLMs). We evaluate Jev on 13 multiple-choice benchmarks covering knowledge, reasoning, and multilingual understanding, and compare it with 19 LLMs in three tiers: frontier, representative, and small. Jev is competitive with frontier LLMs on knowledge and commonsense benchmarks and obtains the best score on MMLU-Redux and ARC-Challenge. Outside mathematics, it also outperforms most representative LLMs and all small LLMs. However, it falls behind on mathematical word problems: on MathQA, it is 17.7 points below the frontier median and scores lower th
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית