כתבה
arXiv cs.AI ·
לא כל השגיאות שוות: הקצאת מחשב על-פי תוצאות
Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation
מחשב על-פי תוצאות: הקצאת משאבים למודלי שפה גדולים. המחקר מציג פתרון להקצאת משאבים בזמן ניסיון, המשתמש בתוצאות הניסיון כדי לקבוע סדר עדיפות. התוצאות מציגות טווח רחב של יעילות, כולל תוצאות טובות יותר למשימות חשובות.
תקציר מקורי באנגליתarXiv:2606.04402v2 Announce Type: replace Abstract: Test-time compute has emerged as an effective paradigm for improving large language model capability at inference time. Existing allocation strategies primarily prioritize tasks according to difficulty, uncertainty, or expected performance gain, implicitly treating prediction errors as equally costly. This assumption is often misaligned with real deployment, where failures can differ substantially in their downstream tasks. To address this limitation, this paper introduces consequence-aware test-time compute allocation by formulating a cost-weighted scheduling problem where the priority of a task is its failure consequence with the marginal gain of additional compute. In practice, however, marginal gain is difficult to predict before exec
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית