כתבה
arXiv cs.LG ·
Power-SMC: סימון עוצמה-לטווח נמוך לסגירת סדרה לצורך תרגול-חופשי של LLM
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning
Power-SMC היא שיטת סימון חדשה שמאפשרת סגירת סדרה בעוצמה-לטווח נמוך, ללא צורך באימון מחדש של LLM. השיטה מבוססת על סימון רב-מועדוני של סדרות, ומאפשרת סגירת סדרה בעוצמה-לטווח נמוך, תוך כדי שמירה על תכונות ה-LLM. Power-SMC נבדקה במספר תחומים, כולל סגירת סדרה, והתוצאות היו טובות.
תקציר מקורי באנגליתarXiv:2602.10273v3 Announce Type: replace-cross Abstract: Reasoning ability in large language models is often attributed to \emph{distribution sharpening}: concentrating output probability on high-likelihood sequences. Recent works show that this sharpening effect can be obtained at inference time, without modifying model parameters, and can elicit strong reasoning performance. A natural formalization is the \emph{sequence-level power distribution}, which is proportional to the model's probability raised to an exponent $\alpha>1$. Prior work leveraged Metropolis--Hastings (MH) sampling to draw samples from this distribution and achieves strong results, however, at order-of-magnitude inference slowdowns. We introduce \textbf{Power-SMC}, a \textit{`training-free'} sampling method that target
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית