כתבה
arXiv cs.AI ·
HyperGuide: הנחיה היפרבולית לתהליכי נימוק רב-שלביים
HyperGuide: Hyperbolic Guidance for Efficient Multi-Step Reasoning in Large Language Models
HyperGuide הוא כלי לנימוק רב-שלבי במודלים גדולים של שפה. הוא מאפשר למודלים לחזור אחורה ולבדוק את התוצאות של כל שלב לפני שהם ממשיכים. הדבר מאפשר פתרונות קצרים ויעילים יותר. HyperGuide נבדק על מודלים כמו LLaMA והראה תוצאות טובות.
תקציר מקורי באנגליתarXiv:2605.24140v5 Announce Type: replace Abstract: Searching over alternative continuations lets large language models (LLMs) compare the downstream consequences of a reasoning step before committing to it, but expanding and evaluating many branches makes inference expensive. Training value models to score intermediate steps does not avoid this cost, as they still rank candidates at inference time. We introduce HyperGuide, a framework that treats reasoning as movement through a tree of states embedded in hyperbolic space. HyperGuide first trains a state encoder on the Poincar'e ball, then trains a guidance head to predict the direction of a minimum-cost transition from the current state. The predicted direction is inserted into the decoder as a virtual token after each reasoning step, so
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית