כתבה
arXiv cs.CL ·
אופטימיזציה מדורגת של מדיניות עם הכוונה: רעיון חדש לשיפור תפיסה של LLM
Hint-Guided Diversified Policy Optimization for LLM Reasoning
אופטימיזציה מדורגת של מדיניות עם הכוונה: רעיון חדש לשיפור תפיסה של LLM. השיטה, הנקראת HDPO, מאפשרת ל-LLM לרשום רשימה של תוכניות פוטנציאליות ולבחור את המועדפת. HDPO כולל שני שלבים: ראשון להתחלה קריטית לתפיסה מבנית ושני ללמידת רב-מודלים עם הכוונה. התוצאות המבחנות הראו ש-HDPO משפר את תפיסת LLM ומעלה את חומרת התוכניות הפוטנציאליות.
תקציר מקורי באנגליתarXiv:2606.03021v3 Announce Type: replace Abstract: Recent developments in Large Language Models (LLMs) have showcased impressive reasoning capabilities, with Reinforcement Learning with Verifiable Rewards (RLVR) being a promising enhancement strategy. However, existing reward mechanisms are constrained to the outcome-level correctness and lack explicit signals to guide the model to consider diverse solutions. In contrast, human problem solving typically involves evaluating multiple potential approaches and selecting the most reliable solution, a cognitive process that current RLVR frameworks do not explicitly incentivize. Inspired by this, we propose Hint-Guided Diversified Policy Optimization (HDPO), allowing the model to first list all potential candidate solution outlines as hints and
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית