כתבה
arXiv cs.LG ·
גידול ביעילות זמן-המבחן של Beam Search בLLM
Provable Test-Time Scaling for Beam Search in LLM Reasoning
במאמר זה, חוקרים חקרו את גידול היעילות של Beam Search בLLM. הם הציגו חידוש חדש, CF-Beam, שמשפר את יעילות החיפוש. המאמר כולל גם ניתוח של Beam Search והשוואה לאפרוחים אחרים.
תקציר מקורי באנגליתarXiv:2609.38672v1 Announce Type: new Abstract: Beam-search-based test-time methods provide an effective way to improve large language model (LLM) performance on long-horizon generation by pruning invalid reasoning paths early, leading to significantly improved reasoning efficiency and more favorable test-time cost scaling. Despite strong empirical success, the theoretical understanding of beam search remains limited. In this paper, we study the test-time compute guarantee of the commonly used beam search framework that uses the model's internal log-likelihood for intermediate scoring, while relying on an external reward model only after a complete response is generated. We first establish a lower bound for vanilla beam search, showing that at least $\Omega(C^\star(x)^2)$ samples are requi
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית