כתבה
arXiv cs.AI ·
גידול בקצב עבודה בזמן ניסיון לחיפוש ב-LLM
Provable Test-Time Scaling for Beam Search in LLM Reasoning
במאמר זה, חוקרים פיתחו חידוש בחיפוש ב-LLM, שמאפשר גידול בקצב עבודה בזמן ניסיון. החידוש, המכונה CF-Beam, משמש כפלטפורמה לחיפוש ב-LLM, ומאפשרת גידול בקצב עבודה בזמן ניסיון. החוקרים גם הציגו תוצאות נוסיוניות, שמציגות את יעילות CF-Beam בהשוואה לשיטות חיפוש אחרות.
תקציר מקורי באנגליתarXiv:2609.38672v1 Announce Type: cross Abstract: Beam-search-based test-time methods provide an effective way to improve large language model (LLM) performance on long-horizon generation by pruning invalid reasoning paths early, leading to significantly improved reasoning efficiency and more favorable test-time cost scaling. Despite strong empirical success, the theoretical understanding of beam search remains limited. In this paper, we study the test-time compute guarantee of the commonly used beam search framework that uses the model's internal log-likelihood for intermediate scoring, while relying on an external reward model only after a complete response is generated. We first establish a lower bound for vanilla beam search, showing that at least $\Omega(C^\star(x)^2)$ samples are req
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית