כתבה
arXiv cs.LG ·
הפשטת LLM-כמשפט: דגם ניתן לניתוח לקיטון זמן השקפה
Demystifying LLM-as-a-Judge: Analytically Tractable Model for Inference-Time Scaling
במאמר זה, נוצר דגם ניתן לניתוח לקיטון זמן השקפה ב-LLMs. הדגם מבוסס על רגרסיה לינארית Bayesiana עם סיימר כבד-משקל. המחברים חקרו את השפעת קיטון זמן השקפה על טוהר הכללי. התוצאות המוצגות במאמר נבדקו באמצעות ניסויים ב-LLM גדול.
תקציר מקורי באנגליתarXiv:2512.19905v3 Announce Type: replace Abstract: Recent developments in large language models have shown advantages in reallocating a notable share of computational resource from training time to inference time. However, the principles behind inference time scaling are not well understood. In this paper, we introduce an analytically tractable model of inference-time scaling: Bayesian linear regression with a reward-weighted sampler, where the reward is determined from a linear model, modeling LLM-as-a-judge scenario. We study this problem in the high-dimensional regime, where the deterministic equivalents dictate a closed-form expression for the posterior predictive mean and variance. We analyze the generalization error when training data are sampled from a teacher model. We draw $k$ in
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית