כתבה
arXiv cs.LG ·
האם שגיאות מאמתים עצמאיות בתוך קבוצת GRPO?
Are Verifier Errors Independent Within a GRPO Group? Evidence from Qwen2.5 Rollouts
נחקרה תלות בין שגיאות מאמתים בקבוצות GRPO. נמצאה תלות משמעותית בין שגיאות מאמתים בקבוצות של 8 השלמות. Qwen2.5-1.5B הוא המודל ששימש לבדיקה.
תקציר מקורי באנגליתarXiv:2609.06386v1 Announce Type: new Abstract: Group-based reinforcement learning with verifiable rewards (RLVR) scoresmultiple completions per prompt using automatic verifiers. Analysesbased on independent verifier errors may overlook dependence associatedwith shared answer formats. We investigate this dependence in24,998 groups of eight completions generated by Qwen2.5-1.5B onMATH, GSM8K, and DeepMath-103K. We estimate a pooled within-groupverifier-error correlation of 0.530 (95% confidence interval:0.500--0.560). Under an exchangeable-error model, this correspondsto a design-effect-adjusted effective sample size of 1.70 for aneight-completion group. Dependence varies substantially across answerforms: fractions, radicals, symbolic expressions, and intervals exhibitstronger clustering th
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית