כתבה
arXiv cs.LG ·
MO-GRPO: פיצול תגמולי הקרקוב של פטנט רווחי גרופ רלטיב פוליסי אופטימיזציה על בעיות רב-מטרות
MO-GRPO: Mitigating Reward Hacking of Group Relative Policy Optimization on Multi-Objective Problems
מאמר זה עוסק בפיצול תגמולי הקרקוב של פטנט רווחי גרופ רלטיב פוליסי אופטימיזציה על בעיות רב-מטרות. המחברים הציגו את MO-GRPO, גרסה מורחבת של GRPO, שמטרתה למנוע פיצול תגמולי הקרקוב. המאמר כולל תיאור של MO-GRPO, תיאור של הבעיות שהוא נועד לפתור, ותוצאות של ניסויים.
תקציר מקורי באנגליתarXiv:2509.22047v3 Announce Type: replace Abstract: Group Relative Policy Optimization (GRPO) has been shown to be an effective algorithm when an accurate reward model is available. However, such a highly reliable reward model is not available in many real-world tasks. In this paper, we particularly focus on multi-objective settings, in which we identify that GRPO is vulnerable to reward hacking, optimizing only one of the objectives at the cost of the others. To address this issue, we propose MO-GRPO, an extension of GRPO with a simple normalization method to reweight the reward functions automatically according to the variances of their values. We first show analytically that MO-GRPO ensures that all reward functions contribute evenly to the loss function while preserving the order of pr
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית