כתבה
arXiv cs.AI ·
CoRe: פיתוח תגמולים-לא-מובנים למניעת פריצה לתגמולים-לא-מובנים במודלי דיפוזיה של וידאו
CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models
CoRe היא תקשורת-תגמולים-לא-מובנים שמטפלת בבעיה של פריצה לתגמולים-לא-מובנים במודלי דיפוזיה של וידאו. היא משתמשת בשיטה של פיתוח תגמולים-לא-מובנים שמתעדכנת בזמן-אמת, כדי למנוע ירידה באיכות הווידאו. CoRe הוכיחה את עצמה בניסויים על Wan2.1-T2V-1.3B, והראתה שהיא יעילה יותר משיטות קודמות.
תקציר מקורי באנגליתarXiv:2609.36245v1 Announce Type: new Abstract: Latent reward models (LRMs) enable efficient alignment of video diffusion models by scoring intermediate states directly in latent space. However, we find that optimizing against a fixed latent reward rapidly leads to latent reward hacking: the predicted reward stays high while perceptual and motion quality deteriorate. Our analysis identifies distributional escape as the central cause: within a few hundred updates, the generator moves beyond the reward model's training support, where its scores no longer reflect video quality. Based on this insight, we introduce CoRe, a co-evolving reward framework that treats latent-space alignment as a dynamic interaction between the generator and the reward model. Rather than optimizing against a stationa
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית