כתבה
arXiv cs.LG ·
הזיכרון והכללת המזיקה במודלי תפוקה תנאית עם תכונות אקראיות
Memorization and Malign Generalization in Conditional Diffusion Models with Random Features
מודלי תפוקה תנאית נחקרים לגבי יכולת הזיכרון והכללה שלהם. נמצא כי רחבת המודל תורמת לכללה תנאית, אך גם לזיכרון של דגימות הלמידה. נעשה שימוש בארכיטקטורת U-Net על נתונים אמיתיים.
תקציר מקורי באנגליתarXiv:2610.11288v1 Announce Type: new Abstract: Conditional diffusion models generate diverse, novel, and high-quality samples under prescribed conditions. However, theoretical understanding of their memorization and generalization remains limited, while recent works have characterized these behaviors primarily in unconditional settings. In this work, we analyze a random-feature conditional score model in the high-dimensional proportional limit, deriving asymptotic expressions for training and test losses. By decomposing the test loss, we show that in the overparameterized regime, increasing model width improves prediction of the condition-dependent mean while reducing within-condition prediction variance, a phenomenon we term "malign generalization." Furthermore, analyzing the training lo
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית