כתבה
arXiv cs.AI ·
ReGain: שיקום נאמנות הנושא בהתאמה אישית על תמונות סינתטיות
ReGain: Restoring Subject Fidelity in Personalization on Synthetic Images
ReGain הוא אלגוריתם שמשפר את נאמנות הנושא בדגמי תמונה-לטקסט. הוא מתגבר על בעיית הצבעים המופרזים והפרטים הגבוהים בתמונות סינתטיות. ReGain פועל על ידי קיזוז ההדרכה המוגברת בזמן דגימה, ללא צורך בתמונות אמיתיות. הוא שיפר את נאמנות הנושא ב-51-64% בדגמי Stable Diffusion.
תקציר מקורי באנגליתarXiv:2609.38680v1 Announce Type: cross Abstract: Text-to-image diffusion models are personalized to a subject by DreamBooth fine-tuning on a handful of its images. Increasingly, these images come from a diffusion model rather than a camera. We show that fine-tuning on such synthetic images degrades subject fidelity, producing oversaturated color and excess high-frequency detail. To isolate the cause, we fine-tune two models from the same base model with the same DreamBooth recipe, one on real photos of a subject and one on synthetic images of that subject generated by the first. We trace the degradation to classifier-free guidance (CFG). For the model personalized on synthetic images, the angle between the conditional and unconditional noise predictions, and with it the norm of their diff
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית