כתבה
arXiv cs.LG ·
דינמיקות של נתונים במודלי דיפוזיה
Feature Information Dynamics in Diffusion
במאמר זה, המחברים מציגים פרקטיקה תאורטית לחקר דינמיקות של נתונים במודלי דיפוזיה. הם מציעים פרקטיקה זו כדי להבין כיצד מודלי דיפוזיה יוצרים נתונים ולאיזה רמה של פירוט. המחברים גם מציעים תיאור חדש של תהליך הדיפוזיה, הכולל תיאור של תהליך הדיפוזיה כפונקציה של נתונים.
תקציר מקורי באנגליתarXiv:2610.08626v1 Announce Type: cross Abstract: Diffusion models generate data through a continuum of denoising problems, and are widely observed to reveal coarse structure before fine detail. Yet, this intuition is mostly empirical and qualitative. We introduce feature information dynamics, an information-theoretic framework for localizing when a feature is generated during diffusion. Using the I-MMSE identity, we connect the rate of feature mutual information change to a gap between optimal unconditional and feature-conditional denoising losses, yielding practical estimators for feature information density. We further develop a chained decomposition that separates shared from incremental information in a feature hierarchy. We use this framework first to quantitatively confirm spectral
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית