יום שלישי, 15 בספטמבר 2026 LIVE
AI־INFO

כתבה arXiv cs.LG ·

תאוריה של זיהוי ידוע: חוסר זיהוי ותוכניות כיסוי

An Identifiability Theory of Masked Prediction: Mode Blindness and Mask Schedules
תאוריה של זיהוי ידוע: חוסר זיהוי ותוכניות כיסוי. המאמר חוקר את השאלה: כאשר נאופטימיזציה של טסק תנאי-תלוי משחזרת את ההפצה המשותפת של הנתונים?
תקציר מקורי באנגליתarXiv:2608.01383v4 Announce Type: replace Abstract: Masked prediction learns by inferring missing variables from visible context. When does optimizing this conditional task recover the true joint data distribution? We study this question using an $\varepsilon$-identifiability modulus, which measures the worst-case joint-distribution error permitted by excess risk at most $\varepsilon$. For distributions with separated global modes, schedules retaining large visible contexts can permit substantial mode-weight errors at exponentially small excess risk. An exact information decomposition explains why: for a fixed mask, the loss penalizes only the mode-weight mismatch that remains unresolved by the visible context. For small mode-weight perturbations, the objective's sensitivity is proportiona
קרא במקור המקורי