כתבה
arXiv cs.AI ·
JUMP: תקיפה יעילה של חברותיות בדגמי שפה על-מודלי דיפוזיה
JUMP: Efficient Membership Inference on Fine-Tuned Diffusion Language Models
JUMP היא תקיפה יעילה של חברותיות בדגמי שפה על-מודלי דיפוזיה. היא משתמשת ביכולת של הדגמים לחזות תווים מסומנים במקביל. JUMP נבחנה בשישה תחומים שונים והיא משפרת את ה-RoC-AUC הממוצע על LLaDA ו-Dream.
תקציר מקורי באנגליתarXiv:2607.16207v3 Announce Type: replace Abstract: Membership inference attacks (MIAs) test whether a candidate example was used to train a language model. Existing attacks on fine-tuned discrete diffusion language models (dLLMs) often aggregate reconstruction signals across many mask configurations, requiring repeated model evaluations. We propose Joint Uncertainty Guided Mask Probing (JUMP), an efficient MIA that exploits the ability of dLLMs to predict masked tokens in parallel. Using the pre-fine-tuning checkpoint as a reference, JUMP selects low-confidence positions, masks them jointly, and aggregates clipped target-reference reconstruction gaps. This focuses the attack on positions that reveal stronger membership signals from fine-tuning. After mask selection, all selected tokens ar
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית