כתבה
arXiv cs.AI ·
הסרת רעיונות על ידי פרויקציה של פעילות תפאורה צוסטרית למודלי דיפוזיה
Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models
במאמר זה, המחברים חקרו את האפשרות להסרת רעיונות ממודלי דיפוזיה על ידי פרויקציה של פעילות תפאורה צוסטרית. התוצאות הראו שהשיטה החדשה משיגה תוצאות טובות יותר מאשר שיטות קודמות.
תקציר מקורי באנגליתarXiv:2605.25765v2 Announce Type: replace-cross Abstract: Existing closed-form methods for concept unlearning in text-to-image diffusion models typically derive editing directions from fixed text embeddings, which may not fully capture how concepts are expressed across latent states, timesteps, and layers. To capture this variation, we investigate cross-attention activations collected during denoising. In controlled probing experiments using the same anchor prompts, activation-derived bases achieve approximately five times the recall of text-derived bases on held-out prompts expressing the target concepts. Based on this finding, we propose Cross-Attention Subspace Erasure (CASE), a closed-form method that constructs layer-specific forget and retain subspaces from cross-attention activation
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית