כתבה
arXiv cs.LG ·
Omni-Diffusion-Distill: פיצוי תפוקה של דיסטילציה של מודלי דיפוזיה רב-תכליתיים
Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
Omni-Diffusion-Distill היא פרקטיקה של דיסטילציה שני-שלבית שמטפלת במודלי דיפוזיה רב-תכליתיים גדולי-לשון. היא מצליחה לשמר יכולות יצירה והבנה חזקות, ולצמצם את עלויות ההתחברות של המודל. Omni-Diffusion-Distill נבחנה על מודלי dLLMs, והיא צומצמה את עלויות ההתחברות שלהם ב-18.2x ו-21.2x.
תקציר מקורי באנגליתarXiv:2610.10990v1 Announce Type: cross Abstract: Unified multimodal diffusion large language models (dLLMs) offer a single architecture for both image generation and multimodal understanding, but their iterative decoding requires tens to hundreds of forward passes. Existing few-step distillation methods largely focus on either image generation or text generation, making it unclear how to compress a fully discrete multimodal dLLM into a single efficient student while preserving both generation and understanding. We introduce Omni-Diffusion-Distill, a unified two-stage distillation framework that retains strong generation and understanding capabilities while substantially reducing the inference cost of a unified multimodal dLLM. Omni-Diffusion-Distill aligns the distillation of both generat
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית