כתבה
arXiv cs.AI ·
DIET: דלות-תגובה מומחה לטרימינג של טרנספורמרים לדיפוזיה של וידאו
DIET: Deletion-response Expert Trimming for Video Diffusion Transformers
DIET היא תשתית לטרימינג של מומחים מבלי שימוש בלמידה, לטרנספורמרים של דיפוזיה של וידאו. התשתית נועדה לצמצם את האיכות הפעילה של המודל, ולאפשר פעלול של כרטיס אחד על כרטיס GPU 48GB. DIET עובדה על LingBot-Video 30B-A3B, והצליחה לצמצם את גודל הבקרה מ-57GB ל-30GB.
תקציר מקורי באנגליתarXiv:2609.37829v1 Announce Type: new Abstract: Video diffusion transformers (DiTs) increasingly adopt mixture-of-experts (MoE) architectures to reduce active computation, but their full expert storage remains costly. Existing one-shot pruning criteria mainly rely on static activation or routing statistics and cannot capture layer-level re-routing after expert deletion. We introduce DIET, a training-free expert pruning framework based on deletion responses. A single all-expert calibration pass records expert outputs and router states for matched conditional and unconditional tokens. Candidate deletions are then replayed from cached tensors, requiring no additional model forward passes. The resulting deletion-response signatures characterize each expert by the changes induced when it is rem
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית