כתבה
arXiv cs.AI ·
SPEAR: מודל MoE עם אגרגציה מודרכת ידע
SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining
SPEAR הוא מודל MoE חדש שמשלב אגרגציה מודרכת ידע לטובת פריסקופיה גדולה של PDE. המודל מאפשר דילוג בין תכונות נמוכות וגבוהות, ומקטין את מספר המומחים הדרושים. SPEAR הראה ביצועים טובים בניסויים רבים.
תקציר מקורי באנגליתarXiv:2610.03265v1 Announce Type: cross Abstract: Large-scale pre-training has improved the generalization of neural operators across diverse PDEs. However, existing PDE foundation models still struggle with heterogeneous dynamics, where shared representations may cause knowledge interference, while mixture-of-experts (MoE) architectures suffer from increasing expert redundancy. We propose SPEAR, a spectral-disentangled MoE neural operator with knowledge-guided expert aggregation for large-scale PDE pre-training. SPEAR decouples latent features into low- and high-frequency components, enabling shared modeling of transferable dynamics and specialized learning of PDE-specific patterns. To address expert redundancy, we design a knowledge-guided expert aggregation strategy that measures expert
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית