כתבה
arXiv cs.LG ·
מרכוז גאומטריה גרפית: פער ידע מ-GNNs ל-MLPs
Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
חוקרים הציגו שיטה חדשה למרכוז גאומטריה גרפית, המאפשרת לשמור על דיוק חיזוי של מודל GNN בעת הטמעה של MLP. השיטה משתמשת בעקומת Ollivier-Ricci כדי לזהות את האזורים בהם מרוכזים שגיאות ספקטרליות. התוצאות מראות שיפור משמעותי בדיוק חיזוי בהשוואה לשיטות קודמות.
תקציר מקורי באנגליתarXiv:2610.10520v1 Announce Type: new Abstract: GNN-to-MLP distillation aims to retain the predictive accuracy of a message-passing teacher while deploying a graph-free MLP at inference. Existing methods mainly transfer node-wise predictions or use confidence-based reweighting, but they do not specify where the student should preserve the teacher's graph-induced geometry. We show that this omission leads to two spectral failure modes in the student's representation space. On sparse graphs, the student suffers from spectral underfit, missing high-energy teacher directions concentrated near boundary regions. On dense graphs, it suffers from spectral overfit, retaining spurious directions that the teacher has collapsed through aggregation. Motivated by an energy-weighted teacher-student align
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית