כתבה
arXiv cs.CL ·
LLM כ-GNN: למידת ווקבולריות גרפית למודלי יסוד גרפי
LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models
מודל יסוד גרפי המשלב LLMs ו-GNNs לגרפים מיוחדי טקסט. המאמר מציג פתרון לאתגרי תקשורת גרפית-טקסט, תעבורת גרפים, והעברת ידע. הפתרון, PromptGFM, כולל שני חלקים: (1) חלק ההבנה הגרפית, המפציץ LLMs לחקות זרימת עבודה GNN תוך כדי הטקסט; (2) חלק ההסקה הגרפית, המסדיר ווקבולריות גרפית על-פי טקסט. המאמר כולל ניסויים רבים, והקוד זמין בגיטהאב.
תקציר מקורי באנגליתarXiv:2503.03313v4 Announce Type: replace-cross Abstract: Text-Attributed Graphs (TAGs), where each node is associated with text descriptions, are ubiquitous in real-world scenarios. They typically exhibit distinctive structure and domain-specific knowledge, motivating the development of a Graph Foundation Model (GFM) that generalizes across diverse graphs and tasks. Despite large efforts to integrate Large Language Models (LLMs) and Graph Neural Networks (GNNs) for TAGs, existing approaches suffer from decoupled architectures with two-stage alignment, limiting their synergistic potential. Even worse, existing methods assign out-of-vocabulary (OOV) tokens to graph nodes, leading to graph-specific semantics, token explosion, and incompatibility with task-oriented prompt templates, which hin
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית