כתבה
arXiv cs.LG ·
לימוד LLMs לראות גרפים: איחוד טקסט ותפיסה מבנית
Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning
מאמר חדש מציג דגם של LLM שמסוגל לעבוד עם גרפים באופן טבעי, ללא הצורך בפייפלינג נפרד. הדגם, הנקרא GTLM, משלב תוכנה של LLM עם תוכנה של GNN, ומאפשר ל-LLM ללמוד גרפים באופן עצמאי. המאמר כולל תיאור של GTLM ושל תוצאותיו במבחנים שונים.
תקציר מקורי באנגליתarXiv:2605.10247v2 Announce Type: replace Abstract: Applying Large Language Models (LLMs) to graph-structured data usually involves multi-step pipelines in which textual node attributes are compressed into single tokens and further processed by GNNs, discarding most of their semantic content. We introduce the Graph Transformer Language Model (GTLM), which enables a pretrained LLM to process graph topology natively and removes this bottleneck entirely. GTLM injects graph-aware attention biases directly into the LLM's attention modules, adding only 0.015\% structure-related parameters relative to the base model. Training updates only the structural parameters together with a LoRA adapter on the base model. We prove that our bidirectional attention prefix is permutation-equivariant over nodes
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית