כתבה
arXiv cs.CL ·
הפרדת רכיבים יעילה באמצעות הפצה ממוקדת
Layer-wise Target Propagation: Efficient Component Attribution through Target Centric Propagation
חוקרים פיתחו שיטה חדשה להפרדת רכיבים במודלים גדולים, Layer-wise Target Propagation, המאפשרת יעילות ודיוק גבוה יותר. השיטה משתמשת בהפצה ממוקדת כדי לעקוב אחר זרימת המידע במודל.
תקציר מקורי באנגליתarXiv:2603.19742v3 Announce Type: replace-cross Abstract: Understanding the internal mechanisms of transformer-based large language models (LLMs) is crucial for their reliable deployment and effective operation. While recent efforts have yielded a plethora of attribution methods attempting to balance faithfulness and computational efficiency, dense component attribution remains prohibitively expensive. In this work, we introduce Layer-wise Target Propagation (LTP), a novel framework that faithfully traces information flow on the frozen transformer in one forward and one backward pass without requiring counterfactual examples. LTP analytically decomposes and linearizes the computational structure of the Transformers into distinct pathways along which it propagates a targeted unembedding vec
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית