כתבה
arXiv cs.CL ·
כאשר עצים אינם מספיקים: למידת רשתות תכונות מעורבות עם אוטואנצדורים דקת-גרפיים נמעטים
When Trees Are Not Enough: Learning Mixed-Topology Feature Graphs with Adaptive Graph Sparse Autoencoders
ניתוח רשתות תכונות מעורבות עם אוטואנצדורים דקת-גרפיים נמעטים. המחקר מציג פרדיגמה חדשה ללמידת רשתות תכונות, המאפשרת גילוי תכונות מעורבות והסתגלות למבנה הנתונים. הפרדיגמה מבוססת על אוטואנצדורים דקת-גרפיים נמעטים, שהם רשתות עם צורה דקת-גרפית ומספר קטן של קשרים. המחקר מדגים את הפרדיגמה על נתוני LLM ומציג תוצאות טובות יותר מאשר פרדיגמות קיימות.
תקציר מקורי באנגליתarXiv:2609.36294v1 Announce Type: cross Abstract: Sparse autoencoders (SAEs) expose interpretable features in large language model activations, yet existing structured SAEs impose single-parent trees or forests, while post-hoc graphs permit multiple parents but neither guide feature learning nor ensure reliable relation recovery. We introduce the Adaptive Graph Sparse Autoencoder (AG-SAE), a structure-guided training paradigm that treats each feature's complete parent set as an atomic structural hypothesis and lets evidence select zero, one, or multiple parents. By competing complete parent sets against null, subset, and alternative explanations, AG-SAE identifies jointly necessary multi-parent relations while rejecting redundant or spurious alternatives and verifying that each child contr
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית