כתבה
arXiv cs.AI ·
הגדלת פונקציות השפעה ב-LLMs דרך פרויקציה של גרדיאנטים עם תיקון איגנבס
Scaling Influence Functions in LLMs through Eigenbasis-Corrected One-Bit Gradient Projection
במאמר זה, המחברים פיתחו שיטה להגדיל פונקציות השפעה ב-LLMs דרך פרויקציה של גרדיאנטים עם תיקון איגנבס. השיטה, הקרויה EOGP, משמשת לאימות תוצאות של רטריינינג ב-LLMs. המחברים השוו את EOGP לבסיסים שונים ומצאו שהיא עובדה טוב יותר ודורשת זיכרון פחות.
תקציר מקורי באנגליתarXiv:2609.37842v1 Announce Type: cross Abstract: Influence functions estimate how individual training examples affect the behavior of large language models (LLMs). Analyzing how training data influence different behaviors of an LLM involves repeated influence computation. Reusing stored training gradients reduces the computational cost, but storing full gradients is prohibitively expensive at LLM scale. We study how to compress these gradients while preserving influence estimates for future queries that are unknown at storage time. Through a worst-case analysis, we characterize the optimal fixed-dimensional linear representation and propose eigenbasis-corrected one-bit gradient projection (EOGP) to approximate it at scale. Specifically, EOGP uses EK-FAC to reduce gradient dimensionality,
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית