כתבה
arXiv cs.AI ·
LUMOS: עקיבה פרמטרית של ידע מדטה-אל-טריינינג למשגיאי תנהגות ב-LLMs
LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
LUMOS: פרקטיקה חדשה לעקיבה פרמטרית של ידע ב-LLMs, המספקת תמונה מדויקת יותר של יכולות המודל. המחקר חושף פערים בין ידע שהמודל רוכש באופן פרמטרי לבין יכולתו להציגו במשגיאי תנהגות. זה יכול להיות רלוונטי לפיתוח ובדיקת LLMs, כמו גם להבנת יכולותיהם של המודלים.
תקציר מקורי באנגליתarXiv:2610.02902v2 Announce Type: replace Abstract: Current analyses of LLMs' parametric knowledge are largely output-centric, drawing conclusions about what a model knows without verifying what it was actually trained on. This leaves fundamental questions, such as whether a correct response reflects genuine generalization or rote memorization, grounded in speculation rather than evidence. To resolve these ambiguities, we introduce LUMOS, a diagnostic framework that traces knowledge along the causal chain from training-data exposure to behavioral output, leveraging OLMo 2 with its fully transparent training corpus. By grounding analysis in verified exposure, we reveal that models internally encode rare facts with high separability (84%) yet fail to express them behaviorally (54%), though t
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית