כתבה
arXiv cs.LG ·
dattri-LLM: ספריית יחידה וכללית לאטריבוציה של נתוני האימון בקנה מידה של LLM
dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale
dattri-LLM היא ספריית יחידה וכללית שמאפשרת אטריבוציה של נתוני האימון בקנה מידה של LLM. הספרייה משתמשת בנציגויות גרדיאנטים קצרות ומסוגלת להתאים את פעולות הגרדיאנטים בהתאם למודל של עלויות. הספרייה גם תומכת באטריבוציה של נתוני האימון בקנה מידה של 110 מיליון פרמטרים באמצעות ארבעה H200 GPUs.
תקציר מקורי באנגליתarXiv:2609.38767v2 Announce Type: new Abstract: Training data attribution (TDA) estimates the contribution of individual training examples to model outputs. Most scalable TDA methods rely on per-example gradients, whose computation and use at LLM scale pose challenges in efficiency, compatibility, and extensibility. We introduce dattri-LLM, a TDA library that makes gradient-based attribution more practical at scale. For efficiency, dattri-LLM uses compact gradient representations and dynamically routes gradient operations based on a cost model. For compatibility, its capture mechanism collects per-example gradients from existing training loops that call backward(), without requiring changes to the loop or its configuration. This includes distributed training with DDP and FSDP and pipelines
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית