כתבה
arXiv cs.CL ·
איכות נתונים על פני קיבולת: שילוב מסמכים באדפטרים LoRA
Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA
חוקרים שילוב מסמכים ישירות לתוך מודל Gemma-4-e4b באמצעות LoRA. הניסויים הראו שאיכות הנתונים היא הגורם המשמעותי ביותר לדיוק בשאילתות סגורות, יותר מאשר קיבולת האדפטר או שינויים ארכיטקטוניים. השיפור באיכות הנתונים היה גדול יותר מכל שינוי ארכיטקטוני.
תקציר מקורי באנגליתarXiv:2607.21861v1 Announce Type: new Abstract: We study baking documents directly into the weights of a 4-bit Gemma-4-e4b model via LoRA, so a system can answer questions about a corpus closed-book: no retrieval and no context-window budget. Across roughly 100 training runs from single documents to a 99-document corpus, we find that once adapter capacity is adequate, training-data quality is the dominant lever on closed-book accuracy, outweighing LoRA rank, learning rate, and two alternative architectures combined; capacity itself is a hard gate below which no data intervention helps. A single curation pass (shortening gold answers to canonical 1-6 word spans and dropping trivia) moved closed-book accuracy from 57.7% to 85.7% on a 15-document corpus, a larger jump than any architectural c
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית