כתבה
arXiv cs.CL ·
OpenLanguageModel: מודל שפה קטן וניתן לקריאה
OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research
OpenLanguageModel הוא ספרייה פתוחה לבנייה ופריטריינינג של מודלי שפה קטנים. היא מאפשרת קריאה ועריכה של המודל. הספרייה כוללת 27 תצורות מוכנות ותיעוד מקיף.
תקציר מקורי באנגליתarXiv:2607.16669v1 Announce Type: new Abstract: OpenLanguageModel (OLM) is an open-source PyTorch library for building and pretraining small language models while keeping their machinery visible. In OLM, model code reads like the architecture: components are ordinary modules, while Block, Residual, Repeat, and Parallel describe how they are wired. The resulting model can move unchanged from a teaching notebook to a complete pretraining run or a research ablation. OLM connects this readable model layer to tokenizers, local and streaming datasets, optimization, mixed precision, callbacks, checkpoints, and hardware-aware CPU, single-GPU, and single-node multi-GPU execution. We demonstrate the full path by tracing GPT-2 from diagram to code, launching a FineWeb-Edu training script, replacing o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית