כתבה
arXiv cs.LG ·
איפה חי הסיגנל? תזוזת נתוני אינטרנט להכשרת מודלי קודיפיקציה רפואיים
Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining
אנו מציגים תזוזת נתוני אינטרנט להכשרת מודלי קודיפיקציה רפואיים. התזוזת כוללת שני כלים: סינון צפיפות תקצירים רפואיים והצגת תקצירים רפואיים בצורה משופרת. התזוזת יוצרת קורפוס כשירות רפואי צרפתי, FineMed, ומשפחת מודלי DoctoBERT.
תקציר מקורי באנגליתarXiv:2606.22079v2 Announce Type: replace-cross Abstract: Web data curation has been widely studied for decoder Large Language Model (LLM) pretraining. Encoders for dense-terminology domains such as medicine, by contrast, are pretrained on small, manually-curated corpora that limit scalability and writing style diversity, a bottleneck even more severe in non-English clinical settings. Whether web-scale data curation also benefits encoder Masked Language Modeling (MLM) in a dense-terminology domain remains an open question. To address this, we introduce two complementary levers. Medical-term density filtering selects documents rich in medical terms. Signal-amplifying rephrasing uses an LLM to rewrite documents into denser variants with broader entity contexts. We instantiate the recipe on F
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית