כתבה
arXiv cs.CL ·
MixedPEFT: חיבור של שיטות PEFT שונות עם מטריים מעורבות להתאמה של תחום ללא הדרכה
MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation
אנו מציגים שיטה חדשה להתאמה של תחום ללא הדרכה שמשלבת שיטות PEFT שונות עם מטריים מעורבות. השיטה משלבת מעבדי נתונים הפוכים עם Low-Rank Adaptation (LoRA) ומשפרת את הביצועים ב-1.41% על פי ה-MNLI dataset.
תקציר מקורי באנגליתarXiv:2606.22272v2 Announce Type: replace Abstract: Applying pre-trained language models to new domains through full fine-tuning is computationally expensive and prone to catastrophic forgetting. To address this limitation, we introduce a novel parameter-efficient strategy for unsupervised domain adaptation that combines a custom PEFT architecture with mixed-objective training. The proposed method integrates invertible adapters with Low-Rank Adaptation (LoRA) and jointly optimizes classification on labeled source-domain data and masked language modeling on unlabeled target-domain data. This joint training scheme supports task adaptation while preserving knowledge of the target domain. We evaluate the method on the Multi-Genre Natural Language Inference (MNLI) dataset across 20 domain shift
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית