כתבה
arXiv cs.CL ·
APE: תפיסה סלקטיבית של תקיפה עם קריטריות הקבלה להתאמת מודלי שפה
APE: Selective Fine-tuning with Acceptance Criteria for Language Model Adaptation
אפשרות סלקטיבית של תקיפה להתאמת מודלי שפה גדולים. השיטה מאפשרת שיפורים בביצועים תוך שמירה על יציבות המודל.
תקציר מקורי באנגליתarXiv:2505.19912v3 Announce Type: replace Abstract: We present Adjacent Possible Exploration (APE), a selective fine-tuning method for adapting large language models that systematically explores parameter modifications while maintaining model stability. Inspired by evolutionary optimization principles, APE evaluates multiple candidate parameter updates through fine-tuning on small data subsets and accepts only those exceeding a performance threshold. Unlike standard fine-tuning that follows single gradient directions, APE implements a filtered selection process that prevents destabilizing parameter changes while enabling systematic improvement. Our method achieves 33.9\% BLEU improvement and 36.2\% perplexity reduction on news summarization tasks while using minimal computational resources
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית