כתבה
arXiv cs.CL ·
RIMS: אופטימיזציה של העדפות דרך אגרגציה רב-זוגית מחולקת
RIMS: Preference Optimization via Smoothed Multi-pair Aggregation for Small-Scale LLM Retrieval-Augmented Generation
RIMS היא שיטה חדשה לאופטימיזציה של העדפות עבור מודלי שפה קטנים. היא משתמשת באגרגציה רב-זוגית מחולקת כדי לשפר את היכולת של המודלים להתמודד עם רעש או הוכחות מטעות. RIMS נבדקה על מספר בסיסי מולטי-הופ והראתה תוצאות טובות יותר משיטות קיימות.
תקציר מקורי באנגליתarXiv:2607.16431v1 Announce Type: new Abstract: Small-scale language models (SLMs) are attractive for retrieval-augmented generation (RAG) in resource-constrained settings, but their limited capacity makes them highly sensitive to noisy or spurious retrieved evidence. Existing preference-based methods such as RoseRAG select only the hardest single preference pair via hard argmin/argmax, discarding the remaining signal; others treat multiple pairs as independent binary comparisons, resulting in low data utilization. We propose RIMS, a three-stage preference optimization framework comprising (1) synthetic chain-of-thought preference data generation via rejection sampling using the target SLM itself without relying on proprietary models, (2) a differentiable soft aggregation mechanism that re
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית