כתבה
arXiv cs.LG ·
שיפור אמינות דורש-פתגם: פיתוח תקיפה-משולבת
Retrieval-augmented Decoding for Improving Truthfulness in Open-ended Generation
אנו מציגים תקיפה-משולבת לשיפור אמינות דורש-פתגם. השיטה משתמשת במרחב התייחסות-מקוצר לאיתור תגובות אמינות.
תקציר מקורי באנגליתarXiv:2508.02184v3 Announce Type: replace Abstract: Ensuring truthfulness in large language models (LLMs) remains a critical challenge for reliable text generation. While supervised fine-tuning and reinforcement learning with human feedback have shown promise, they require a substantial amount of annotated data and computational resources, limiting scalability. In contrast, decoding-time interventions offer lightweight alternatives without model retraining. However, existing decoding strategies often face issues like prompt sensitivity, limited generalization, or dependence on internal model states. We propose Retrieval-Augmented Decoding (RAD), a context-aware adaptive decoding method that leverages a compact reference grounding space built from as few as 10 annotated examples and compris
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית