כתבה
arXiv cs.LG ·
גבולות עיבוד LLM: השפעת קדימות פנימיות על ביצועים
On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
חוקרים בדקו את ההשפעה של קדימות פנימיות על ביצועים של מודלים LLM. הם מצאו כי רק 34.8% משגיאות zero-shot תוקנו על ידי הוראות נוספות. המחקר מראה כי הסתגלות LLM מוגבלת עקב קדימות פנימיות.
תקציר מקורי באנגליתarXiv:2606.00467v2 Announce Type: replace-cross Abstract: Large Language Models (LLMs) are increasingly used for zero-shot annotation and LLM-as-a-judge tasks, yet their reliability hinges on how model-internalized priors interact with user-provided instructions. We investigate three dimensions of this interaction: (1) how an LLM's familiarity with data and task definitions relates to performance, (2) whether additional information in prompts can correct zero-shot errors ("decision stickiness"), and (3) model susceptibility to misaligned task definitions. We introduce Definition-Specific Familiarity (DSF), which measures alignment between a model's elicited concept and the target definition. Across nine LLMs and six toxicity datasets (five primary datasets plus an additional robustness dat
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית