כתבה
arXiv cs.AI ·
גבולות התאמתיות של LLM: השפעת קדמוניות פנימיות של המודל על ביצועי תגיירות
On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
מחקר חדש מצא כי קדמוניות פנימיות של LLM יכולות להשפיע על ביצועי תגיירות. המחקר חקר את היכולת של LLM להתאמת לתגיירות ומצא כי הקדמוניות הפנימיות של המודל יכולות להשפיע על הביצועים. המחקר גם חקר את היכולת של LLM לתקן שגיאות תגיירות ומצא כי הקדמוניות הפנימיות של המודל יכולות להשפיע על היכולת לתקן שגיאות.
תקציר מקורי באנגליתarXiv:2606.00467v2 Announce Type: replace-cross Abstract: Large Language Models (LLMs) are increasingly used for zero-shot annotation and LLM-as-a-judge tasks, yet their reliability hinges on how model-internalized priors interact with user-provided instructions. We investigate three dimensions of this interaction: (1) how an LLM's familiarity with data and task definitions relates to performance, (2) whether additional information in prompts can correct zero-shot errors ("decision stickiness"), and (3) model susceptibility to misaligned task definitions. We introduce Definition-Specific Familiarity (DSF), which measures alignment between a model's elicited concept and the target definition. Across nine LLMs and six toxicity datasets (five primary datasets plus an additional robustness dat
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית