כתבה
arXiv cs.CL ·
אפקטיביות AMR למודלי שפה גדולים
On the (In)effectiveness of AMR Augmentation for Large Language Models
AMR אינה משפרת את ביצועי מודלי שפה גדולים. מחקר זה בודק את היתרונות של AMR עבור LLMs ומוצא שהיא אינה מועילה. המחקר משתמש במודלים כמו LLaMA.
תקציר מקורי באנגליתarXiv:2609.40121v1 Announce Type: new Abstract: While Abstract Meaning Representation (AMR) has historically improved performance on a range of NLP tasks, the benefit---or lack thereof---of AMR augmentation for modern LLMs is thus far unclear. In this paper, we attempt to reproduce recent work that reported substantial downstream gains from AMR augmentation, finding that these are likely due to specific choices in the experimental settings used: using a consistent and unified protocol for hyperparameter selection, we observe that text-only baselines consistently match or exceed the performance of AMR-augmented models. To investigate this null result, we introduce a perplexity-based probe measuring the degree to which AMR provides an LLM with supplemental relational knowledge not already av
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית