כתבה
arXiv cs.CL ·
הערכת עדכוני אמונות תקשורתיות במודלי שפה גדולים
Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation
חוקרים בדקו את יכולתם של מודלי שפה גדולים (LLM) לזהות אימפליקטורות ולהבין עדכונים שלהן. הם יצרו מאגר נתונים חדש עם הערות אנושיות ומצאו ש-LLMים מתקשים להבין עדכונים אלו בסיטואציות טבעיות.
תקציר מקורי באנגליתarXiv:2607.25094v1 Announce Type: new Abstract: Human language is driven by unspoken beliefs and belief updates, making these critical to model for successful communication between large language models (LLMs) and their users. In this paper, we evaluate the ability of LLMs to recognize unspoken beliefs made through implicatures and to understand their updates through implicature cancellation: the pragmatic phenomenon whereby an utterance's implied meaning is weakened or negated. We create the first expert-annotated implicature cancellation dataset, [DatasetName], crowdsourced for human judgements of implicatures and their corresponding cancellations. We find that LLM belief update understanding lags behind that of humans, especially in more naturally-occurring scenarios. Additional control
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית