כתבה
arXiv cs.CL ·
LLM-Microscope: חשיפת תפקיד הנסתר של סימני פיסוק בזיכרון תקשורת של טרנספורמרים
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
LLM-Microscope חשף את תפקיד הנסתר של סימני פיסוק בזיכרון תקשורת של טרנספורמרים. המחקר מציג כלי חדש לבדיקת זיכרון תקשורת של LLMs.
תקציר מקורי באנגליתarXiv:2502.15007v2 Announce Type: replace Abstract: We introduce methods to quantify how Large Language Models (LLMs) encode and store contextual information, revealing that tokens often seen as minor (e.g., determiners, punctuation) carry surprisingly high context. Notably, removing these tokens -- especially stopwords, articles, and commas -- consistently degrades performance on MMLU and BABILong-4k, even if removing only irrelevant tokens. Our analysis also shows a strong correlation between contextualization and linearity, where linearity measures how closely the transformation from one layer's embeddings to the next can be approximated by a single linear mapping. These findings underscore the hidden importance of filler tokens in maintaining context. For further exploration, we presen
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית