כתבה
arXiv cs.CL ·
לקיחת זכרון פנימי בתוך-פרמטרי למודלי שפה גדולים
Towards In-Parameter Memory Augmentation for Large Language Models
מאמר סקר של שיטות להרחבת מודלי שפה גדולים עם זכרון פנימי-פרמטרי. המאמר עוסק בשיטות של קליטת זכרון-פרמטרי למודלי שפה גדולים בשלב הפליקציה.
תקציר מקורי באנגליתarXiv:2610.08630v1 Announce Type: new Abstract: Recently Large Language Models (LLMs) and LLM-based agents increasingly need to incorporate knowledge acquired after pretraining, e.g., domain facts, user preferences, documents, and interaction experience. In-context learning (ICL) and ICL-based agent harness remain flexible, but they consume context capacity and incur repeated discretized encoding cost that grows with context length. \textbf{In-parameter memory} offers a complementary substrate: reusable memory information is represented in model parameters, adapters, or other parameter-like objects that are composed into the forward pass at inference time. This survey focuses on methods that augment LLMs with such parametric memory at deployment: a memory-bearing parameter object is plugge
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית