כתבה
arXiv cs.AI ·
ARC-Encoder: למידת תיאורי קיצור לייצוגי טקסט גדולים
ARC-Encoder: learning compressed text representations for large language models
ARC-Encoder מקיף ייצוגי טקסט קיצור למודלי טקסט גדולים. המאמר מציג תיאורי קיצור של ARC-Encoder, שמקיף ייצוגי טקסט קיצור, ומדגים את יעילותו במגוון סקנריות של LLM.
תקציר מקורי באנגליתarXiv:2510.20535v2 Announce Type: replace-cross Abstract: Recent techniques such as retrieval-augmented generation or chain-of-thought reasoning have led to longer contexts and increased inference costs. Context compression techniques can reduce these costs, but the most effective approaches require fine-tuning the target model or even modifying its architecture. This can degrade its general abilities when not used for this specific purpose. Here we explore an alternative approach: an encoder that compresses the context into continuous representations which replace token embeddings in decoder LLMs. First, we perform a systematic study of training strategies and architecture choices for the encoder. Our findings led to the design of an Adaptable text Representations Compressor, named ARC-En
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית