כתבה
arXiv cs.CL ·
FlexComp: דגם אחד לכל יחסי העיבוד בעיבוד רצפי תקציר
FlexComp: One Model for Every Ratio in Context Compression
FlexComp היא שיטה שמאפשרת עיבוד רצפי תקציר בכל יחסי עיבוד, באמצעות דגם אחד. השיטה נבחנה במספר מקרים והוכיחה עצמה כיעילה. FlexComp משתמשת ב-GPT-5 וב-Gemini ומאפשרת עיבוד רצפי תקציר בכל יחסי עיבוד.
תקציר מקורי באנגליתarXiv:2609.11192v1 Announce Type: new Abstract: Soft context compression condenses a context into a few memory tokens that a frozen LLM consumes in place of the raw text, but existing compressors fix the compression ratio at training and inference: each deployed ratio requires a separately trained model, and the chosen ratio is applied uniformly to all inputs, whose actual needs vary drastically. We propose FlexComp, a method-agnostic framework that decouples the ratio from both training and deployment: Matryoshka-style training samples the memory budget $K$ per instance, turning one model into an any-ratio compressor, and the budget is then chosen per input by: (1) confidence-based cascade routing or (2) a lightweight learned $K$ predictor. Across ICAE, 500xCompressor, and SAC on MRQA, a
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית