כתבה
arXiv cs.CL ·
ER-JEPA: תחזוק חוויות מחדש משפרת את הלמידה הסינתטית של דגמי יוניטר
ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models
ER-JEPA משפרת את הלמידה הסינתטית של דגמי יוניטר על ידי תחזוק חוויות. ניתן לראות זאת במאמר שפורסם ב-arXiv.
תקציר מקורי באנגליתarXiv:2609.36952v1 Announce Type: new Abstract: Large language models (LLMs) excel at token-level generation but may learn undesirable abstract semantics and lack comprehensive perception. LLM-JEPA mitigates this by aligning different views of the same underlying knowledge via a joint-embedding predictive architecture (JEPA). However, strong alignment does not necessarily lead to accurate, stable predictions. To address this, we propose ER-JEPA, which adds an episodic replay path to LLM-JEPA. ER-JEPA stores training pairs in a memory. At each step, it stores and retrieves relevant data to provide additional supervision. This enables learning from both the current batch and stored training pairs, providing additional supervision for token prediction and representation alignment. Experiments
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית