כתבה
arXiv cs.LG ·
AEGIS: מערכת בידוד גרדיאנטים
AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning
AEGIS היא מערכת לבידוד גרדיאנטים שמאפשרת עדכון רציף של מודלים ויז'ואליים-לשוניים. היא משתמשת בפרויקטור גרדיאנטים אורתוגונלי כדי למנוע דריפט של מאפיינים. AEGIS נבדקה על מודל PaliGemma2-3B והראתה שימור מלא של ביצועים.
תקציר מקורי באנגליתarXiv:2604.16067v2 Announce Type: replace Abstract: Fine-tuning pre-trained Vision-Language Models (VLMs) for robotic manipulation introduces a fundamental stability-plasticity dilemma: continuous flow-matching action experts backpropagate concentrated, low-rank regression gradients into transformer backbones trained on high-dimensional cross-entropy objectives. This cross-modal gradient asymmetry rapidly degrades pre-trained visual reasoning. Existing solutions either disconnect continuous gradient flow via stop-gradients or constrain updates via LoRA, which restricts update rank but remains directionally blind to semantic corruption; both typically rely on mixed-batch VQA co-training, doubling training compute. We introduce AEGIS (Anchor-Enforced Gradient Isolation System), a buffer-free
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית