כתבה
arXiv cs.AI ·
Aperture: חיבור-קביע-מצבים רוטטיים לטוקן עם צינור
Aperture: Merge-Consistent Rotary States for Compressed Tokens
Aperture מאחסן רגישויות פורייה של תמונת המידה המשוקללת של הטוקן בתדרי הרוטציה של המודל. נוכחות משוקללת נותנת עדכונים תואמים; נורמליזציה של התנייה נשארת נבחרת נפרדת. רצפי יחידות נתנים סינק גיין. נקודות מרכז נקבעות כאשר רצפי יחידות נקבעות. נבדקו דוגמאות שבהן רצפי יחידות אינן קובעות. ניתוחים מספריים מאשרים את הimplementations המשוקללות. בקריאות זמניות, תעבורת ההעצמה תלויה בהסטה של הגיין ובמיקום המאפיינים. בהשוואה נתונה מראש לשאלות וידאו, Aperture נכנס 65.63% לעומת 67.12% לכללי ההצמדה.
תקציר מקורי באנגליתarXiv:2609.36781v1 Announce Type: new Abstract: Token compression combines content from several positions, yet rotary position embeddings usually assign the merged token one coordinate. We ask what positional information must survive later merges. Aperture stores Fourier moments of the token's weighted support at the model's rotary frequencies. We prove that these moments have minimal real dimension among continuous states sufficient for the selected expected rotary interactions. Represented mass makes updates additive; attention normalisation remains a separate readout choice. Uniform intervals give a centre rotation times a sinc gain. We characterise when centres determine interval widths and construct matched examples where they do not. Numerical checks verify the weighted-support imple
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית