כתבה
arXiv cs.AI ·
T-RoPE: שילוב זמן ב-Rotary Position Embedding
T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation
T-RoPE הוא שיפור של Rotary Position Embedding המשלב זמן בהמלצות רציפות. הוא משתמש בזמנים ותדרים רב-סקאליים כדי לשפר את הדיוק. T-RoPE הראה שיפורים משמעותיים בחמישה מאגרי נתונים ציבוריים.
תקציר מקורי באנגליתarXiv:2609.30576v1 Announce Type: new Abstract: Large-scale recommenders increasingly adopt the sequential generative recipe behind large language models, bringing the Transformer into recommendation along with design choices made for text, including Rotary Position Embedding (RoPE). In language models, RoPE encodes token indices for relative position reasoning, but in recommendation, an interaction index records only event order, saying nothing about elapsed time, behavioral cycles across scales, or calendar phase. We revisit this choice and propose T-RoPE, a time-aware RoPE for sequential generative recommendation that replaces index-only rotation with timestamp-based angles, learnable temporal coefficients, multiscale frequency banks, shifted query alignment, and non-stationary key rota
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית