כתבה
arXiv cs.AI ·
NesTok: Tokenizer עצמאי ומסודר לדורשיות אוטורג'סיביות
NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation
NesTok היא פרקטיקה חדשה של תקן תקן עצמאי ומסודר, המאפשרת דורשיות אוטורג'סיביות להפיק תמונות באיכות גבוהה. הפרקטיקה כוללת טיפול רב-אורך, המאפשרת למודלים להפיק תמונות באיכות גבוהה, גם באורך קצר. NesTok כבר הציגה תוצאות מרשימות במחקרים קודמים, וכעת היא נמצאת בפיתוח ובשיפור.
תקציר מקורי באנגליתarXiv:2609.36756v1 Announce Type: cross Abstract: One-dimensional (1D) variable-length visual tokenizers enable adaptive compression by varying the number of tokens, allowing downstream autoregressive (AR) models to flexibly trade off generation quality against computational cost using a single tokenizer. However, existing approaches based on nested dropout often fail to fully exploit the representational capacity of the tokenizer, resulting in suboptimal performance in both image reconstruction and generation. In this work, we introduce NesTok, a nested self-alignment framework tailored to dynamic visual tokenizers. NesTok introduces cross-length training, which jointly optimizes reconstruction across token lengths while using the full-length sequence to guide shorter counterparts, enabli
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית