כתבה
arXiv cs.LG ·
ספקטרלי-מטרה: פיזור נתונים נעים למודלי עולם JEPA
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
מחקר חדש מציע שיטה לשיפור תכונות פיזיות במודלי עולם JEPA. השיטה, המכונה Spectral-Target Physical Latent Structuring, משתמשת בטכניקה של Fourier auxiliary head כדי לאפשר פיזור נתונים נעים במודלי עולם JEPA.
תקציר מקורי באנגליתarXiv:2609.04264v2 Announce Type: replace Abstract: Latent world models have become increasingly popular as a method to predict and plan in latent space rather than pixel space. Recent architectures, such as LeWorldModel (LeWM), jointly train the encoder and predictor using regularization techniques like SIGReg to prevent representation collapse. Even with such regularization preventing representation collapse, we identify a new world model failure mode of physical representation laziness, particularly noted in highly dynamic environments. For these lazy cases, the learned latent states do not collapse but nonetheless fail to represent key physical properties, causing ubiquitous downstream planning failure. To resolve this issue, we propose training-time auxiliary supervision with a lightw
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית