כתבה
arXiv cs.LG ·
Atom-JEPA: פלטפורמת הכשרה עצמית לארכיטקטורה חדשה למערכות אטומיות 3D
Atom-JEPA: Joint-Embedding Predictive Architecture for 3D Atomistic Systems
פלטפורמת הכשרה עצמית חדשה למערכות אטומיות, Atom-JEPA, שמטרתה ללמד דגמים לצפייה בעצמם. הפלטפורמה נבחנה על ידי קבוצת חוקרים באמצעות נתוני מולקולות ומבנים קריסטליים. התוצאות הראו כי Atom-JEPA הציגה יכולת תפקוד טובה ביותר בצפייה בתכונות של מולקולות ומבנים קריסטליים. קוד ומודלים ערוכים זמינים באתר GitHub.
תקציר מקורי באנגליתarXiv:2610.08400v1 Announce Type: new Abstract: Large-scale self-supervised pretraining has reshaped modern machine learning, substantially advancing the ability of language and vision models to generalize across downstream tasks. While deep learning has driven considerable progress in modeling atomistic systems in recent years, self-supervised pretraining in this domain has not yet achieved comparable downstream generalization. To address this, we introduce Atom-JEPA, a self-supervised pretraining framework that learns latent representations from unlabeled 3D structures through complementary atom-level and substructure-level objectives inspired by joint-embedding predictive architectures. We pretrain Atom-JEPA on large-scale molecular and crystalline datasets and evaluate its transfer per
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית