כתבה
arXiv cs.AI ·
SPECTRA: ניהול תדרים והעברת פרמטרים לאדפטציה יעילה של מודלי יסוד לגאוגרפיה
SPECTRA: Band-Routed Embedding and Stage-Wise LoRA for Cross-Sensor Fine-Tuning of Geospatial Foundation Models
SPECTRA הציגה פרקטיקה חדשה לאדפטציה יעילה של מודלי יסוד לגאוגרפיה. הפרקטיקה, הקרויה SPECTRA, כוללת שני רכיבים: Band-Routed Embedding (BRE) ו-Stage-wise Transferability-aware LoRA (ST-LoRA). BRE מאפשרת להשתמש בכל התדרים הזמינים במאגר הנתונים, בעוד ST-LoRA מקטין את עלות האדפטציה. ניסויים שנערכו על שלושה מודלי יסוד לגאוגרפיה וארבעה מאגרי נתונים של סגמנטציה, הראו ש-BRE משפרת את הביצועים, ו-ST-LoRA מקטין את מספר הפרמטרים הנלמדים.
תקציר מקורי באנגליתarXiv:2608.01751v2 Announce Type: replace-cross Abstract: Geospatial foundation models (GeoFMs), pretrained on large-scale geospatial data such as Earth observation (EO), climate, and weather data, have shown promising performance when fine-tuned on diverse downstream tasks. However, there are two challenges of adapting EO-pretrained GeoFMs to practical downstream datasets. The first challenge is how to handle spectral mismatch: pretrained patch embeddings expect a fixed set of input bands, whereas downstream sensors may provide different channels. The second challenge is how to reduce fine-tuning cost and make it efficient. While existing work has made efforts on these challenges individually, jointly improving fine-tuning performance under spectral mismatch while reducing adaptation cost
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית