כתבה
arXiv cs.LG ·
הפעלת תהליך דיפוזיה להסתגלות של תרגומי תפוצה
Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration
במאמר זה, נציגים תהליך דיפוזיה שמספק סתגלות של תפוצה לתרגומי תפוצה. התהליך נבנה על ידי רכיבי תרגומי תפוצה שמודלים כפונקציות סטטיסטיות. התהליך נבדק על ידי ניתוח של תפוצה ובדיקות תקינות.
תקציר מקורי באנגליתarXiv:2602.08920v3 Announce Type: replace Abstract: Uncertainty calibration in pre-trained transformers is critical for their reliable deployment in risk-sensitive applications. Yet, most existing pre-trained transformers do not have a principled mechanism for uncertainty propagation through their feature transformation stack. In this work, we propose a diffusion-inspired reconfiguration of transformers in which each feature transformation block is modeled as a probabilistic mapping. Composing these probabilistic mappings reveals a probability path that mimics the structure of a diffusion process, transporting data mass from the input distribution to the pre-trained feature distribution. This probability path can then be recompiled on a diffusion process with a unified transition model to
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית