כתבה
arXiv cs.LG ·
עולם חדש מעבר להפצה של נתונים
To Explore The Strange New World Beyond Data Distribution: System Behavior, Causality Tax, and Non-causal Base Model
חוקרים הציגו את מסגרת SBD, המשלבת התנהגות מערכת כרכיב בלתי ניתן לחלוקה בגבול התחתון של הראיות. SBD מראה כי קיימת תופעה של מס קוזאליות, שבה קוזאליות מופיעה כקירוב תת-אופטימלי. המחקר מציג גם את Green Shell, משפחה וריאציונית לא-קוזאלית.
תקציר מקורי באנגליתarXiv:2610.02839v1 Announce Type: new Abstract: We show that the causality of language models (LMs) may not be necessary nor optimal. This is the case when system behavior (denoted as $S$) is incorporated as a first-principle Bayesian feature. Here, $S$ refers to extra dominant factors beyond the data space, and they involve coupled effects. Despite being the de facto foundation of modern architecture, recent studies indicate persistent mismatches and contradictions with causality. These issues largely stem from system behavior rather than the data distribution. We therefore propose the SBD framework, which incorporates $S$ as an irreducible component of the evidence lower bound (ELBO). SBD theoretically reveals a counter-intuitive Causality Tax phenomenon, where causality emerges as a sub
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית