כתבה
arXiv cs.AI ·
דגימות-רובוסטי: דגימות החלטה עם תשובות-עצמאיות
Permutation-Robust Decision Modeling with Candidate-Independent Block-Causal Attention
דגימות-רובוסטי: דגימות החלטה עם תשובות-עצמאיות. המחברים הציגו ארכיטקטורה חדשה של תשובות-עצמאיות, שמאפשרת דגימות-רובוסטי בדגימות החלטה. הם השוו את הארכיטקטורה לתשובות-קאוזליות רגילות ולבסיסים חלופיים. התוצאות הראו שהארכיטקטורה של התשובות-עצמאיות יוצרת דגימות-רובוסטי טוב יותר.
תקציר מקורי באנגליתarXiv:2610.01601v1 Announce Type: cross Abstract: Decision models often score a variable-sized set of candidate actions encoded in a single sequence. This setting is increasingly relevant for System 1 components inside generative systems, where candidates may be proposed or ordered differently across runs. Standard causal cross-encoding is expressive, but it can make a candidate's score depend on serialization order rather than on the underlying decision problem. We introduce candidate-independent block-causal attention, which preserves causal computation within the shared context and each candidate while blocking cross-candidate information flow and resetting candidate positions. We compare this architecture with standard causal attention and complementary invariant baselines across Gemma
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית