כתבה
arXiv cs.CL ·
PACT: הסתגלות מותאמת לקבלת החלטות מסוג טיפוס יחיד
PACT: Pairwise-Anchored Calibrated Tuning for Single-Token Typed Decisions
PACT הוא שיטה חדשה לשיפור דגמים של החלטות מסוג טיפוס יחיד. היא משתמשת בנתונים מסוג זוגות קונטרסטיביים ומוסיפה ארבעה מונחים לאימון. PACT משפרת את הדיוק והיציבות של הדגמים.
תקציר מקורי באנגליתarXiv:2609.35865v1 Announce Type: new Abstract: Single-token typed-decision models answer a schema question by reading the logits of a few one-letter answer codes at a single position: they are fast and return a probability for every allowed answer, but they are trained with plain cross-entropy that ignores most of the structure in their training data. We study such a model whose data is curated as contrastive pairs---two contexts that differ in one edited fact that flips the answer---each carrying a machine-checked certificate that deleting the decisive sentence makes the fact unknown. We propose PACT, which turns this structure into four training terms that need no new annotation: a difference-in-differences margin over each pair that is invariant to any shared logit offset, a permutatio
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית