כתבה
arXiv cs.CL ·
תיקון התייחסות לאיזון עמדותי
Attention Calibration for Position-Fair Dense Retrieval
במאמר זה, המחברים מציגים שיטה לתיקון התייחסות של רשתות עמוקות לשם הפחתת תלות בעמדות. השיטה, הנקראת Fair-Sentence-Transformers, משתמשת באלגוריתם של קליברציה של התייחסות כדי לאזן את התייחסות הרשת לעמדות שונות. המחברים מציגים גם גרסה של השיטה שמשמרת את התייחסות הרשת לעצמה.
תקציר מקורי באנגליתarXiv:2606.02737v2 Announce Type: replace-cross Abstract: Dense retrieval compresses a passage into a single vector, but this compression is positionally skewed: early content dominates the embedding, and retrieval degrades when the relevant span appears later. Prior work proposed an inference-time method that counteracts this skew by equalizing the pooling token's attention across passage segments. However, (i) it redistributes attention at a fixed strength, (ii) it forces the pooling token's attention to itself to a fixed basket-level mass despite substantial variation across layers and architectures, and (iii) its effect on retrieval has not been evaluated. We introduce a strength coefficient that interpolates between uncalibrated and fully equalized attention, together with an efficien
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית