יום ראשון, 4 באוקטובר 2026 LIVE
AI־INFO

כתבה arXiv cs.CL ·

בטיחות ואמינות של כיווני רגש בשפות שונות

Concept Direction Reliability Across Languages with Different Tokenizer Fertility
נמצא כי כיווני רגש יכולים להשתנות בין שפות, וכי טיב הטקסט (מקורי או מתורגם) ואורכו יכולים להשפיע על זה.
תקציר מקורי באנגליתarXiv:2609.36194v1 Announce Type: new Abstract: Extracted sentiment directions can vary across samples even when downstream sentiment classification remains accurate. To evaluate direction reproducibility, we measure split-half agreement in English, Hausa, and Yoruba representations across four language models using both native and translated texts. We identify layers selected for agreement using ten topics and evaluate direction agreement across separate groups of fifteen topics. Using the final token, split-half agreement ranges from 0.737 to 0.870 for English, 0.589 to 0.762 for Hausa, and 0.101 to 0.399 for Yoruba, maintaining this language rank order across all 77 complete model comparisons. Classifiers trained on these same layers consistently predict sentiment above chance, demonstr
קרא במקור המקורי