כתבה
arXiv cs.CL ·
מעבר מ-BLEU: תקן חדש לתרגום שפת סימנים
Beyond BLEU: A Case for Redefining Sign Language Translation Benchmarks
המחקר הציג תקן חדש לביקורת תרגום שפת סימנים, שמספק תמונה יותר נכונה של היכולות של המודלים. התקן נבדק על שישה מודלים שונים והראה כי הם נמצאים בתוך ספק זעום אחד זה מכבר.
תקציר מקורי באנגליתarXiv:2609.03734v1 Announce Type: new Abstract: BLEU-4 is the standard metric for evaluating sign language translation (SLT), but spoken-language metrics may not adequately reflect sign language proficiency. The multimodal, low-resource context of SLT allows models to exploit spurious correlations and spoken-language priors, rather than learning stronger sign representations. In this paper, we evaluate the relationship between spatio-temporal understanding and BLEU-4 across six SLT models on Phoenix-2014T and CSL-Daily, showing that gains in BLEU-4 are not on their own evidence of better sign language understanding. This work introduces an alternative inspired by language-learning assessment, using an open-weight-LLM QA protocol that measures salient content preservation. It aligns more cl
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית