כתבה
arXiv cs.CL ·
שמיעה כמו בני אדם?
Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models
מחקר חדש בודק את יכולתם של מודלי שפה לשמוע כמו בני אדם. התוצאות מראות שמודלים אלו מתקשים לתפוס את הקשר בין צלילים לתכונות חזותיות. הממצאים מעלים שאלות על יכולתם של מודלים אלו להבין את העולם באופן אנושי.
תקציר מקורי באנגליתarXiv:2607.10162v2 Announce Type: replace-cross Abstract: Sound symbolism, the human tendency to map speech sounds to perceptual qualities such as roundness or sharpness, arises primarily from the acoustics of speech rather than spelling. Whether Speech Language Models (SLMs) share this tendency remains open, as prior evaluations rely on text or images rather than real speech. We study it using genuine human speech recordings, comparing model judgments against human data across the auditory, crossmodal, and visual components of the effect. We find that SLMs' auditory judgments align poorly with human perception and miss the acoustic cues, such as spectral tilt, that drive human intuitions, and open-weight models cannot reliably link a heard sound to its corresponding shape. With a visual-o
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית