כתבה
arXiv cs.AI ·
זיהוי דיבור אלינו או למישהו אחר
Talking to Me or Someone Else? Rethinking Talk-to-Me Detection in Egocentric Videos
חוקרים פיתחו שיטה חדשה לזיהוי מי מדבר אל הלובש את המצלמה בווידאו אגוצנטרי. השיטה משלבת רמזים חברתיים רב-מודאליים, כולל אודיו, ויז'ואל וסמנטיקה של דיבור. התוצאות מראות עליכות של 75.5% בזיהוי דיבור אלינו.
תקציר מקורי באנגליתarXiv:2609.14118v1 Announce Type: cross Abstract: Online understanding of who is talking to the camera wearer is a key capability for egocentric social interaction. However, existing talk-to-me (TTM) studies are commonly formulated as offline clip-level recognition, which is poorly aligned with online interaction and overlooks the diverse non-TTM speaking states that naturally arise in egocentric videos. In this paper, we revisit this problem by reformulating it as an online, frame-level prediction task. Instead of treating TTM as a binary problem against a single negative class, we model it in the presence of diverse and previously underexplored non-TTM states, such as talking-to-others, self-talking, and background conditions. To support this new formulation, we construct an Online TTM D
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית