כתבה
arXiv cs.AI ·
חקירת LLM מגובה: כאשר אמינות תצפית גבוהה יותר מזיקה לפתירת בעיות
Probing an Embodied LLM: When Higher Observation Fidelity Hurts Problem Solving
חוקרים בדקו את התנהגותם של מודלי LLM מגובה במשימות רובוטיות. נמצא כי המודלים מתפקדים טוב יותר עם קלט ראווה גולמי ולא עם תצפיות מדויקות. המחקר מראה כי רמת הרעש המתונה משפרת את הביצועים.
תקציר מקורי באנגליתarXiv:2605.20072v2 Announce Type: replace Abstract: Large Language Models (LLMs) are increasingly proposed as cognitive components for robotic systems, yet their opaque decision processes make it difficult to explain success or failure in closed-loop embodied tasks. Following an empirical AI methodology, we study an embodied LLM agent behaviorally by varying the available information and measuring the resulting changes in behavior. Using the Lockbox, a sequential mechanical puzzle with hidden interdependencies, we evaluate LLMs across RGB, RGB-D, and ground-truth symbolic observations in a physical robotic setup and use simulation to probe the resulting behavior. Counterintuitively, agents perform best under raw RGB input and worst under perfect ground-truth observations. In simulation, we
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית