כתבה
arXiv cs.AI ·
חתימות של חיפוש סמנטי בפעילות של מודלי שפה גדולים
Signatures of semantic search in the activations of large language models
נמצאו חתימות של חיפוש סמנטי בפעילות של מודלי שפה גדולים. המחקר מציע תיאוריה חדשה לפעילות של מודלי שפה, המבוססת על חיפוש סמנטי. המחקר גם מציע דרך לפיתוח מודלי שפה חדשים שיכולים לבצע חיפוש סמנטי.
תקציר מקורי באנגליתarXiv:2609.35599v2 Announce Type: replace Abstract: When recalling lists of concepts (e.g., animals) during the semantic fluency task (SFT), both humans and large language models (LLMs) organise their output into clusters of related items (e.g., sea animals) that are punctuated by strategic switches between clusters. In humans, this pattern can be explained by a semantic foraging process, whereby distinct neural and behavioural signatures accompany within-cluster production ("exploit") and between-cluster switching ("explore"). Whether LLMs likewise represent these two search regimes within their internal states is unknown. Here, we apply a range of mechanistic interpretability techniques to provide evidence for this. In Study 1, we use the Jacobian lens (J-lens), which maps intermediate-l
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית