כתבה
arXiv cs.AI ·
שיפור האתחול משפר את גילוי LLM
Initialization Improves LLM-Driven Discovery
חוקרים גילו כי שיפור האתחול של מודלי LLM משפר את יכולת הגילוי. הם פיתחו סוויט של 12 הארנסים ומצאו כי הצלחת הגילוי רגישה לעיצוב ההארנס. הם הציעו שיטה חדשה לאתחול מקביל שמשפרת את התוצאות.
תקציר מקורי באנגליתarXiv:2610.00707v1 Announce Type: cross Abstract: Large Language Models (LLMs) have been used for novel discovery of algorithms, theorems, drugs, and other tasks through the use of harnesses that prompt an LLM to iteratively optimize an objective. In this work, we study the relationship between the population of previous iterates and eventual discovery success. We generalize past work on harness design to develop a suite of 12 harnesses called 'Modular' and characterize their performance across 5 diverse discovery tasks, finding that discovery success is brittle and sensitive to harness design. We uncover mode collapse, characterized by a dramatic drop in the diversity of iterates, as a common failure mode. We find that popular state-of-the-art harnesses and diversity-inducing harness inte
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית