כתבה
arXiv cs.LG ·
שיפור ההתחלה משפר את הגילוי של LLM
Initialization Improves LLM-Driven Discovery
במחקר זה נחקרת היחס בין קבוצת האיטרטיבים הקודמים להצלחת הגילוי. נפוצו 12 כלים חדשים שמכונים 'Modular' ונבדקו 5 תחומי גילוי שונים. נמצא כי הצלחת הגילוי תלויה בעיצוב הכלים.
תקציר מקורי באנגליתarXiv:2610.00707v1 Announce Type: new Abstract: Large Language Models (LLMs) have been used for novel discovery of algorithms, theorems, drugs, and other tasks through the use of harnesses that prompt an LLM to iteratively optimize an objective. In this work, we study the relationship between the population of previous iterates and eventual discovery success. We generalize past work on harness design to develop a suite of 12 harnesses called 'Modular' and characterize their performance across 5 diverse discovery tasks, finding that discovery success is brittle and sensitive to harness design. We uncover mode collapse, characterized by a dramatic drop in the diversity of iterates, as a common failure mode. We find that popular state-of-the-art harnesses and diversity-inducing harness interv
קרא במקור המקורי
arxiv.org
פתח כתבה מקורית