וידאו
YT AI Engineer ·
מעבר לאינטליגנציה סטטית: הערכת למידה רציפה
Beyond Static Intelligence: Evaluating Continual Learning — Parth Asawa, UC Berkeley
▶ צפה כאן — בלי לצאת מהאתר
חוקרים בודקים את היכולת של מודלים ללמוד באופן רציף. המחקר מציג ביקורת על הדרך הנוכחית להערכת מודלים, ומציע גישה חדשה למדידת הלמידה הרציפה. הניסויים מראים כי למידה רציפה יכולה להיות יותר יעילה משיטות אחרות.
תקציר מקורי באנגליתEvery leaderboard you have seen was built by asking a model to do one task, wiping its memory, and asking it another. Parth Asawa's objection is that this quietly assumes learning across instances does not count. His benchmark measures what that assumption hides, using a metric called gain: run a system with state, then run the identical system reset between every single instance, and take the difference. Cumulative reward cannot show you this, because a stronger base model can post a higher total while learning less than a weaker one that genuinely improves. Building tasks that can measure learning turns out to be the hard part, and he sets three requirements. Headroom, so the task is not already solved by pretraining. Shared latent structure across instances, since standard benchmarks ar
קרא במקור המקורי
youtube.com
פתח כתבה מקורית