וידאו
YT AI Engineer ·
גבול הזיכרון של מודלים: עלייה עשרונית בשנה
How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI
▶ צפה כאן — בלי לצאת מהאתר
לורי ווס, ראש יחסי מפתחים ב-Arize AI, בדק מחדש בנקודת ציון ישנה מלפני שנה ומצא כי המודלים החדישים עברו את הגבול הישן בלי להיתקל בו. הוא הראה כי הגבול עלה בעשרה מונים בשנה, וכיום נמצא ליד 2,000 הוראות, ואצל המודלים הטובים ביותר - ליד 5,000.
תקציר מקורי באנגליתLaurie Voss reran a year old benchmark and the models walked straight through its ceiling without noticing it was there. IFScale asks a model to write a business report containing a list of exact words, then counts how many actually appear. A year ago frontier models started dropping instructions somewhere around 200 to 300, which is a hard limit on how much you can put in a skills file. Voss, head of developer relations at Arize AI and a cofounder of npm, first replicated that result on the three models from the original paper still reachable by API, then pointed the same test at the current frontier. They scored 100 percent immediately. He had to raise the benchmark from 500 words to 10,000 before anything broke at all. The boundary now sits near 2,000 instructions, and for the best mode
קרא במקור המקורי
youtube.com
פתח כתבה מקורית