AlexNet 2012 — הרגע שבו Deep Learning ניצח את כולם

בסתיו של שנת 2012, קהילת ראיית המחשב העולמית חוותה רעידת אדמה חסרת תקדים ששינתה את פני הטכנולוגיה לתמיד. במשך שנים, התחרות השנתית היוקרתית ביותר בתחום, ה-ImageNet Large Scale Visual Recognition Challenge (ILSVRC), נשלטה על ידי אלגוריתמים מורכבים המבוססים על "hand-engineered features". החוקרים המובילים בעולם השקיעו קריירות שלמות בכוונון עדין של נוסחאות מתמטיות כדי לזהות קצוות, צורות ומרקמים בתמונות. אך באותה שנה, צוות קטן מאוניברסיטת טורונטו בשם SuperVision הציג גישה שונה לחלוטין, כזו שערערה את כל המוסכמות המדעיות שהיו מקובלות עד אז. הרשת הנוירונית העמוקה שלהם, שזכתה לשם AlexNet, לא רק ניצחה בתחרות — היא הביסה את המתחרים בפער כה עצום, שהותיר את עולם הטכנולוגיה כולו בהלם מוחלט. היה זה הרגע המכונן שבו Deep Learning הפך מתיאוריה שנויה במחלוקת בשולי האקדמיה לכוח המניע הבלתי מעורער של עולם הבינה המלאכותית המודרנית.

הרקע: החורף השני של הבינה המלאכותית

רשתות נוירונים קונבולוציוניות (CNNs) לא היו המצאה חדשה בשנת 2012. למעשה, הן היו קיימות עוד מאז ש-Yann LeCun הציג את רשת LeNet-5 בשנת 1989, אשר שימשה בהצלחה לזיהוי ספרות בכתב יד. למרות הפוטנציאל הראשוני, במהלך שנות ה-1990 וה-2000, רוב החוקרים בתחום זנחו לחלוטין את רשתות הנוירונים העמוקות משום שהן נחשבו לקשות מדי לאימון ולא יעילות. באותם עשורים, שיטות סטטיסטיות כמו Support Vector Machines, תכונות מתוכננות ידנית כמו SIFT ו-HOG, וכן עצי החלטה (decision trees), שלטו ביד רמה במחקר וביישומים המעשיים.

רק קומץ חוקרים, ובראשם Geoffrey Hinton, Yann LeCun ו-Yoshua Bengio — שזכו מאוחר יותר לכינוי "Three Godfathers" של ה-Deep Learning — המשיכו להאמין בטכנולוגיה ושמרו על הגחלת לוחשת במהלך מה שמכונה כיום "second AI winter". פריצת הדרך הגדולה שהם ייחלו לה דרשה שני מרכיבים קריטיים שהיו חסרים עד אז: כמות עצומה של נתונים מגוונים, וכוח חישוב חסר תקדים.

את בעיית הנתונים פתרה פרופ' פיי-פיי לי (Fei-Fei Li). החל משנת 2007, היא הובילה את פרויקט הדגל ImageNet — מסד נתונים עצום וחסר תקדים שהכיל 1.2 מיליון תמונות מתויגות המשתרעות על פני 1000 קטגוריות שונות של אובייקטים. כעת, כשיש מספיק נתונים כדי לאמן רשתות ענק מבלי להגיע למצב של "overfitting", כל מה שהיה חסר הוא החומרה המתאימה וכוח האדם שיחבר את הכל יחד.

תחרות ImageNet 2012 וההלם הגדול

בשנת 2012, צוות SuperVision מאוניברסיטת טורונטו החליט להרים את הכפפה ולהשתתף בתחרות ה-ILSVRC. הצוות הורכב מהמנחה Geoffrey Hinton ושני תלמידי הדוקטורט המבריקים שלו: אלכס קריז'בסקי (Alex Krizhevsky), שעל שמו נקראה הרשת, ואיליה סוצקבר (Ilya Sutskever).

תוצאות התחרות הדהימו את המארגנים והמתחרים כאחד וגרמו לזעזוע מיידי בקהילה המדעית. בעוד שהזוכה של השנה הקודמת (2011) השתמש בתכונות מתוכננות ידנית והגיע לשיעור שגיאה של כ-25% ("top-5 error rate"), ובעוד שהצוות שהגיע למקום השני בתחרות של 2012 הציג שיעור שגיאה של 26.2%, רשת AlexNet השיגה תוצאה פנומנלית של 15.3% שגיאה בלבד. פער בלתי נתפס של 10.8 נקודות האחוז בין המקום הראשון לשני הבהיר לכולם שכללי המשחק השתנו לנצח. חוקרים שבילו עשורים בפיתוח תכונות ידניות הבינו בן לילה שהכלים שלהם הפכו למיושנים והשדה המדעי כולו חווה מהפך מיידי.

הארכיטקטורה והחומרה ששינו את חוקי המשחק

ההצלחה הפנומנלית של AlexNet לא הייתה מקרית, אלא תוצאה של שילוב פורץ דרך בין ארכיטקטורה חדשנית לחומרה ייעודית. הרשת כללה 8 שכבות בסך הכל: 5 שכבות קונבולוציה (convolutional layers) ו-3 שכבות מקושרות במלואן (fully connected layers), עם כ-60 מיליון פרמטרים.

החידושים הארכיטקטוניים המרכזיים של AlexNet כללו:

• שימוש בפונקציות אקטיבציה מסוג ReLU (Rectified Linear Unit), שהיו מהירות משמעותית לחישוב ומנעו את בעיית דעיכת הגרדיאנט בהשוואה לפונקציות sigmoid או tanh המסורתיות.
• מנגנון נרמול תגובה מקומי (Local Response Normalization).
• שימוש בטכניקת Dropout למניעת התאמת-יתר ("overfitting"), שהייתה המצאה טרייה של Hinton באותה עת.
• שכבות overlapping max-pooling (חיבור חופף של ערכי מקסימום).

אך פריצת הדרך הטכנולוגית האמיתית הייתה השימוש במעבדים גרפיים (GPUs). רשתות עמוקות דורשות כמות עצומה של מכפלות מטריצות, משימה שמעבדים גרפיים מצטיינים בה במיוחד. הרשת אומנה במשך 5-6 ימים על גבי שני כרטיסי מסך מסוג NVIDIA GTX 580 (בעלי זיכרון של 3GB כל אחד), כאשר החישובים פוצלו ביניהם בצורה חכמה.

המאמר המדעי שתיאר את הפריצה, "ImageNet Classification with Deep Convolutional Neural Networks", הוצג בוועידת NIPS 2012. נכון לשנת 2024, המאמר צבר למעלה מ-150,000 ציטוטים, מה שהופך אותו לאחד המאמרים המצוטטים והמשפיעים ביותר בהיסטוריה של המדע המודרני.

מטורונטו ל-OpenAI: המסלול של איליה סוצקבר

אחד הכוחות המניעים המרכזיים מאחורי AlexNet היה איליה סוצקבר. לאחר ההצלחה ההיסטורית בתחרות, הצוות הקטן נרכש על ידי גוגל וסוצקבר הצטרף לצוות Google Brain. שם הוא המשיך להוביל פריצות דרך משמעותיות, כולל כתיבת המאמר המפורסם "Sequence to Sequence Learning with Neural Networks" בשנת 2014, שאיפשר לראשונה תרגום מכונה מקצה לקצה ("end-to-end") וסלל את הדרך לעיבוד שפה טבעית מודרני.

בשנת 2015, סוצקבר הפך למייסד-שותף ולמדען הראשי (Chief Scientist) של ארגון OpenAI. בתפקיד זה, הוא דחף קדימה את פיתוח משפחת מודלי ה-GPT ששינו את פני הטכנולוגיה והביאו את מהפכת ה-Generative AI לכל בית בעולם.

המורשת: המפץ הגדול של ה-AI המודרני

הניצחון של AlexNet פתח את הסכר למהפכה הגדולה ביותר של המאה ה-21. בין השנים 2013 ל-2015, כל תחרות בתחום ראיית המחשב נשלטה לחלוטין על ידי רשתות נוירונים קונבולוציוניות (CNNs), כאשר ארכיטקטורות מתקדמות כמו VGGNet, GoogLeNet ו-ResNet (שהציגה חיבורי דילוג — "skip connections") דחפו את אחוזי הדיוק לרמות כמעט אנושיות. בשנת 2017, מודלי ה-Transformers החליפו את רשתות ה-RNN והובילו לעידן מודלי השפה הענקיים.

ההכרה המדעית בחלוצי המהפכה לא איחרה לבוא. בשנת 2018 הוענק פרס טיורינג (Turing Award) היוקרתי ל-Hinton, LeCun ו-Bengio. השיא הגיע בשנת 2024, כאשר Geoffrey Hinton יחד עם John Hopfield קיבלו את פרס נובל לפיזיקה עבור "foundational discoveries and inventions that enable machine learning with artificial neural networks". הכל התחיל באותו שבוע גורלי ב-2012, כאשר שמונה שכבות וצמד כרטיסי מסך הוכיחו לעולם שהעתיד של הבינה המלאכותית כבר כאן.

מקורות

1. ImageNet Classification with Deep Convolutional Neural Networks (Krizhevsky, Sutskever, Hinton — NIPS 2012)
2. AlexNet — Wikipedia
3. ImageNet — Wikipedia