שלושת סבי ה-AI: הינטון, לקון ובנג'יו והדרך לפרס טיורינג

ב-27 במרץ 2019, הכריז ארגון ה-ACM על הזוכים בפרס טיורינג (ACM Turing Award) לשנת 2018. הפרס היוקרתי, הנחשב ל"פרס נובל של המחשוב" ומלווה בפרס כספי של מיליון דולר בחסות Google, הוענק לשלושה מדענים: ג'פרי הינטון (Geoffrey Hinton), יאן לקון (Yann LeCun) ויושוע בנג'יו (Yoshua Bengio). השלושה זכו להוקרה "For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing". כיום הם מוכרים ברחבי העולם כ"שלושת האבות הרוחניים" של הבינה המלאכותית המודרנית. הדרך שלהם אל הפסגה לא הייתה מובנת מאליה; היא עברה דרך עשורים של ספקנות, דחייה מקצועית ודבקות עיקשת ברעיון שנחשב במשך שנים למבוי סתום.

החורף הארוך של הרשתות הנוירוניות

במהלך שנות ה-90 וראשית שנות ה-2000, תחום הרשתות הנוירוניות היה מחוץ לאופנה המדעית. הקהילה האקדמית העדיפה שיטות סטטיסטיות כמו SVMs (Support Vector Machines), עצי החלטה ואלגוריתמים המבוססים על תכונות המוגדרות ידנית (hand-crafted features). המימון למחקרים בתחום כמעט ויבש לחלוטין. הינטון, למשל, נדחה שוב ושוב מכנסי ראייה ממוחשבת (CV) מובילים.

למרות הנידוי המדעי, השלושה סירבו לוותר. הם המשיכו לפרסם מאמרים, להנחות סטודנטים (ביניהם דמויות מפתח כמו Ilya Sutskever, Ian Goodfellow ובנו של לקון, Christophe), ובנו באיטיות ובסבלנות את היסודות למהפכה. תחרות ImageNet בשנת 2012 הייתה נקודת המפנה הדרמטית ששינתה את פני התעשייה, אך העבודה שהובילה לפריצת הדרך הזו הייתה תוצר של 25 שנות עבודה מאומצת בצל.

ג'פרי הינטון: הארכיטקט של הלמידה העמוקה

ג'פרי הינטון (Geoffrey Hinton), יליד 1947, הוא מדען בריטי-קנדי, פרופסור באוניברסיטת טורונטו (Toronto), חוקר לשעבר ב-Google Brain ושותף ב-Vector Institute. הינטון הניח כמה מאבני היסוד החשובות ביותר של התחום. בשנת 1986 הוא פרסם יחד עם Rumelhart ו-Williams את מאמר ה-Backpropagation המפורסם – האלגוריתם שמאמן את כל הרשתות העמוקות עד היום.

בין השנים 1983 ל-1985 פיתח את ה-Boltzmann machines, ובשנת 2002 הציג את ה-Restricted Boltzmann Machines. בשנת 2006 פרסם מאמר פורץ דרך על Deep Belief Networks, שהפיח חיים חדשים בתחום הלמידה העמוקה לאחר החורף של שנות ה-90. בשנת 2012 הציג את שיטת ה-Dropout לצמצום התאמת-יתר (regularization), ובאותה שנה הדהים את העולם עם רשת AlexNet (שפותחה יחד עם תלמידיו Alex Krizhevsky ו-Ilya Sutskever). בשנת 2024 זכה הינטון בפרס נובל לפיזיקה (יחד עם John Hopfield) על עבודתו המכוננת ברשתות נוירוניות. בשנת 2023 עזב את Google באופן פומבי כדי "speak freely about the dangers of AI".

יאן לקון: מהנדס הראייה הממוחשבת

יאן לקון (Yann LeCun), יליד 1960, הוא מדען צרפתי-אמריקאי, פרופסור באוניברסיטת ניו יורק (NYU) ומדען ה-AI הראשי של חברת Meta מאז שנת 2013. תרומתו הגדולה ביותר היא פיתוח רשתות הקונבולוציה (Convolutional Neural Networks - CNN). בשנת 1989 פיתח במעבדות Bell Labs את רשת LeNet לזיהוי ספרות בכתב יד, ובשנת 1998 הציג את LeNet-5, ששימשה לקריאת למעלה מ-10% מהמחאות הבנקים בארצות הברית באותה תקופה.

בין השנים 2003 ל-2013 בנה לקון ב-NYU את תוכנית הלימודים המודרנית של למידת מכונה עמוקה. מאז 2013 הוא מוביל את מעבדת המחקר FAIR של Meta, שם דחף לשחרור מודלי Llama בקוד פתוח. לקון ידוע כמתנגד חריף לתרחישי האימה על השמדת האנושות בידי AI, ומנהל על כך ויכוחים פומביים סוערים עם הינטון ובנג'יו.

יושוע בנג'יו: חלוץ השפה והמודלים ההסתברותיים

יושוע בנג'יו (Yoshua Bengio), יליד 1964, הוא מדען צרפתי-קנדי, פרופסור באוניברסיטת מונטריאול (Université de Montréal) ומייסד מכון המחקר MILA (Montreal Institute for Learning Algorithms). בשנות ה-90 וה-2000, הרבה לפני שהדבר הפך לפופולרי, התמקד בנג'יו במודלי שפה מבוססי רשתות נוירוניות.

בשנת 2003 פרסם את המאמר ההיסטורי "A Neural Probabilistic Language Model", שהקדים את זמנו והניח את היסודות לייצוגי מילים (word embeddings) כמו word2vec ו-GloVe. בשנת 2014, יחד עם Cho ו-Bahdanau, פיתח את מנגנון הקשב (Attention mechanism) לתרגום מכונה, שהיווה אב קדמון ישיר למנגנון הקשב של מודל ה-Transformer. באותה שנה היה שותף לכתיבת המאמר המכונן על רשתות גנרטיביות יריבות (Generative Adversarial Networks - GANs) יחד עם Ian Goodfellow ושותפים נוספים. בשנת 2024 הצטרף לגוף המייעץ של האו