המאמר ששינה הכל: "Attention is All You Need"

ביוני 2017, קבוצה של שמונה חוקרים מ-Google ומאוניברסיטת טורונטו פרסמה מאמר צנוע למראה באתר arXiv, תחת המספר 1706.03762. כותרת המאמר הייתה פרובוקטיבית, כמעט חצופה: "Attention is All You Need" ("תשומת לב היא כל מה שאתם צריכים"). באותה תקופה, עולם הבינה המלאכותית נשלט ללא עוררין על ידי רשתות קבילות (RNN) ומודלים מסוג LSTM. הרעיון שניתן להשליך את כל הארכיטקטורות המורכבות הללו לפח ולהסתמך אך ורק על מנגנון של "תשומת לב" (Attention) נשמע כמו הימור פרוע. אך ההימור הזה לא רק הצליח – הוא הגדיר מחדש את ההיסטוריה האנושית והניח את היסודות למהפכת ה-Generative AI שאנו חווים כיום.

המרד בקיים: למה ה-RNN וה-LSTM כבר לא הספיקו

עד שנת 2017, עיבוד שפה טבעית (NLP) התבסס בעיקר על מודלים סדרתיים כמו Recurrent Neural Networks (RNN) ו-Long Short-Term Memory (LSTM). מודלים אלו עיבדו טקסט מילה אחר מילה, לפי הסדר. למרות שהשיטה הזו נשמעת הגיונית, היא סבלה משתי בעיות קריטיות: קושי עצום בטיפול בהקשרים ארוכי טווח (מילים שנמצאות בתחילת המשפט נשכחו עד שהמודל הגיע לסופו), וחוסר יכולת לבצע מקביליות (Parallelization) של החישובים על גבי מעבדים גרפיים (GPUs). מכיוון שכל מילה הייתה תלויה במילה שלפניה, לא ניתן היה לאמן מודלים על כמויות ענק של נתונים בזמן סביר. המאמר של חוקרי Google, שהוצג מאוחר יותר באותה שנה בכנס NeurIPS 2017, הציע פתרון רדיקלי: להיפטר לחלוטין מהמבנה הסדרתי ולבנות ארכיטקטורה חדשה לחלוטין בשם Transformer.

הארכיטקטורה ששינתה את חוקי המשחק

הלב הפועם של ה-Transformer הוא מנגנון ה-Self-Attention (תשומת לב עצמית). במקום לקרוא מילה אחר מילה, המודל מסתכל על המשפט כולו בבת אחת. האינטואיציה מאחורי המנגנון פשוטה אך עוצמתית: כל מילה במשפט "מביטה" על כל שאר המילים ומחשבת את מידת הרלוונטיות שלהן אליה. לדוגמה, במשפט "הבנק סגר את השערים כי הוא פשט רגל", המילה "הוא" תפנה "תשומת לב" חזקה למילה "הבנק" ולא למילה "השערים", ובכך תבין את ההקשר המדויק.

כדי להפוך את הרעיון הזה למערכת עובדת, הציגו שמונת המחברים – Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser ו-Illia Polosukhin (כולם בעלי תרומה שווה לפי הערת השוליים במאמר) – מספר חידושים טכנולוגיים פורצי דרך:

• Multi-head self-attention: מנגנון המאפשר למודל להתמקד בהיבטים שונים של הקלט בו-זמנית (למשל, גם ביחסים התחביריים וגם במשמעות הסמנטית).
• Positional encoding: פונקציות מתמטיות מבוססות סינוס וקוסינוס המוזרקות לתוך המודל כדי להעניק לו מושג על סדר המילים (מאחר שאין עיבוד סדרתי).
• Layer normalization + residual connections: חיבורים מובנים בכל תת-שכבה המאפשרים זרימת מידע חלקה ויציבה ברשת עמוקה.

במשימת המבחן המקורית שלהם – תרגום מאנגלית לגרמנית (WMT 2014) – מודל ה-Transformer השיג תוצאה חסרת תקדים של 28.4 BLEU, תוך שימוש בעשירית מכוח המחשוב שנדרש למודלים הקודמים.

המפץ הגדול של עולם ה-AI

ההצגה של ה-Transformer הציתה גל של פיתוחים ששינו את פני הטכנולוגיה. בשנת 2018, חברת Google הציגה את BERT, מודל דו-כיווני (bidirectional encoder) שהביא לקפיצת מדרגה בהבנת שפה. באותה שנה, חברת OpenAI הציגה את GPT-1, מודל המבוסס על ה-decoder של ה-Transformer המיועד ליצירת טקסט.

השנים הבאות היו עדות למרוץ חימוש טכנולוגי חסר תקדים: ב-2019 הושקו GPT-2 ומודל T5 של Google. בשנת 2020 הושק GPT-3 עם 175 מיליארד פרמטרים, שהוכיח כי חוקי קנה המידה (scaling laws) עובדים – ככל שהמודל גדול יותר ומאומן על יותר נתונים, כך ביצועיו משתפרים דרמטית. בסוף שנת 2022, שחרורו של ChatGPT, המבוסס על ארכיטקטורת Transformer שעברה התאמה לשיחה (conversation-tuned GPT-3.5), הפך את הבינה המלאכותית היוצרת לתופעה עולמית.

כיום, בשנת 2024 ומעבר לה, כל מודלי השפה המובילים (Frontier LLMs) כמו Claude, Gemini, Llama, Mistral, Qwen ו-DeepSeek הם וריאציות ישירות של ה-Transformer המקורי. יתרה מכך, הארכיטקטורה פרצה את גבולות הטקסט וכבשה תחומים נוספים: ראייה ממוחשבת (ViT ב-2020), עיבוד שמע (Whisper ב-2022), ואפילו ביולוגיה ורפואה עם AlphaFold 2 ב-2021, שפיצח את מבנה החלבונים והתבסס בחלקו על עקרונות ה-Transformer.

לאן פנו שמונת המופלאים?

ההצלחה הפנומנלית של המאמר הפכה את שמונת כותביו לדמויות מפתח ומבוקשות ביותר בתעשיית ההייטק העולמית. כמעט כולם עזבו את Google כדי להקים או להוביל חברות בינה מלאכותית משפיעות:

• Noam Shazeer הקים את Character.AI (וחזר ל-Google בשנת 2024 בעסקת ענק בשווי 2.7 מיליארד דולר).
• Aidan Gomez הקים את חברת ה-LLM המצליחה Cohere.
• Llion Jones הקים את Sakana AI.
• Niki Parmar הייתה שותפה להקמת חברת Adept.
• Łukasz Kaiser הצטרף ל-OpenAI, שם הוא עובד כיום על מודלי חשיבה (reasoning models).

ההשפעה המצטברת של שמונת החוקרים הללו מעצבת את עתיד הטכנולוגיה מדי יום.

סיכום: הכותרת שהפכה למציאות

עם למעלה מ-130,000 ציטוטים נכון לשלהי שנת 2024, "Attention is All You Need" הוא אחד המאמרים המצוטטים ביותר בהיסטוריה של מדעי המחשב. הכותרת הפרובוקטיבית שלו התבררה כנבואה מדויקת להפליא. החוקרים שהעזו להכריז כי "תשומת לב היא כל מה שצריך" לא רק פתרו את בעיית התרגום הממוחשב, אלא העניקו לאנושות את המפתח לפיתוח בינה מלאכותית שמסוגלת להבין, ליצור ולחשוב בקנה מידה שלא דמיינו בעבר.

מקורות

1. Attention is All You Need (Vaswani et al., 2017)
2. Transformer — Wikipedia)
3. The Illustrated Transformer (Jay Alammar)