אנתרופיק וקלוד קוד ממקדים את תשומת הלב העולמית ביכולות של מודלי השפה הגדולים לייצר טקסט (LLM, מכונים גם בינה מלאכותית). היכולות עצמן אינן חדשות, אך לראשונה הן מוטמעות בכלים שגם אנשים ללא ידע טכני יכולים להשתמש בהם כדי לייצר תוצרים משמעותיים. כל הכרזה של אנתרופיק מטלטלת תעשיות שלמות.
מי שעובד עם קוד למחייתו ובונה מוצרים שמשתמשים בבינה מלאכותית בשנים האחרונות, מוצא פער בין העבודה היומיומית לבין התחזיות האפוקליפטיות שמשודרות מכל עבר. וכן, קראתם נכון — אני כמעט לא כותב קוד ישירות. הכול עובר דרך מודלים. ובכל זאת, איני רואה כיצד מודלים כאלה יכולים לפעול באופן אוטונומי ומלא כפי שרבים מניחים. רחוק מכך.
תעשיית התוכנה אכן השתנתה. חלק גדול מהקוד כבר אינו נכתב ידנית. ניתן לעמוד ביעדים ברמה גבוהה מאוד מבלי לכתוב קוד. אבל יש הבדל עצום בין „לא כותב קוד” לבין „נותן למודל לעשות כרצונו”. בסופו של דבר, האחריות היא על המתכנת. אם תהיה תקלה חמורה — הוא לא יוכל למשוך בכתפיים ולומר שהמודל טעה.
טעויות שאפשר לסלוח עליהן בפרויקט צדדי אינן נסלחות בדרג בכיר. עבור אדם מן היישוב, 98% הצלחה נשמעים כמו קסם. עבור בוט שירות לקוחות — זה אולי מספיק. אבל במערכות מורכבות, שני אחוזי שגיאה עלולים להיות מתכון לקטסטרופה, ובמקרים מסוימים אף לסיכון חיי אדם.
חלק מהטעויות שוליות. אך כשהמודל „מזייף” — הוא עלול לטעות באופן שמתכנת זוטר לא היה טועה בו. כדי להמחיש: רופא יכול לטעות במינון, אבל לא להמליץ על שתיית אקונומיקה.
וזה כבר קורה. במערכת שנכתבה באמצעות מודל מתקדם במיוחד לפני כחודש, הזיה של המודל הכניסה מפתחות פרטיים לקוד. זו טעות בסדר גודל של המלצה על שתיית אקונומיקה. במקרה אחר, באג שנוצר בעקבות הזיה אפשר לכל תוקף לשלוח מייל פשוט ולהחדיר הוראות לשרת.
נכון, ההזיות אינן מתרחשות כל הזמן. ברוב הזמן המודלים עובדים היטב. אבל כשהראש שלך מונח על הגיליוטינה המקצועית — גם הסתברות נמוכה היא גבוהה מדי. לכן אני עדיין בודק כל שורה. הסיכון פשוט גדול מדי.
מדוע זה קורה? משום שמודלי השפה מבוססים על ארכיטקטורה סטוכסטית (אקראית). הם אינם „מבינים” — הם מנבאים. הם מתוגמלים יותר על ניחוש סביר מאשר על הודאה באי־ידיעה.
אז האם זה ייפתר?
רבות מהתחזיות נשענות על אמונה בפתרון קסם עתידי — או ב-AGI. יש מי שמותחים קו ישר מקצב השיפור של השנתיים האחרונות אל עתיד מושלם, שבו ההזיות פשוט ייעלמו. ואכן חלה ירידה משמעותית בכמות ההזיות — אך לא לאפס. גם בתנאים אופטימליים ובבעיות מוגדרות היטב, שיעור הטעות אינו זניח.
יש מי שישאלו: ומה אם בכל זאת נגיע לשם? התשובה שלי מתחילה במילה אחת: אם.
כאשר פיליפוס מלך מוקדון איים על הספרטנים שאם יפלוש לארצם יחריב אותה, הם השיבו לו במילה הזו בדיוק. „אם” היא מילה עוצמתית. חוק התפוקה השולית הפוחתת אינו פוסח על טכנולוגיות. זה הימור מסוכן לבנות עתיד מקצועי שלם על ההנחה שהגרף ימשיך לטפס לנצח.
בשיפור ליניארי היינו אמורים כבר ליהנות ממכוניות אוטונומיות מושלמות, מציאות מדומה מהפכנית ומדפסות תלת־ממד ביתיות שמדפיסות כל חפץ. הטכנולוגיה מתקדמת — אך לעיתים בקפיצות, לעיתים בהיתקעות. המגבלות הארכיטקטוניות עדיין כאן ודורשות פתרונות היברידיים.
אבל נניח לרגע שהבעיה הטכנית נפתרת. שההזיות נעלמות. שאפשר לסמוך לחלוטין על הפלט. אז ניתקל בקיר אחר: ההבדל בין שחזור העבר לבין המצאת העתיד.
מודלי השפה מצטיינים בלארגן מחדש את הידוע. הם לועסים ומזקקים את מה שכבר תועד. אך כאשר נתקלים בבעיה חסרת תקדים — כזו שלא נוסחה מעולם — הם נשענים על תקדימים. ואם אין כאלה, הם ממציאים.
לא מזמן נתקלנו בבעיה ייחודית בתהליך עבודה בסביבה מרוחקת. הבנו שאפשר לחלץ ממנו נתונים למוצר חדש לחלוטין — כזה שלא היה בשוק. ניסינו להיעזר במודל: סיפקנו הקשר, הזנו מחקרים, דייקנו שאלות. התוצאה הייתה חזרה לפתרונות קיימים — או גלישה להזיות. הפריצה לא באה מהמודל. היא באה משיחה אנושית, מחשיבה מאומצת, מהצבעה פיזית על תהליך בעולם הממשי — חוויה שאיש לא תיעד בטקסט שעליו התאמן המודל.
בקצה גבול הידע, כשהבעיות עדיין לא מנוסחות — שם המודל מוגבל. לאחר שהגדרנו את הבעיה ורשמנו פטנט, 99% מהקוד אכן נכתב באמצעות מודל. אבל פעולת ההמצאה — נותרה אנושית.
התחזיות על החלפת מתכנתים אינן רק ניתוח טכנולוגי — הן גם נרטיב שיווקי. חברות שמפתחות מודלים מרוויחות משיח האוטונומיה המלאה, משקיעים מרוויחים מהתקווה לצמיחה אקספוננציאלית, והתקשורת מרוויחה מכותרות על „סוף המקצוע”. בתוך המערבולת הזו, מעט מאוד אנשים שואלים מה באמת קורה לקוד בתהליך הפיתוח.
ולמרות הכול, זו מהפכה אמיתית. ה-LLM מאפשרים לא רק לכתוב קוד מהר יותר, אלא לבנות קטגוריות מוצרים חדשות לגמרי. בשנים האחרונות אני עוסק בעיקר בכך. אבל כאן צצים אתגרים אחרים: עלויות (FinOps), ביצועים, מדידה ודיוק, אבטחה שונה לגמרי מאבטחת קוד קלאסי. אלו מקצועות חדשים שנולדים עכשיו.
הדיון הציבורי זקוק לפרופורציות. כן — זו מהפכה. כן — מקצועות ישתנו. אבל כל עוד אין AGI אמיתי (וכרגע הוא רחוק), האחריות האנושית רק גדלה. מישהו צריך להבין, לפקח, לשאת בתוצאות.
כבר חווינו מהפכות: המחשב האישי, האינטרנט. בכל פעם נדמה היה שהכול משתנה לנצח. הרבה השתנה — אבל לא הכול נעלם. הטענה ש”הפעם זה שונה לגמרי” נשמעת בכל דור, והיא כמעט תמיד מוגזמת.
