מישהו בטוויטר עשה ניסוי שנראה פשוט: ביקש מג'מיני לכתוב פסקה שיווקית על ישראל. פעם אחת ביקש שזה ייראה "הכי AI שאפשר", ופעם שנייה "הכי אנושי שאפשר". הוא ציפה להבדל דרמטי. הוא קיבל שתי גרסאות של אותו טקסט בינוני.
הגרסה ה"אנושית" פתחה עם "בסופו של דבר, הקטע של ישראל זה הניגודים". הגרסה ה"רובוטית" פתחה עם "גלו את הקסם: מסע בלתי נשכח אל ארץ ההזדמנויות הבלתי מוגבלות!" ומשם הכל התדרדר - "פסיפס תרבותי עשיר", "חוויה של פעם בחיים", "אנרגיה ממכרת שקשה להסביר במילים". מילים שמרגישות כמו אוויר.
המסקנה שלו הייתה שאנחנו מעדיפים טקסט סתמי על פני משהו שמנסה להיות אותנטי. התגובות הלכו בכיוון אחר - "ג'מיני הוא המודל הכי גרוע בניסוח", "לא משנה מה תבקש ממנו הוא נותן את אותו דבר בניסוחים שונים". הביקורת הייתה על המודל.
אני חושב שכולם חטאו לאותו מקום.
שתי הגרסאות גרועות, אבל לא מהסיבה שחושבים
הגרסה ה"רובוטית" גרועה בצורה ברורה - סופרלטיבים, סימני קריאה, "אל תפספסו את ההזדמנות". זה נשמע כמו פלייר שמודבק על עמוד חשמל. אף אחד לא צריך הסבר למה זה לא עובד.
הגרסה ה"אנושית" יותר מעניינת, כי היא מרגישה יותר טובה אבל היא לא באמת טובה. "אנרגיה ממכרת שקשה להסביר במילים" - זו קלישאה שפשוט מחופשת לשפה מדוברת. "מרגישה כמו פלנטה אחרת לגמרי" - כמו שמישהו בתגובות ציין, זו שטיקלה שאפשר להדביק על כל עיר עתיקה בעולם. "האנשים ישירים (לפעמים מדי)" - זו תצפית גנרית שכל תייר חוזר מצטט.
הגרסה ה"אנושית" לא אנושית. היא פשוט גנרית בטון פחות צעקני.
הבעיה לא במודל. הבעיה בבקשה
"תכתוב פסקה שיווקית על ישראל" זה כמו לבקש מעורך דין "תכתוב לי חוזה". חוזה למה? בין מי למי? מה רוצים להגן עליו? בלי התשובות האלה, כל עורך דין ייתן לך תבנית גנרית.
הפרומפט לא הגדיר שום דבר שקופירייטר מגדיר לפני שהוא מתחיל לכתוב:
- למי זה מכוון? תייר אמריקאי שמתלבט? ישראלי בחו"ל שמתגעגע? בקפאקר אירופאי?
- מה ה-tone? רשמי? קליל? ציני? ישיר?
- מה אני לא רוצה? קלישאות? סופרלטיבים? "פסיפס תרבותי"?
- מה הזווית? אוכל? ניגודים גיאוגרפיים? אנשים? היסטוריה?
בלי התשובות האלה, המודל עושה את הדבר ההגיוני - הוא הולך לברירת המחדל. ברירת המחדל היא ממוצע של כל הטקסטים השיווקיים על ישראל שהוא ראה. וממוצע, מטבעו, הוא גנרי.
מה קרה כשהדבקתי את השרשור לקלוד
עכשיו הגיע החלק שבו אני צריך להיות כנה לגבי מה שבאמת קרה.
לא כתבתי לקלוד פרומפט מורכב. לא הגדרתי קהל, לא בחרתי tone, לא נתתי רשימת "אסור". הדבקתי את השרשור עם התגובות ואמרתי "אני חושב שאתה יכול לעשות משהו יותר טוב, תעשה משהו."
קלוד קרא את הביקורת, הבין מה לא עובד, ואז עשה לבד את מה שקופירייטר עושה לפני שהוא מתחיל לכתוב: בחר קהל (תייר אמריקאי שמתלבט), בחר tone (ישיר, לא מנומס מדי), בחר זווית (הניגוד בין הנוחות לחוויה), והרכיב רשימת "מה לא" מתוך הביקורת בתגובות. כל ההחלטות האלה - שלו, לא שלי.
כדי להמחיש, הנה מה שיצא - אותה משימה, פסקה שיווקית על ישראל. ההחלטות שקלוד קיבל לבד:
קהל: תייר אמריקאי שמתלבט אם שווה לבוא. Tone: ישיר, לא מנומס מדי. זווית: הניגוד בין הנוחות לחוויה.
התוצר:
"ישראל היא לא יעד נוח. אין פה קליפות קוקוס על החוף ואף אחד לא יחייך אליך בלי סיבה. אבל יש פה משהו שקשה למצוא במקומות אחרים: בבוקר תאכל חומוס בשוק מחנה יהודה ליד בן אדם שיספר לך את כל סיפור חייו בלי שביקשת, ובערב תשב על גג בתל אביב ותשמע שלוש שפות בשולחן אחד. הים מלוח, הקפה חזק, והאנשים לא עושים small talk - הם קופצים ישר לעניין. זה מעייף, וזה בדיוק מה שעושה את זה שווה."
מה השתנה? לא הפרומפט - הוא היה קצר ופשוט. מה שהשתנה הוא שהמודל קיבל הקשר שאפשר לו לחשוב, ואז חשב.
מה שסקילים עושים - ומה הם לא
אז אם קלוד ידע לבד לקבל את ההחלטות הנכונות, למה צריך סקילים?
כי ההקשר הזה לא תמיד קיים. במקרה הזה, קלוד קיבל שרשור עם ביקורת - ומשם הסיק מה לעשות ומה לא. אבל מה קורה כשאין שרשור? כשמישהו כותב "תנסח לי הודעת שגיאה למסך תשלום" בלי שום רקע?
סקיל הוא בעצם ההקשר שקופירייטר מחזיק בראש - אבל מקודד. הוא כולל: מי הקהל, מה ה-tone, רשימת דברים שאסור לכתוב, דוגמאות לכתיבה טובה ורעה, ומבנה מצופה. הוא לא נותן למודל את התשובות - הוא מלמד אותו לשאול את השאלות הנכונות גם כשאין שרשור ביקורת שמנחה אותו.
מה שקרה עם השרשור הוכיח בדיוק את זה. קלוד לא קיבל פרומפט יותר טוב - הוא קיבל הקשר, ומההקשר הזה ידע לחשוב כמו קופירייטר. הסקילים עושים את אותו דבר, רק בלי להסתמך על מקרה.
אז מה באמת מפריע בניסוי הזה
הניסוי הזה לא הוכיח שג'מיני כותב גרוע. הוא הוכיח שבלי הקשר, כל מודל ייתן ממוצע - ג'מיני, קלוד, GPT, אין הבדל. מה שהתגובות חטאו לו - "ג'מיני הוא הגרוע ביותר בניסוח" - זה כמו לטעום יין מכוס פלסטיק ולהגיד שהיין גרוע.
אבל הניסוי הזה גם לא הוכיח ש"צריך פרומפט יותר טוב". מה שקרה אצלי היה פשוט יותר ומורכב יותר בו-זמנית: הדבקתי שרשור, אמרתי "תעשה משהו", והמודל ידע לקרוא ביקורת, להסיק מסקנות, ולקבל החלטות קופירייטינג בעצמו. לא כי הוא גאוני - אלא כי הוא קיבל הקשר שאפשר לו לחשוב, במקום רק לייצר.
הבחירה היא לא "AI לעומת אנושי". היא לא גם "פרומפט טוב לעומת רע". הבחירה היא בין לתת למודל הקשר שהוא יכול לחשוב ממנו, לבין לשלוח אותו לכתוב עם ידיים קשורות. ומי שעובד עם AI ולא בונה את ההקשר הזה - מלא פרומפטים, סקילים, דוגמאות, רשימות "מה לא" - מקבל בדיוק מה שהוא מגיע לו. ממוצע.