מישהו בטוויטר עשה ניסוי שלכאורה נשמע מעניין: הוא ביקש מג'מיני לכתוב פסקה שיווקית על ישראל. פעם אחת ביקש שזה ייראה "הכי AI שאפשר", ופעם שנייה "הכי אנושי שאפשר".
הגרסה ה"אנושית" פתחה עם "בסופו של דבר, הקטע של ישראל זה הניגודים". הגרסה ה"רובוטית" פתחה עם "גלו את הקסם: מסע בלתי נשכח אל ארץ ההזדמנויות הבלתי מוגבלות!" ומשם הכל התדרדר - "פסיפס תרבותי עשיר", "חוויה של פעם בחיים". מילים שמרגישות כמו אוויר.
המסקנה שלו הייתה שאנחנו מעדיפים טקסט סתמי על פני משהו שמתאמץ להיות אותנטי. התגובות הלכו בכיוון אחר - "ג'מיני הוא המודל הכי גרוע בניסוח", "לא משנה מה תבקש ממנו הוא נותן את אותו דבר בניסוחים שונים". הביקורת הייתה על המודל.
אני חושב שכולם פספסו את אותו דבר.
שתי הגרסאות גרועות, אבל לא מהסיבה שחושבים
הגרסה ה"רובוטית" גרועה בצורה ברורה - סופרלטיבים, סימני קריאה, "אל תפספסו את ההזדמנות". זה נשמע כמו פלייר שמודבק על עמוד חשמל. אף אחד לא צריך הסבר למה זה לא עובד.
הגרסה ה"אנושית" יותר מעניינת, כי היא מרגישה יותר טובה אבל היא לא באמת טובה. "אנרגיה ממכרת שקשה להסביר במילים" - זו קלישאה שפשוט מחופשת לשפה מדוברת. "מרגישה כמו פלנטה אחרת לגמרי" - כמו שמישהו בתגובות ציין, זה תיאור שאפשר להדביק על כל עיר עתיקה בעולם. "האנשים ישירים (לפעמים מדי)" - זו תצפית גנרית שכל תייר חוזר מצטט.
הגרסה ה"אנושית" לא אנושית. היא פשוט גנרית בטון פחות צעקני.
הבעיה לא במודל. הבעיה במה שהוא ביקש ממנו
"תכתוב פסקה שיווקית על ישראל" זה כמו לבקש מעורך דין "תכתוב לי חוזה". חוזה למה? בין מי למי? מה רוצים להגן עליו? בלי התשובות האלה, כל עורך דין ייתן לך תבנית גנרית.
הפרומפט לא הגדיר שום דבר שקופירייטר מגדיר לפני שהוא מתחיל לכתוב:
- למי זה מכוון? תייר אמריקאי שמתלבט? ישראלי בחו"ל שמתגעגע? בקפאקר אירופאי?
- מה ה-tone? רשמי? קליל? ציני? ישיר?
- מה אני לא רוצה? קלישאות? סופרלטיבים? "פסיפס תרבותי"?
- מה הזווית? אוכל? ניגודים גיאוגרפיים? אנשים? היסטוריה?
בלי תשובות לשאלות האלה, המודל עושה את הדבר ההגיוני - הוא הולך לברירת המחדל. ברירת המחדל היא ממוצע של כל הטקסטים השיווקיים על ישראל שהוא ראה. וממוצע, מטבעו, הוא גנרי.
מה קרה כשהדבקתי את השרשור לקלוד
עכשיו הגיע החלק שבו אני צריך להיות כנה לגבי מה שבאמת קרה.
לא כתבתי לקלוד פרומפט מורכב. לא הגדרתי קהל, לא בחרתי tone, לא נתתי רשימת "אסור". הדבקתי את השרשור עם התגובות ואמרתי "אני חושב שאתה יכול לעשות משהו יותר טוב, תעשה משהו."
קלוד קרא את הביקורת, הבין מה לא עובד, ואז עשה לבד את מה שקופירייטר עושה לפני שהוא מתחיל לכתוב: בחר קהל (תייר אמריקאי שמתלבט), בחר tone (ישיר, לא מנומס מדי), בחר זווית (הניגוד בין הנוחות לחוויה), והרכיב רשימת "מה לא" מתוך הביקורת בתגובות. כל ההחלטות האלה - שלו, לא שלי.
כדי להמחיש, הנה מה שיצא - אותה משימה, פסקה שיווקית על ישראל. ההחלטות שקלוד קיבל לבד:
קהל: תייר אמריקאי שמתלבט אם שווה לבוא. Tone: ישיר, לא מנומס מדי. זווית: הניגוד בין הנוחות לחוויה.
התוצר:
"ישראל היא לא יעד נוח. אין פה קליפות קוקוס על החוף ואף אחד לא יחייך אליך בלי סיבה. אבל יש פה משהו שקשה למצוא במקומות אחרים: בבוקר תאכל חומוס בשוק מחנה יהודה ליד בן אדם שיספר לך את כל סיפור חייו בלי שביקשת, ובערב תשב על גג בתל אביב ותשמע שלוש שפות בשולחן אחד. הים מלוח, הקפה חזק, והאנשים לא עושים small talk - הם קופצים ישר לעניין. זה מעייף, וזה בדיוק מה שעושה את זה שווה."
מה השתנה? לא הפרומפט - הוא היה קצר ופשוט. מה שהשתנה הוא שהמודל קיבל הקשר שאפשר לו לחשוב, ואז חשב.
(אגב, זה עדיין לא נשמע אותנטי או אנושי מספיק. זה יותר מדי זורם, יותר מדי שטוח ולא מספיק שבור. כי מה לעשות, אנשים הם שבורים).
רגע, באמת צריך סקילים?
אז אם קלוד ידע לבד לקבל את ההחלטות הנכונות, למה צריך סקילים?
כי ההקשר הזה לא תמיד קיים. במקרה הזה, קלוד קיבל שרשור עם ביקורת - ומשם הסיק מה לעשות ומה לא. אבל מה קורה כשאין שרשור? כשמישהו כותב "תנסח לי הודעת שגיאה למסך תשלום" בלי שום רקע?
במקרה הזה, סקיל הוא בעצם ההקשר שקופירייטר מחזיק בראש - אבל מקודד. הוא כולל: מי הקהל, מה ה-tone, רשימת דברים שאסור לכתוב, דוגמאות לכתיבה טובה ורעה, ומבנה מצופה. הוא לא נותן למודל את התשובות - הוא מלמד אותו לשאול את השאלות הנכונות גם כשאין שרשור ביקורת שמנחה אותו. אגב, זה לא חייב להיות סקיל, זה יכול לעבוד גם עם פרומפט יותר מהודק. הסיבה שאני הולך לסקיל היא שאצלי המשימות האלה חוזרות על עצמן שוב ושוב והופכות לסקיל.
אז מה באמת מפריע בניסוי הזה
הניסוי הזה לא הוכיח שג'מיני כותב גרוע. הוא הוכיח שבלי הקשר, כל מודל ייתן ממוצע - ג'מיני, קלוד, GPT, אין הבדל.
אבל הניסוי הזה גם לא הוכיח ש"צריך פרומפט יותר טוב". מה שקרה אצלי היה פשוט יותר ומורכב יותר בו-זמנית: הדבקתי שרשור, אמרתי "תעשה משהו", והמודל ידע לקרוא ביקורת, להסיק מסקנות, ולקבל החלטות קופירייטינג בעצמו. לא כי הוא גאון - אלא כי הוא קיבל הקשר שאפשר לו לחשוב, במקום רק לייצר.
הבחירה היא לא "AI לעומת אנושי". וגם לא "פרומפט טוב לעומת רע". הבחירה היא בין לתת למודל הקשר שהוא יכול לחשוב ממנו, לבין לשלוח אותו לכתוב עם ידיים קשורות. ומי שעובד עם AI ולא בונה את ההקשר הזה - פרומפטים מסודרים, סקילים, דוגמאות, רשימות "מה לא" - מקבל בדיוק את מה שמגיע לו. ממוצע.