AI שלא ממציא: ההבדל בין עוזר מחובר לנתונים לבין צ׳אט
מודל בלי נתונים ייתן תשובה כללית שנשמעת נכונה. מודל עם נתונים ייתן תשובה ספציפית — אבל רק אם המערכת שמזינה אותו מבחינה בין «נמדד ויצא אפס» לבין «לא הצלחנו למדוד».
הבעיה המפורסמת של מודלי שפה היא שהם ממציאים. הפתרון המקובל הוא לחבר אותם לנתונים אמיתיים. זה נכון, ולא מספיק — כי הוא מעביר את השאלה ממקום אחד לאחר: עכשיו התשובה טובה בדיוק כמו הנתון שהוזן אליה.
המלכודת: אפס שהוא לא אפס
דוגמה אמיתית ונפוצה. מערכת בודקת כמה משימות נכשלו בחנות WooCommerce. השאילתה מחפשת בטבלה של Action Scheduler. הטבלה לא קיימת באתר הזה — התוסף לא מותקן, או שהשם שונה. השאילתה מחזירה ריק, הקוד ממיר ריק לאפס, והמסך אומר «0 משימות שנכשלו».
עכשיו תשאלו את העוזר אם הכול תקין. הוא יקרא את הנתון, יראה אפס, ויגיד שהכול תקין. הוא לא המציא כלום — הוא דיווח נאמנה על מדידה שלא קרתה.
«נמדד ויצא אפס» ו«לא הצלחנו למדוד» הם שני מצבים שונים לחלוטין, ורוב המערכות מציגות את שניהם כאפס. זו הדרך הקלה ביותר להפוך עוזר מחובר-לנתונים לעוזר שמשקר בביטחון.
איך זה צריך להיראות
מימוש הגון מחזיר שלושה מצבים ולא שניים: ערך, אפס, ו«לא נמדד» — ומעביר את ההבחנה הזו עד למסך ועד לעוזר. כשמשהו לא נמדד, התשובה הנכונה היא «לא הצלחנו לבדוק את זה», לא «הכול בסדר».
אותו כלל חל על ציונים מצרפיים. ציון בריאות שמחשב ממוצע של עשרה ממדים, כששלושה מהם לא נמדדו, לא אמור לתת להם אפס — הוא אמור להשאיר אותם מחוץ לממוצע ולומר על כמה ממדים הציון מבוסס.
שלוש בדיקות שתפסו לי עוזרים שמנחשים
- לשאול על נתון שאתם יודעים שהוא לא זמין. תשובה טובה אומרת «אין לי את זה». תשובה רעה ממציאה מספר סביר.
- לשאול «על מה אתה מבסס את זה». עוזר שמחובר לכלים יוכל לומר מה בדק; אחד שמנחש ייתן הסבר כללי.
- לשאול את אותה שאלה פעמיים בניסוח שונה. נתונים אמיתיים נותנים את אותו מספר; ניחוש נודד.
איפה עוזר מחובר עדיין טועה
גם כשהנתונים נכונים, נשארות שתי טעויות אופייניות. הראשונה היא פרשנות: המודל רואה שזמן התגובה עלה ומסיק סיבה שלא נבדקה. השנייה היא ביטחון יתר בניסוח — «הבעיה היא X» במקום «הנתון שמצאתי הוא Y, וזה מסתדר עם X».
שתיהן ניתנות לצמצום בהנחיה טובה, אף אחת מהן לא נעלמת. הכלל המעשי: תשובה שמצטטת מדידה אפשר לבדוק; מסקנה בלי מדידה היא דעה של מכונה.
ומה עם פעולות
ברגע שעוזר יכול גם לבצע, נוסף שיקול אחר לגמרי — לא דיוק אלא הפיכוּת. השאלה הנכונה אינה «האם הוא יטעה» אלא «מה קורה כשהוא יטעה».
- עדכון שמגבה לפני, בודק אחרי ומשחזר את מה שנשבר — טעות בו עולה דקות.
- עדכון בלי גיבוי — טעות בו עולה אתר.
- פעולות שמשנות משהו צריכות להיות מאחורי הרשאה נפרדת ולהירשם ביומן.
- שחזור אוטומטי הוא הפעולה המסוכנת ביותר, וצריך שיהיה כבוי כברירת מחדל.
עוזר שכל פעולותיו הפיכות ומתועדות הוא עוזר שאפשר לתת לו לעבוד. זה שיקול הנדסי, לא שיקול של חוכמת המודל.