גם בבינה מלאכותית יש תקלות! ממה להזהר?
הבינה המלאכותית משנה את סדרי העולם כמו שמכבש הדפוס של גוטנברג עשה זאת ואולי גם יותר. המדובר בכך שהעבודה של בעלי מקצוע רבים מהנדסים, רופאים, מקדמי אתרים, כותבי תכנים, אנשי אקדמיה, אנשי תקשורת, מדענים, עורכי דין וגם שופטים) תשתנה ללא הכר, והמעבר הזה לא יהיה קל אם לא נבין אותו ונתכונן אליו.
אז בואו נתחיל בסיפור "משעשע" (אולי קצת פחות לעורך הדין) וגם ממנו נלמד כיצד להזהר.
הניו יורק טיימס פרסם תביעה נזיקית שהוגשה כנגד חברת התעופה "אוויאנקה איירליינס" שאחד מעובדיה פצע נוסע בזמן טיסה. במהלך ניהול התיק הגישו עורכי דינו של התובע מסמך שפירט גם תקדימים משפטיים שחיזקו את דרישתו לפיצויים.
כדי לחסוך זמן ולקבל מידע אמין, השתמש עורך הדין של התובע ב"סבא ג'בטה" (תרגום קלוקל שלי למנוע ChatGPT). ChatGPT עזר לו להבין מה ההלכה המשפטית וגם לאתר לא מעט תקדימים שתמכו בעמדות של התובע. עורך הדין התבסס על תשובות אלו, ערך מסמך משפטי והגיש אותו לבית המשפט.
אלא שצוות ההגנה לא התעצל, בירר והפנה את תשומת לב בית המשפט ל'תקלות משמעותיות' שנפלו באותו מסמך. עד כדי כך משמעותיות, שהשופט קווין קאסטל קבע ש-6 מבין התקדימים שצוטטו לא היו ולא נבראו, ובעברית – שקר (וגם הזמין את עורך הדין של התובע לדיון בנושא הסנקציות שיוטלו עליו עקב התנהלותו זו).
בתצהיר שהגיש עורך הדין סטיבן שוורץ (עוה"ד של התובע) הוא אישר שבהכנת המסמך הסתמך על מנוע הבינה המלאכותית ChatGPT, לקח את התוצרים שנמסרו לו והכניס אותם למסמך מבלי לבדוק אותם בפועל. שוורץ טען בתשובתו שזו הפעם הראשונה בה השתמש במנוע הבינה המלאכותית ולא ידע שהתוצאות עשויות להיות שגויות.
חשוב מכך: עו"ד שוורץ הציג את ההנחיות (Prompts) אותן נתן ל- ChatGPT. מעיון בהן עולה שהוא אפילו נזהר ובירר מולו האם התוצאות נכונות ואמיתיות. אלא שהמנוע השיב בצורה בטוחה וחד משמעית שכך הדבר והכל אמת (וראו התמונה למעלה). המנוע אישר לו שביצע בדיקה חוזרת וכי מדובר בתקדים שניתן לאתר במאגרי המידע המשפטיים המקובלים (דוגמת WESTLAW ולקסיס-נקסיס).
ומכאן אני רוצה להרחיב את השיחה על תקלות במנועי בינה מלאכותית שאנחנו חייבים להיות מודעים להן, במיוחד כאנשי מקצוע. עם זאת שימו לב. אני משפטן ולא טכנולוג. את התקלות אני מכיר מנסיון אישי בלבד, ולא ממחקר ממצה.
המקרה של עו"ד שוורץ מחדד את ההבנה שמנועי הבינה המלאכותית אינם חסינים ולמעשה יש בהם לא מעט תקלות שעלולות לפגוע בנו אם לא נשים לב ונהיה מודעים אליהן. ה-ChatGPT, BARD וגם אחרים הם מנועים שתוכנתו כך שיתקשרו בצורת שיחה עם המשתמש ויספקו לו טקסטים שעונים לשאלותיו. שימו לב. "טקסטים" ולא "טקסטים נכונים". לכן, חשוב שנלמד ונדע איך לעבוד איתם.
מנסיוני בעבודה עם ChatGPT בימים אלו, מדובר בכלי עזר חשוב שיכול לקצר לנו שעות עבודה רבות. מצד שני, הוא מטיל עלינו עבודת הנחיה ופיקוח שלא הכרנו קודם לכן ולכן חשוב להכיר את המגבלות שלו ולהזהר מהן. אני נוהג לכנות אותו כ"מתמחה אבל לא מומחה" ואני מקפיד לבדוק אותו ואת תשובותיו.
גם אם מרבית התשובות שלו הן סבירות או נכונות, בפועל קיים הסיכון הלא מבוטל שיהיו בהן טעויות לא מבוטלות שבעל מקצוע אנושי ומיודע (קרי – אני) לא היה טועה בהן. ראו למשל פוסט בבלוג שלי בנושא הגנת זכות יוצרים שהוא בתחום התמחותי.
ושימו לב. לא רק טעויות. יתכן שגם "הזיות". "הזיות" הן הכינוי המקצועי לעובדות המצוטטות על ידי המנוע בבטחון רב, אלא שהן אינן נכונות… אל תתנו לבטחון שלו לערפל את השיפוט והבדיקה שלכם.
סיפור ידוע הוא המאבק הפנימי בין הבוטים של מיקרוסופט (המנוע של CHATGPT) לבין גוגל (BARD). עיתון הטכנולוגיה המקוון, The Verge, פרסם כתבה ממנה עולה שמנוע הבינה המלאכותית של מיקרוסופט (שפותח על ידי OpenAI שמפעילה גם את סבא ג'בטה) סיפר למשתמש שמנוע הבינה המלאכותית של גוגל (BARD) נסגר, וציטט כתבת חדשות שתומכת בעובדה הזו. כמובן שהעובדה לא היתה נכונה אלא הסצתמכה על תוכן שגוי כזה או אחר. וזה לא מנוע הבינה המלאכותית היחיד ש"הוזה". גם BARD של גוגל אינו נקי מטעויות והזיות (ראו למשל כאן).
המסקנות שלי:
- במקרים רבים האפשר להעזר בבינה המלאכותית כדי לחסוך חלק מאוד מהותי מהעבודה המוטלת עלינו. ועדיין, לפחות בשלב בו אנו נמצאים היום (סוף מאי 2023), מסתבר שיש לא מעט דברים שצריך לשים לב אליהם.
- צריך להבין שהוא מוגבל ביכולותיו ומוגבל גם בגישה שלו למידע עדכני, נכון לזמן אמת.
- צריך להבין שהוא עלול להיות מוטה על בסיס תקלות והטיות במאגר המידע ממנו הוזן (קראו למשל במחקר הזה – https://dl.acm.org/doi/pdf/10.1145/3466132.3466134 ).
- .אל תלכו שולל אחרי הבטחון בו הוא קובע עובדות. בידקו אותו גם כשהוא אומר לכם שהוא בטוח.
- אל תסמכו עליו באופן מלא לביצוע עבודה מקצועית, ובוודאי לא בתחומים בהם הוא פחות מעודכן (כמו משפט ישראלי ו/או עברית). תמיד רצוי שמומחה יעבור על התוצרים ויבדוק אותם ואת סבירותם.
אני מניח שככל שיעבור זמן, הבינה תשתפר ותשתפר. במועד כתיבת מאמר זה (מאי 2023), אנחנו עדיין לא שם.
האמור במאמרים השונים באתר הינו הסבר כללי, אינו מהווה ייעוץ משפטי מחייב ואין להסתמך עליו בכל צורה שהיא.
בכל מקרה ספציפי יש להעזר בבעל מקצוע המתמצא בתחום והאמור באתר אינו יכול לספק פתרון לבעיה ספציפית.