מחקר חדש: פערים מפתיעים בין רשתות נוירונים מלאכותיות ובני אדם בהבנת שפה טבעית
כתב העת Nature Machine Intelligence פרסם מחקר של ד״ר טל גולן, מהמחלקה למדעי הקוגניציה והמוח, ושותפיו ד״ר מתיו סיגלמן, פרופ׳ ניקולאוס קריגסקורטה ופרופ׳ כריסטופר בלדסנו, מאוניברסיטת קולומביה בניו יורק. המחקר השווה בין עיבוד לשוני ברשתות נוירונים מלאכותיות המאומנות כמודלי שפה (למשל, GPT-2 וBERT) ובין עיבוד לשוני אנושי.
כשבוחנים עיבוד של משפטים בשפה האנגלית בקרב בני אדם ובקרב רשתות נוירונים מלאכותיות, נראה שיש דמיון מפתיע בין בני האדם ובין הרשתות. נתון זה הטריד את החוקרים, שכן ישנם הבדלים משמעותיים בין הרשתות השונות וכן בין הצורה בה הרשתות הללו בנויות ופועלות, לבין המוח האנושי. ״אם נבין טוב יותר את הדמיון וההבדלים בין אינטליגנציה מלאכותית ואינטליגנציה טבעית, נוכל להבין טוב יותר כיצד אנחנו עצמנו פועלים״, הסביר ד"ר גולן.
אחד הכלים המרכזיים בחקר השפה הוא בחינת המשפטים נתפסים על ידי דוברי השפה כ-״קבילים״. למשל ״דנה אכלה כריך״ הוא משפט קביל בעברית, אך ״דנה כריך אכל״ או ״כריך אכל דנה״, אינם משפטים קבילים. בשנים האחרונות, מדענים החלו לבחון רשתות נוירונים מלאכותיות באופן דומה, ומצאו להפתעתם דמיון רב בין השיפוטים האנושיים ובין ההסתברות שרשתות נוירונים מלאכותיות מייחסות למשפטים שונים.
במחקר הנוכחי, החוקרים רצו לבחון את גבולות הדמיון בין בני האדם והרשתות. לצורך כך, הם פיתחו תוכנה שבונה זוגות של משפטים ״מעוררי מחלוקת״ בין הרשתות. בכל זוג כזה, יש משפט שרשת אחת מזהה כקביל, ואילו הרשת השנייה מזהה כבלתי קביל. המשפט השני נשפט על ידי הרשתות באופן הפוך- הרשת הראשונה מזהה אותו כבלתי קביל והרשת השנייה כקביל.
למשל, המשפט ״This is the week you have been dying״ נמצא כבלתי קביל לפי רשת מסוג GPT-2, וכקביל לחלוטין לפי רשת מסוג BERT. לעומת זאת המשפט ״That is the narrative we have been sold״ נמצא כקביל לפי GPT-2 וכבלתי קביל לפי BERT. אחרי שהחוקרים יצרו מאות זוגות של משפטים כאלה, המשפטים הוצגו ל-100 נבדקים אנושיים דוברי אנגלית, שהתבקשו לשפוט עבור כל אחד מהזוגות איזה משפט קביל יותר. במבחן שכזה, אחת הרשתות חייבת להיכשל, כיוון שהן אינן מסכימות ביניהן.
החוקרים מצאו שתחת המבחן המחמיר הזה, כל הרשתות מפגינות פערים משמעותיים בשיפוטים שלהן לעומת בני האדם. הן קיבלו משפטים לא דקדוקיים ולא הגיוניים כקבילים, ובאותו הזמן דחו משפטים דקדוקיים והגיוניים כלא קבילים. הרשת שנמצאה כדומה ביותר לבני האדם הייתה GPT-2, שלומדת על ידי ניסיון לחזות את המילה הבאה בטקסט, אותו עקרון המיושם בשלב האימון הראשון והעיקרי של צ׳ט-בוטים כגון ChatGPT.
״המחקר חושף פערים בין האופן שבו רשתות נוירונים מלאכותיות ובני אדם מעבדים שפה כתובה", מסביר ד"ר גולן. "ככל שתחום הבינה המלאכותית מתקדם, קל יותר לרשתות האלה לשטות בנו ולהתחזות כדומות מאד בהתנהגותן לבני אדם. אבל כאשר אנחנו מפעילים את הכלים המתאימים, אנחנו יכולים לראות שישנה עוד דרך עד שנגיע לאלגוריתמים שמחקים בצורה מאד מדויקת התנהגות אנושית. ייתכן ונוכל לבנות רשתות נוירונים שמדמות באופן מדויק שיפוטים לשוניים של בני אדם רק כאשר הרשתות יממשו כישורים קוגניטיביים נוספים, כגון חישת הסביבה ובקרת תנועה, ולא רק יקראו מיליוני ספרים" סיכם ד"ר גולן.
לקריאת המחקר:
Golan, T., Siegelman, M., Kriegeskorte, N., & Baldassano, C. Testing the limits of natural language models for predicting human language judgements. Nat Mach Intell (2023). DOI: 10.1038/s42256-023-00718-1 rdcu.be/dl91g
