דימוי: אורי סופר

75 מיליארד דולר הוא הסכום אותו השקיעו קרנות הון סיכון ברחבי העולם בחברות ״בינה מלאכותית״ במהלך שנת 2020. בשנת 2012 המספר הזה עמד רק על 3 מיליארד, לפי ניתוח של הOECD שפורסם בספטמבר האחרון. בינה מלאכותית נמצאת בשיא פריחתה - הטמעה מהירה של מערכות לומדות הפכה למזוהה עם חדשנות והובלה טכנולוגית בכל תעשייה שניתן להעלות על הדעת. בבסיס הפריחה הזאת עומדת נכונות הולכת וגדלה להעניק סמכויות אפיסטמיות לאלגוריתמים ולממשקים, לתת אמון בתהליכי ״קבלת ההחלטות״ של כלים אוטומטיים. מדוע אנחנו ממהרים לבטוח במכונה?

למראית עין, התשובה פשוטה: אפקטיביות. פיתוח מערכות לומדות הולך יד ביד עם העלייה האסטרונומית בהיקפי הנתונים שניתן לאסוף ולנתח. למול היקפי דאטה לא אנושיים, נדרשים ביצועים לא אנושיים, והמערכות הלומדות אכן ״מנצחות״ מומחים בשר ודם בסט משימות הולך וגדל. כשהתועלת כל כך ברורה, קל לבחור לשלב את המכונות בגיבוש תחזיות, המלצות והחלטות.

עם זאת, מאיזור 2015 החלה להחשף מגמה מדאיגה - לצד התועלת, המערכות יכולות להסב גם נזק, לאו דווקא ״באשמתן״. הן לא תמיד מבצעות את מה שהמפתחים ציפו לו, תופעה אליה בריאן כריסטיאן מתייחס כבעיית-היישור, ״the AI alignment problem״. אחד הסיכונים של התופעה הוא שימור ואף הגברה של אי-צדק היסטורי: מערכות לומדות עשויות לרכוש גם את ההטיות האנושיות שמובלעות בנתונים עליהן אומנו, ולתת להטיות ביטוי בתחזיות ובהמלצות. כך, בשנים האחרונות צצו דוגמאות להטיות מגדריות, אתניות וסוציו-אקונומיות במערכות לומדות שפותחו לצרכים מגוונים - מהערכת מועמדים לעבודה, דרך מתן הלוואות ועד להערכת הסתברות לפשיעה חוזרת של אסירים.

בעיקר התברר שהמערכות כלל לא חוזות את העתיד, הן ״חוזות״ את העבר. אם העבר מבולגן, מלוכלך ולא-צודק, המערכת לא מעוצבת לגלות לנו את זה - אלא לשמר פסאדה של אובייקטיביות ונייטרליות. ההמלצות של המערכת מוגשות כמנות קטנות של אמת מדעית, תוך טשטוש של חלקיות הנתונים המקוריים או הסיכוי להטיות, מה שמעודד אותנו לבטוח בה עוד יותר.

ממשקי משתמש נייטרליים - וריאציה על ״טריק האלוהים״

נייטרליות מוסרית נמצאת בלב האתוס המדעי. המדע הטהור הוא לכאורה אובייקטיבי, לא מכוון לטובת או לרעת האנושות, ו״מתלכלך״ בכוונות אנושיות ומוטיבציות פוליטיות רק בהפיכתו ליישומי. אבל אובייקטיביות רק נראית לנו נייטרלית, כשבפועל היא טעונה ביחסי כוח. כבר ב1980, במאמרה ״Situated Knowledges״, טענה דונה הראווי שכאשר ידע מוצג מ״מבט משום-מקום״, יש הסתרה של העמדה הספציפית שממנה הידע הזה לרוב מגיע (היסטורית - עמדה גברית, לבנה, מערבית, הטרוסקסואלית), והיא הופכת לאוניברסלית. בכך כל שאר העמדות הופכות לסובייקטיביות ולא ולידיות, ונוכחותן נשללת. הראווי תיארה את הפעולה הזאת בתור ״טריק-האלוהים״.

נחזור למערכות לומדות. גם אם רבים מהאלגוריתמים מפותחים בקונטקסט מדעי-אקדמי, המערכות מגיעות לעמדת השפעה ממשית על חיים של אנשים כשהן מתגלגלות לתוך הקשר העסקי או הציבורי, ומוגשות למשתמשים - שלאו דווקא קשורים לתהליך הפיתוח - ככלי לקבלת החלטות. בדרך בין האלגוריתמאים לבין המשתמשים, יש מנה גדושה של עיצוב ממשקים ו-ויזואליזציה של דאטה, ו״טריק-האלוהים״ שזור עמוקות בפרקטיקות הנפוצות בתחום.

מערכת שמאומנת על דאטה חלקי (והדאטה תמיד חלקי ביחס למציאות) עם ייצוג חסר לאוכלוסיות מיעוט - לא תסגיר זאת בממשק המשתמש. המעצבים יחתרו להגשה קרירה ומינימליסטית של הנתונים דרך שפה חזותית מדעית וחפה ממניפולציות רגשיות. בפרק השלישי של ספרן ״Data Feminism״, לורן קליין וקתרין ד׳אינציו מתייחסות לעקרון ה”data-ink ratio” שניסח הסטטיסטיקאי אדוורד טופטה, על פיו מעצבים צריכים לשאוף לא לבזבז ״דיו״ על שום דבר חוץ מהדאטה עצמו. צבע, איקונים וקישוטים - כולם חשודים, שכן הם מקושרים לאפשרות של שכנוע רגשי. כך מעצבי ומפתחי המוצרים לא רק מציגים מצג שווא של אובייקטיביות ושלמות של נקודת המבט של המערכת, אלא גם בוחרים צד בדיכוטומיה ״תבונה/רגש״.

ניתן לטעון שגם אסתטיקה מדעית ונייטרלית-לכאורה מעוררת רגש: רגש קטנות הפרט מול הדאטה האינסופי, מול הטכנולוגיה וביצועיה הנשגבים. בניסיון לעגן את הסמכות האפיסטמית של המערכת, ככלי שמאיץ ומשפר את קבלת ההחלטות, מסתתר סיכון אחר מהחלפת עובדים אנושיים בידי מכונות - והוא הסיכון שבהפחתת הבטחון של עובדים אנושיים בכוח השיפוט שלהם עצמם. זאת, במקביל לצניחה באמפתיה שלהם לאנשים אותם הם מעריכים - ויהיו אלה מועמדים לעבודה או לשחרור מוקדם ממאסר. חיים שלמים הופכים לעוד שורה בטבלה, אי הצדק הוא באשמת המחשב.

האם זאת דרך ללא מוצא?

האתגר: עיצוב מוסרי, מעבר לתבונה האינסטרומנטלית

כפי שפיטר פול ורביק כותב ב״Moralizing Technology״ - עיצוב טכנולוגיה הוא פעילות מוסרית. מעצבי הטכנולוגיה (במובן הרחב - מעצבים, מנהלי מוצר, אלגוריתמאים ומפתחים) מעצבים החלטות מוסריות, ומטביעים אותן בעולם הממשי. בקונטקסט של מערכות מבוססות-דאטה, הם יידרשו להתמודד עם שאלות מורכבות: איך נראה מסך של מערכת שלא מנסה להראות כמו האוטוריטה האפיסטמית האולטימטיבית? איך חושפים את החלקיות של המידע למשתמש, בלי לפגוע במהימנות של המוצר? איך חושפים הטיות אפשריות שהמשתמש האנושי צריך לקחת בחשבון, בלי לפגוע בשימושיות?

גם אם למהנדסות ולמעצבים יש להם את הרצון והמוטיבציה לחשוף הטיות ולהגדיל את ההוגנות (fairness) של המערכות, הם לא יוכלו לדעת בזמן-אמת שהם מיישמים את כל עקרונות הנכונים, ולהמשיך הלאה. לכן, עולה תביעה ממעצבי הטכנולוגיה לעסוק בעקביות בצרכים האנושיים שהם מפספסים, בקבוצות המודרות שיושפעו לרעה מהמערכת, בדאטה החסר: להטמיע את אי-הנוחות והטלת הספק בתהליכי העבודה, ובסופו של דבר - בממשקים.

זאת אינה דרישה טריוויאלית בשוק טכנולוגי תחרותי, בו גדילה ורווחים בטווח הקצר מנצחים השלכות חברתיות ומוסריות בטווח הזמן הארוך. היא עשויה להתנגש גם עם האתוס העסקי וגם עם האתוס ההנדסי. עסקית - כל עוד לא חלה רגולציה מיוחדת, וכל עוד לא קרתה חשיפה תקשורתית מביכה, פרמטרים כמו שלמות הדאטה והוגנות הממצאים לאו דווקא מעניינים את ״הלקוח המשלם״. במצב כזה, הפרמטרים הללו יורדים לתחתית סדר העדיפויות של ההנהלות מאחורי המוצרים. הנדסית - השאלה ״איך נכון לבנות את המערכת?״ מכווינה את העשייה של קבוצות פיתוח הרבה יותר מאשר השאלה ״מדוע זאת המערכת שנכון לבנות?״. כלכלת שוק מחד והנדסה מאידך הן הרי נערות-הפוסטר של התבונה האינסטרומנטלית.

האם מעצבי ומעצבות הטכנולוגיה יוכלו להתעלות מעל הכורח האינסטרומנטלי שמושל באקוסיסטם בתוכו הם פועלים? לפתח תודעה ביקורתית עצמית ולהנחיל אותה אל המשתמשים, מתוך עמדתם כסמכויות אתיות בתוך גופי הפיתוח? הלוואי. זהו תנאי הכרחי למזעור ההטיות המובנות במערכות לומדות, כהתחלה. אחר כך יוכלו לעבור מבקרת נזקים לפרוייקט השאפתני באמת: פיתוח מערכות לומדות שיוצרות הזדמנויות חדשות עבור פרטים וקהילות מהשוליים; מכונות שמגדילות חירות.

----------

מקורות

Venture capital investments in artificial intelligence: Analyzing trends in VC in AI companies from 2012 through 2020, OECD Digital Economy Papers, September 2021 (link)

Brian Christian, The Alignment Problem: Machine Learning and Human Values, W. W. Norton & Company, 2020

Catherine D'Ignazio and Lauren F. Klein, Data Feminism, MIT Media Press, 2020

Peter-Paul Verbeek, Moralizing Technology: Understanding and Designing the Morality of Things, Chicago University Press, 2011

Donna Haraway, “Situated Knowledges: The Science Question in Feminism and the Privilege of Partial Perspective”, Feminist Studies Vol. 14, No. 3, Autumn 1988