בעקבות המתקפה של ארגונים פלסטיניים חמושים בהובלת חמאס על דרום ישראל ב-7 באוקטובר 2023 התקבלו דיווחים נרחבים על השימוש של הצבא הישראלי בכלים דיגיטליים במהלך פעולותיו ברצועת עזה. על פי הדיווחים, הצבא הישראלי מסתייע בטכנולוגיות מעקב, בינה מלאכותית (AI) וכלים דיגיטליים אחרים כדי לסייע לקבוע את מי או את מה לתקוף ברצועת עזה – ומתי.
ארגון Human Rights Watch מצא כי ארבעה כלים דיגיטליים שהצבא הישראלי משתמש בהם ברצועת עזה מסתמכים על נתונים פגומים ועל הערכות לא מדויקות כבסיס להחלטות על פעולות צבאיות. בשימוש של הצבא הישראלי בכלים דיגיטליים אלה טמונה סכנה שכוחות ישראליים מפֵרים את המשפט ההומניטרי הבינלאומי, ובפרט את דיני המלחמה, בכל הנוגע להבחנה בין מטרות צבאיות לבין אזרחים ולחובה לנקוט את כל אמצעי הזהירות האפשריים לפני תקיפה, כדי למזער את הפגיעה באזרחים.
מתחקיר שערך ארגון Human Rights Watchעולה שכלים אלה מסתמכים ככל הנראה על מעקב מתמשך ושיטתי של ישראל אחר כל התושבים הפלסטינים ברצועת עזה, בין היתר באמצעות נתונים שנאספו לפני מעשי האיבה הנוכחיים, באופן שאינו עולה בקנה אחד עם משפט זכויות האדם הבינלאומי. הכלים משתמשים בנתונים אישיים של פלסטינים כדי לספק לצבא מידע לביסוס פעולותיו, כגון תחזיות בנוגע לאיומים וזיהוי מטרות. כמה מהכלים מסתמכים על למידת מכונה, שהיא שימוש במערכות ממוחשבות היכולות להסיק מסקנות מנתונים ולזהות דפוסים, ללא הוראות מפורשות.
במסגרת התחקיר לא התאפשר לנו לתעד מתי והיכן השתמשו בכלים דיגיטליים אלה ומה היקף השימוש בהם, בשילוב עם שיטות אחרות לאיסוף מידע ומודיעין. עם זאת, מהתחקיר עולה כי במקום לסייע באיתור מדויק יותר של מטרות ולמזער אובדן חיים ורכוש אזרחיים, השימוש של הצבא הישראלי בכלים אלה עלול להחמיר את הסכנה הנשקפת לאזרחים והוא מעורר חששות מוסריים, משפטיים והומניטריים כבדים.
מסמך שאלות ותשובות זה מספק ניתוח טכני ומשפטי של ארבעה כלים דיגיטליים; מפרט שאלות, סיכונים ואתגרים חדשים הכרוכים בשימוש בכלים אלה; ובוחן כל אחד מהם לאור הוראות רלוונטיות של המשפט הבינלאומי.
מסמך זה מבוסס על הצהרות פומביות של גורמים ישראליים, על דיווחים בתקשורת, על ראיונות עם מומחים ועיתונאים ועל מידע שהצבא הישראלי פרסם ואשר לא דוּוח בעבר, לרבות נתונים אישיים של תושבי רצועת עזה שפורסמו באינטרנט, ככל הנראה בשוגג.
- מהם כמה מהכלים הדיגיטליים המשמשים את הצבא הישראלי ברצועת עזה?
ארגון Human Rights Watch בחן ארבעה כלים המשמשים את הצבא הישראלי במתקפה המתמשכת שלו ברצועת עזה ואשר קשורים לתכנון צבאי ולבחירת מטרות צבאיות. אחד הכלים מבוסס על מעקב אחר טלפונים ניידים ומשמש לניטור הפינוי של פלסטינים מאזורים בצפון רצועת עזה. כלי אחר, שהצבא מכנה "הבשורה", מייצר רשימות של בניינים או מבנים אחרים המוגדרים כמטרות לתקיפה. כלי נוסף, שהצבא מכנה "לבנדר", מדרג אנשים ברצועה על פי החשדות נגדם בדבר זיקתם לארגונים פלסטיניים חמושים כדי לתייג אותם כמטרות צבאיות. הכלי המכונה "איפה אבא?" נועד לקבוע מתי אדם שהוגדר כמטרה נמצא במיקום מסוים כדי שניתן יהיה לתקוף אותו שם.
- מהו הכלי המשמש את הצבא הישראלי לניטור הפינוי וכיצד הוא פועל?
הצבא הישראלי החל להפציץ את רצועת עזה ב-7 באוקטובר 2023, זמן קצר לאחר שארגונים פלסטיניים חמושים פתחו במתקפה על דרום ישראל. ב-13 באוקטובר הוא הוציא צווי פינוי לכל תושבי צפון הרצועה, אזור שבו גרו יותר ממיליון בני אדם, והורה להם להתפנות בתוך 24 שעות לשטח שמדרום לוואדי עזה, אף על פי שלתושבים לא היו שום מקומות בטוחים ללכת אליהם, שום דרך בטוחה לנוע בה ושום מחסה הולם.
הכלי המשמש את הצבא הישראלי לניטור הפינוי מסתמך על נתוני מיקום של טלפונים סלולריים כדי לעקוב אחר תנועת אנשים ברצועת עזה. לפי דיווח שפורסם בניו יורק טיימס ב-16 באוקטובר, שבוע לפני שהצבא הישראלי החל במבצע הקרקעי הנרחב בצפון הרצועה הוא השתמש במערכת זו לניטור הפינוי של פלסטינים מבתיהם שמצפון לוואדי עזה. הוושינגטון פוסט והגרדיאן פרסמו שניהם מאוחר יותר פרטים נוספים על מערכת זו.
עיתונאים תיארו משרד שהוצג בפניהם במפקדת פיקוד דרום בבאר שבע ובו מסכים גדולים ועליהם מפה של רצועת עזה מחולקת ל-620 גושים, שכל אחד מהם נצבע בצבע אחר בהתאם להיקף הפינוי של התושבים. המפה כללה גם תגיות לבתי חולים, למסגדים, למקלטים ולבניינים אחרים. על פי דיווחים, באותה עת עמד מספר מכשירי הטלפון הניידים שהצבא עקב אחריהם על למעלה ממיליון; לפני אוקטובר 2023 דיווח משרד התקשורת של רצועת עזה על מספר כולל של 1,041,198 מנויים פעילים של טלפונים ניידים ברצועה.
על פי דיווחים אלה, המערכת משתמשת באיכון באמצעות טריאנגולציה של אנטנות סלולריות ובנתוני מעקב אחרים כדי להציג את תנועתם של תושבי הרצועה בזמן אמת. קציני צבא ישראלים אמרו לעיתונאים שמידע זה משמש כבסיס להחלטה אילו פעולות הצבא יכול לנקוט במקומות מסוימים ובאילו סוגי הנשק הוא ישתמש.
- האם הנתונים מאיכון באמצעות טריאנגולציה של אנטנות סלולריות מדויקים דיים כדי לבסס עליהם החלטות צבאיות?
אין זה סביר שנתונים המתקבלים מאיכון באמצעות טריאנגולציה של אנטנות סלולריות, שבה מעריכים בקירוב את מיקומו של טלפון נייד על סמך האנטנות הסלולריות שאליהן הוא יכול להתחבר, מספקים מידע מדויק באשר למיקום הספציפי של מכשירים סלולריים, ולפיו – באשר למיקום הספציפי של האנשים המחזיקים בהם. חוסר הדיוק מחריף גם בשל המחסור בחשמל לטעינת טלפונים, מאז שישראל ניתקה את כל קווי החשמל לרצועת עזה ומאז שתחנת הכוח היחידה של הרצועה חדלה לפעול בשל ההגבלות על יבוא דלק במסגרת המצור ובשל הנזק הנרחב לתשתיות של שירותי הטלפון ברצועה.
כלים המסתמכים על נתוני איכון באמצעות טריאנגולציה של אנטנות סלולריות לחישוב נוכחות של אזרחים, כדרך לביסוס החלטות הנוגעות לפעולות צבאיות, מגבירים את הסיכון לפגיעה באזרחים במהלך פעולות אלה. כלים אלה עלולים להוביל מפקדי צבא למסקנה שגויה כי באזור מסוים אין אזרחים, או שיש בו רק אזרחים מעטים, ולכן ניתן לתקוף אותו.
- מה עוד ידוע על הנתונים שעליהם מתבססת המערכת לניטור הפינוי?
בחודש מאי 2024 גילה ארגון Human Rights Watch נתונים שהצבא הישראלי פרסם בפומבי באינטרנט, ככל הנראה בשוגג, ואשר כללו מה שנראה כנתונים מבצעיים הקשורים למערכות המשמשות לניטור הפינוי ותנועת האנשים ברחבי רצועת עזה ולחיזוי הנזק שסביר להניח שייגרם לאזרחים מתקיפת אזורים מסוימים.
נתונים אלה נכללו בקוד המקור של אתר האינטרנט של הצבא הישראלי המספק מידע בנוגע לפינוי. הם כללו נתונים על האוכלוסייה ברצועת עזה, העולים בקנה אחד עם נתוני מפקד האוכלוסין שנערך ברצועה לפני עשור, לרבות נתוני אוכלוסייה מפולחים, וכן מידע על תנועות של אוכלוסייה אזרחית, על נוכחות של הצבא הישראלי ברצועת עזה ועל מספר מצטבר של התקפות, עבור כל אחד מ-620 הגושים שאליהם חולקה הרצועה. הנתונים כללו גם מידע אישי: שמות המשפחה של המשפחות המורחבות הגדולות ביותר בכל גוש.
ארגון Human Rights Watch ניתח ומיפה את הנתונים הקשורים לנוכחות הצבאית של ישראל ומצא שהם תואמים את מצב הפלישה הישראלית לרצועת עזה באמצע חודש נובמבר 2023, כאשר כוחות ישראליים שלטו ברוב אזורי צפון הרצועה אך עדיין לא נכנסו לח'אן יונס שבדרומה. ארגון Human Rights Watch לא הצליח לאמת באופן חד משמעי את מקור המידע שפורסם באינטרנט ואת השימוש בו, אולם הוא דמה לנתונים שתוארו בדיווחים בתקשורת בנוגע למערכת לניטור הפינוי ולתכנון פעולות צבאיות. ייתכן שהמערכת לניטור הפינוי מסתמכת גם על מקורות מידע אחרים. ארגון Human Rights Watch יִידע את "הרשות להגנת הפרטיות", הרשות להגנה על מידע בישראל, על פרסומו של מסמך זה.
מערכת "לבנדר" משתמשת בלמידת מכונה כדי להקצות לתושבי הרצועה ציון מספרי הנוגע למידת הסבירות של החשד שתושב מסוים הוא חבר בארגון חמוש. על פי דיווחים, קציני צבא ישראלים אחראים לקביעת דרגת הסף שמעבר לה ניתן לסמן אדם כמטרה מותרת לתקיפה.
הצבא הכיר בקווים כלליים מאוד בקיומו של כלי כמו "לבנדר" וכינה אותו "בסיס נתונים שנועד להצלבת מקורות מודיעיניים".
מצגת וספר מאת שני קצינים ישראלים מספקים פרטים טכניים חשובים. במצגת מחודש פברואר 2023 תיאר מפקד מרכז הבינה המלאכותית ומדעי הנתונים ביחידה 8200 של המודיעין, היחידה לאיסוף מודיעין אותות, כלי דיגיטלי המשתמש בלמידת מכונה "לאיתור מחבלים חדשים". המערכת, שלדברי הקצין הוכנסה לראשונה לשימוש ברצועת עזה בשנת 2021, אוספת נתוני מעקב כדי לדרג אנשים לפי מידת הסבירות של החשד שהם קשורים לארגון חמוש.
הכלי המתואר במצגת, שארגון Human Rights Watch סבור כי הוא "לבנדר", או כלי אחר המסתמך על אותה טכנולוגיית-בסיס, כולל סוג של למידת מכונה מונחית-למחצה הנקראת "positive unlabeled learning" (למידה באמצעות דוגמאות חיוביות לא מתויגות), שבה מאמנים אלגוריתם באמצעות מערך נתונים המכיל הן נתונים מתויגים (חיוביים) והן נתונים לא מתויגים (שליליים). סוג זה של למידת מכונה משתמש במאפיינים של הנתונים המתויגים כדי לנסות לזהות דפוסים במערך הנתונים הרחב יותר. במקרה שלפנינו, האלגוריתם מחפש מאפיינים בנתוני המעקב ובנתונים אחרים על אנשים שהצבא הישראלי חושד בהם בהשתייכות לארגונים חמושים, ולאחר מכן משתמש במאפיינים אלה כדי לזהות עוד חשודים מתוך האוכלוסייה הכללית. כאשר טכניקה זו מיושמת על אוכלוסייה גדולה, נקודות נתונים רבות אינן מאומתות, ולפיכך התהליך מסתמך במידה רבה על ניחושים לא מבוססים.
- באילו עילות מערכת "לבנדר" מגדירה אדם כחשוד?
ללא גישה ל"לבנדר", אי אפשר לדעת בוודאות על אילו נקודות נתונים מסתמך כלי זה כדי להחמיר את דרגת החשד של אדם זה או אחר. באופן כללי, למידת מכונה מונחית-למחצה מסתמכת על אלגוריתם כדי לעבד כמויות גדולות של נתונים ולאחר מכן לקבוע אילו סוגי נתונים יעילים לביצוע משימה נתונה. ספר משנת 2021 מאת יוסי שריאל, ראש יחידה 8200, על שימושים צבאיים בבינה מלאכותית, עשוי לספק תובנות מסוימות. שריאל מתאר "מכונה להפללת מטרות" שמאפייניה דומים מאוד לאלה של "לבנדר" והיא יכולה לשמש לזיהוי מטרות פוטנציאליות באמצעות איסוף וניתוח מידע על קשרים חברתיים של אנשים, במידה רבה בדומה לפלטפורמות של מדיה חברתית.
המאפיינים ששריאל מתאר, ואשר יכולים להעלות את דרגת החשד המיוחסת לאדם, כוללים את הַקשרים החברתיים או את הזיקות החברתיות שלו, חברוּת בקבוצת צ'אט עם מישהו שהצבא הישראלי כבר סבור כי הוא קשור לארגון חמוש, או אפילו רק החלפה תכופה של מכשירי טלפון וכתובות מגורים.
- מדוע הדירוגים של "לבנדר" בעייתיים ומסוכנים?
הדירוגים של "לבנדר" לוקים בפגמים קשים העלולים להעמיד אזרחים בסיכון חמור במהלך עימות מזוין. למידה באמצעות דוגמאות חיוביות לא מתויגות (ראו שאלה 5) אינה כלי הולם לביסוס החלטות בנוגע לזיהוי מטרות צבאיות חוקיות. הנחות המובילות לייחוס חשד באמצעות כלי אינן מושתתות על המשפט ההומניטרי הבינלאומי אלא על קריטריונים שפותחו באמצעות אלגוריתם; הם מבוססים על נתונים שקרוב לוודאי שיהיו מוּטים וחסרים, ואין שום אפשרות טכנית לבחון אותם.
הסתמכות זו על הנחות, שסביר להניח שהן פגומות, כבסיס להחלטות צבאיות, עלולה להוביל להתקפות המכוּונות בשוגג אל אזרחים. "לבנדר" אוספת נתונים על התנהגותם ועל קשריהם של מספר רב מאוד של אנשים, כדי לייחס להם דרגת חשד זו או אחרת. בעזרת כלֵי שיטור מנבא נקבעות הנחות בנוגע לדרגת האשמה של כלל האוכלוסייה – הנחות המבוססות על עיבוד נתונים המתקבלים ממעקב אחר אנשים שאינם חשודים בביצוע פשע, תוך הפרת זכותם לחזקת החפות. בהקשר של תקופת מלחמה, משמעות הדבר היא קביעת הנחות בדבר מעמדם כמטרות צבאיות שמותר לתקוף באופן חוקי, בעוד על פי דיני המלחמה הם בחזקת אזרחים. יתר על כן, השימוש בלמידת מכונה מונחית-למחצה עלול להוביל לתוצאות חיוביות שגויות בשל זיהוי אנשים כחשודים בהתבסס על מאפיינים או על התנהגויות שבשום אופן אינן בלתי חוקיות, מאיימות או בעייתיות, והדבר משפיע על התוצרים שהמערכת מפיקה.
חששות כבדים עולים גם מהשימוש של הרשויות בהגדרות רחבות לטרור ולארגוני טרור ומההסתמכות על הוראות רחבות בחוק הצבאי הישראלי בשטח הפלסטיני הכבוש לשם איסור על קיומן של התאגדויות בטענה שהן "ארגונים עוינים". בגדה המערבית, למשל, הצבא הוציא אל מחוץ לחוק ארגוני זכויות אדם פלסטיניים בטענה שהם "ארגוני טרור" ועצר פלסטינים אך ורק בגין חברותם בארגונים כאלה או הזדהותם עימם, או עם גורמים המזוהים עימם.
אם הגדרות רחבות דומות משמשות כדי לאמן כלים של למידת מכונה כמו "לבנדר", שנועדו לשמש בסיס לבחירת מטרות, התוצרים צפויים ללקות בהטיה דומה ועלולים להחמיר את הסכנה שאזרחים יזוהו כמטרה להתקפה.
- מהי מערכת "הבשורה" וכיצד היא פועלת?
מערכת "הבשורה" משתמשת באלגוריתם כדי לעבד נתוני מעקב ולייצר רשימות של מטרות. על פי דיווחים בתקשורת, "הבשורה" מזהה ארבע קטגוריות של מטרות שאינן אנושיות: מטרות צבאיות, לרבות מטרות תת-קרקעיות, כגון מנהרות; בתי משפחות של אנשים החשודים כלוחמים; ו"מטרות עוצם", מבנים אזרחיים המותקפים במטרה המוצהרת, על פי אנליסטים מודיעיניים בהווה ובעבר שצוטטו בדיווחים בתקשורת, כדי "לייצר הלם" ש"יגרום לאזרחים להפעיל לחץ על חמאס". מאמרים באתר הכוחות הישראליים מהשנים 2020 ו-2023 מתארים כלי המבוסס על אלגוריתם המזכיר במידה רבה את מערכת "הבשורה", ואף מציינים אותו בשמו.
יש פחות מידע זמין על הדרך שבה "הבשורה" פועלת מאשר על הדרך שבה "לבנדר" פועלת, אבל ייתכן שגם "הבשורה" משתמשת בלמידה חיובית לא מתויגת כדי להגיע לקביעוֹתיה. למעשה, "הבשורה" היא כלי המשמש כדי לקבוע אילו מבנים נחשבים לאובייקטים אזרחיים ואילו נחשבים למטרות צבאיות – תהליך הבחנה שחובה על תוקפים לבצע, על פי דיני המלחמה.
- מהי מערכת "איפה אבא?" וכיצד היא פועלת?
על פי דיווחים בתקשורת, המערכת "איפה אבא?" היא כלי המשתמש במעקב אחר מיקומם של טלפונים ניידים כדי להודיע למפעילים של כלי תקיפה בצבא הישראלי מתי אנשים שסומנו כמטרות צבאיות נכנסים למקום מסוים – על פי דיווחים, לא אחת לבית משפחה – שבו אפשר לתקוף אותם. ארגון Human Rights Watch הצליח לאשר שהצבא הישראלי משתמש בכלי הפועל כך, אך לא עלה בידו לוודא פרטים טכניים ספציפיים אחרים.
- האם נתוני מיקום של טלפונים ניידים מדויקים דיים כדי להסתמך עליהם בלבד לתקיפות ממוקדות?
נתוני מיקום של טלפונים ניידים אינם מדויקים דיים כדי לקבוע שאדם מסוים נמצא בְּמקום בזמן מסוים, והם עלולים להוביל לטעויות קטלניות אם משתמשים בהם כדי לבסס עליהם תקיפות צבאיות. טלפון נייד אינו תחליף מהימן למטרה אנושית משום שאנשים, בייחוד באזורי עימות, עשויים להחליף מספרי טלפון או מכשירי טלפון בשעת חירום, במקומות שבהם הגישה לרשתות ולמכשירים עשויה להשתנות לעיתים קרובות, ובפתאומיות.
זאת ועוד, השיטות הנפוצות ביותר למעקב אחר טלפונים סלולריים הן באמצעות טריאנגולציה של מיקומים של אנטנות סלולריות, הקרויה מידע על מיקום של אתר סלולרי, או דרך השגת גישה לנתוני מערכת המיקום הגלובלית (GPS) של הטלפון הנייד. אף אחת ממערכות אלה לבדה אינה מדויקת דיה כדי לקבוע את מיקומו של טלפון נייד לשם תקיפות מדויקות, והשימוש בהן כדי לקבל החלטות בדבר קביעת מטרות מעלה חשש שלא ננקטים כל אמצעי הזהירות האפשריים כדי להימנע מפגיעה באזרחים, כפי שדורשים דיני המלחמה.
- מהן המגבלות של מערכות המסתמכות על ביג דאטה, על למידת מכונה ועל בינה מלאכותית?
מערכות אלה מוגבלות בשל כמה הנחות ובשל הנטייה לשכפל הטיות חברתיות.
"אפקט הקופסה השחורה": למידת מכונה, בינה מלאכותית ומערכות אלגוריתמיות אחרות מתוכננות כך שלא יאפשרו בדיקה קפדנית ולא יציגו את פעולתן או את תהליך קבלת ההחלטות שלהן בנוגע לדרך שבה מתקבלים התוצרים שהן מפיקות, וחסר להן תיעוד היכול לסייע בייחוס אחריות לגורמים הרלוונטיים. חשוב שכלים דיגיטליים יאפשרו למשתמשים לבדוק את עבודת המערכות, לראות כיצד התקבלו התוצרים ובאילו נתונים הן השתמשו. כל אלה חשובים במיוחד במקרה של כלי נשק או דרכי ייצור מטרות המשתמשים בבינה מלאכותית.
"הטיית אוטומציה": הטיית אוטומציה נגרמת כאשר אנשים נותנים אמון רב מדי בתוצרים של כלים דיגיטליים, במידת מה בשל המחשבה שכלים אלה יותר נטולי פניות מבני אדם. מחקרים מצאו כי השימוש בכלים דיגיטליים, גם ביישומים צבאיים, עשוי להוביל לבדיקה פחותה של תוצריהם ואף לאמון ולהסתמכות מתמשכת על תוצרים אוטומטיים לנוכח מידע סותר.
הנחות בעייתיות: כל המערכות הדיגיטליות מסתמכות על הנחות ליבה כדי לפעול – אלה הן העובדות שעליהן מתבססים החישובים. (במקרה של כלי להמלצה על סדרת טלוויזיה, הדבר דומה לקביעה שאם מישהו צופה לעיתים קרובות בסדרות מדע בדיוני, מן הראוי שהכלי ימליץ לו על סדרות נוספות של מדע בדיוני.) אמנם ההוראות והפרמטרים של למידת מכונה ושל מערכות המבוססות על בינה מלאכותית נקבעים בידי מפתחי תוכנה, אך הנחות אלה אינן נכתבות במפורש בידי מתכנתים אלא מפותחות באמצעות אלגוריתמים, על סמך נתוני אימון ראשוניים. כלים המבוססים על טכנולוגיה זו מעבדים כמויות גדולות של נתונים כשהם מכוּונים לתוצר או למטרה מסוימים, ולאחר מכן הם יכולים להגיע למסקנות משל עצמם. (ואף על פי כן, הבעלים, המפתחים והמשתמשים בטכנולוגיה זו הם הנושאים בסופו של דבר באחריות לדרך שבה משתמשים במערכות מבוססות-אלגוריתמים.) שיטה זו עשויה להתאים לכמה יישומים הכרוכים בסיכון נמוך, כגון המלצות צפייה בטלוויזיה, אבל היא מעלה חששות כבדים כשהיא משמשת בהקשרים צבאיים, שם ההשלכות הן עניין של חיים ומוות.
שכפול ההטיות של החברה: בנוסף על כך, אמנם התוצר של מערכות אלגוריתמיות אולי נראה נייטרלי, אולם מכונות עשויות לשקף את ההטיות של מתכנתיהן ושל החברה. הסיכון גבוה במיוחד כאשר מדובר בפיתוח ובשימוש בכלים דיגיטליים המבססים החלטות אם ניתן לראות אנשים או אובייקטים כמטרות צבאיות ולתקוף אותם במכוּון. בהקשר של הצבא הישראלי ושל מעשי האיבה בשטחים הפלסטיניים הכבושים, לדוגמה, קבע בית המשפט הבינלאומי לצדק (ICJ) ביולי שישראל נוקטת אפליה ואפרטהייד נגד פלסטינים. כלים דיגיטליים שפותחו בידי הצבא הישראלי ומשמשים אותו כדי להגדיר אנשים כמטרות בשטחים הכבושים עשויים לשקף אפליות והטיות מערכתיות מעין אלה.
"זבל נכנס, זבל יוצא": נתונים פגומים מובילים לתוצאות פגומות. אם מערכת דיגיטלית בנויה על נתונים לא מדויקים, מיושנים ולא מלאים, או על נתונים שאינם מייצגים במלואו את ההקשר שבו המערכת אמורה לפעול, התוצרים שלה יהיו פגומים גם הם.
- אילו סיכונים ואתגרים חדשים מציבים כלים דיגיטליים עתירי נתונים בהקשרים צבאיים?
כלים דיגיטליים המשמשים בהקשר צבאי יוצרים סיכונים ואתגרים חדשים בשל הסתמכותם על מעקב חודרני ועל דה-הומניזציה דיגיטלית, וכן בשל האפשרות של הסתמכות יתר של צבא על כלים דיגיטליים ובשל האפשרות של הגברת קצב הלחימה בגלל כלים אלה.
כלים המשתמשים בלמידת מכונה ובבינה מלאכותית מסתמכים על כמויות עצומות של נתונים כדי להפיק תוצרים (תחזיות בנוגע לאיומים, זיהוי מטרות, וכדומה). פלסטינים ברצועת עזה ובגדה המערבית חיים תחת מעקב ממושך ונרחב מצד רשויות ישראליות, וחלק מנתונים אלה משמשים כעת כדי לבסס תכנון צבאי ופעולות צבאיות ברצועה.
לפני מעשי האיבה הנוכחיים החזיקה ישראל, ככוח כובש, בשליטה מרכזית על היבטים של החיים ברצועת עזה, והדבר הטיל עליה חובה להבטיח את רווחת האוכלוסייה, הן על פי משפט זכויות האדם הבינלאומי והן על פי המשפט ההומניטרי הבינלאומי. סעיף 17 של האמנה הבינלאומית בדבר זכויות אזרחיות ומדיניות (ICCPR), שישראל שותפה לה, מאשר את הזכות לפרטיות ואוסר להתערב בה בשרירותיות או בניגוד לחוק.
ועדת האו"ם לזכויות האדם, הגוף המומחה הבינלאומי המוסמך לפרש את האמנה הבינלאומית בדבר זכויות אזרחיות ומדיניות, גורסת כי "כל התערבות בפרטיות חייבת להיות מידתית בהשוואה לתוצאה המבוקשת והכרחית בנסיבות של כל מקרה נתון". חובה על ממשלות לכבד את זכויותיהם של אנשים לפרטיות, ללא קשר ללאומיותם או למיקומם, בהינתן שטכנולוגיה דיגיטלית מאפשרת מעקב מרחיק לכת מעבר לגבולות המדינות.
ממשלת ישראל השיגה ואחסנה נתונים מרצועת עזה בדרכים שלכאורה מפֵרות את הזכות לפרטיות וזכויות אדם אחרות שמוקנית להן הגנה בינלאומית. הדבר בעייתי במיוחד משום שהמעקב של ישראל אחר פלסטינים ברצועת עזה קשור הדוקות למערכת הפרת זכויות המגיעה לכדי מדיניות של אפרטהייד.
במהלך עימות מזוין יש לפרש את משפט זכויות האדם על רקע המשפט ההומניטרי הבינלאומי. כך, מה שנחשב להתערבות "שרירותית או בלתי חוקית" בפרטיות, האסורה על פי סעיף 17 של האמנה הבינלאומית בדבר זכויות אזרחיות ומדיניות, עשוי להשתנות כשמביאים בחשבון את דיני המלחמה, שהם מערכת החוקים הקובעת("lex specialis") לאחר פרוץ מעשי איבה.
דה-הומניזציה דיגיטלית: מערכות אוטומטיות מצמצמות בני אדם לסדרה של נקודות נתונים המעובדת באמצעות מערכות שטבועות בהן הטיות ומגבלות המבוססות על התכנון שלהן. כאשר בני אדם מצומצמים לנקודות נתונים, נמצאים תחת מעקב, ממוינים ומחולקים לקטגוריות, ייתכן שקל יותר להחליט מי ראוי להיות יעד לפגיעה, גם פגיעה קטלנית, ולהוציא החלטות אלה לפועל. מסלול זה, ממעקב אוטומטי לפגיעה, נקרא "דה-הומניזציה דיגיטלית".
הסתמכות יתר על כלים דיגיטליים: בסביבה הפועלת בקצב מהיר ותחת לחץ, או שיש בה לחץ לייצר מספר גדול של מטרות בפרק זמן קצר, כגון במהלך עימות מזוין, יש נטייה להסתמכות יתר על מערכות דיגיטליות היכולות להפיק תוצרים בקצב מהיר. הוועד הבינלאומי של הצלב האדום (ICRC) זיהה זאת כסיכון של מערכות המסתמכות על ביג דאטה, על למידת מכונה ועל בינה מלאכותית והמשמשות לביסוס אופציות צבאיות, וציין כי הדבר עשוי להביא לקבלת החלטות המבוססות על טעויות, להפרות של דיני המלחמה ולהגברת ההיתכנות לפגיעה באזרחים.
הגברת קצב המלחמה: הוועד הבינלאומי של הצלב האדום זיהה גם את יכולתן של מערכות דיגיטליות להאיץ את הקצב של מלחמה כגורם סיכון לאזרחים, בייחוד כאשר מהירות מבצעית מוגברת מונעת ניתוח ובדיקה יסודיים של מקורות מידע המשמשים לתכנון צבאי. קציני צבא ישראלים אמרו בפומבי שהכלים הדיגיטליים לייצור מטרות מאפשרים לקצינים לייצר בתוך ימים ספורים את אותו מספר מטרות שלפני השימוש בכלים אלה היה אורך שנה.
- האם הכלים הדיגיטליים המשמשים את הצבא הישראלי הם מערכות נשק אוטונומיות?
הכלים הדיגיטליים של הצבא הישראלי אינם מערכות נשק אוטונומיות – כלי נשק הבוחרים מטרות ותוקפים אותן על סמך עיבוד של נתוני חיישנים במקום באמצעות התערבות אנושית, ושעליהם מבקש ארגון Human Rights Watch זה זמן רב לאסור באמנה – אלא מערכות עיבוד נתונים המספקות מידע למתכננים בצבא הישראלי. ההחלטה אם לתקוף מטרה מומלצת נעשית ומבוצעת בנפרד, בידי אדם ולא באמצעות מכונה. כל כלי דיגיטלי דורש מעורבות והשגחה אנושיות.
ואולם, החלטה של מועצת האו"ם לזכויות האדם שהתקבלה באוקטובר 2022 הדגישה את החשיבות המרכזית של קבלת החלטות בידי בני אדם בכל הקשור לשימוש בכוח. היא מזהירה מפני הסתמכות על מערכי נתונים לא מייצגים, על תכנון מבוסס-אלגוריתמים ועל תהליכי למידת מכונה. טכנולוגיות כאלה עשויות לשכפל ולהחריף דפוסים קיימים של אפליה, דחיקה לשוליים, אי-שוויון חברתי, סטריאוטיפים והטיות, שאי אפשר לחזות את תוצאותיהם.
הכלים הדיגיטליים של הצבא הישראלי מעוררים בעיות דומות לאלה של מערכות נשק אוטונומיות. הם פועלים בדרכים שקשה לבדוק, לאתר את מקורותיהן ולאמתן. במקרה של האלגוריתמים המבוססים על למידת מכונה, המשמשים את "לבנדר" ואת "הבשורה", הדבר אף בלתי אפשרי. בה בעת, הם מעודדים הסתמכות יתר מפני שהם נראים מדויקים ונטולי הטיות.
- כיצד חל המשפט ההומניטרי הבינלאומי על השימוש הצבאי בכלים דיגיטליים?
כלים דיגיטליים אינם כלי נשק צבאיים. יחד עם זאת, בעת השימוש בהם בפעולות צבאיות חלות עליהם ההגבלות של המשפט ההומניטרי הבינלאומי. כפי שציין הוועד הבינלאומי של הצלב האדום, "יש להשתמש בכל טכנולוגיה חדשה של לחימה, וחייבת להיות אפשרות לעשות זאת, תוך ציות לכללים הקיימים של המשפט ההומניטרי הבינלאומי".
המערכות "לבנדר" ו"הבשורה" מעלות סוגיות חשובות – הקשורות לפעולות העלולות להיות קטלניות – בנוגע לבחירת מטרות צבאיות ולקביעה אם על פי החוק ניתן לתקוף את המטרה המיועדת, ובאילו נסיבות. לעניין זה רלוונטיים שני חוקים כלליים במשפט ההסכמי הבינלאומי ובמשפט המנהגי הבינלאומי: 1. הדרישה שכוחות תוקפים יבחינו בין מטרות צבאיות ובין אזרחים ואובייקטים אזרחיים, ויתקפו רק את המטרות הצבאיות; 2. הדרישה שכוחות תוקפים ינקטו את כל אמצעי הזהירות האפשריים כדי למזער את האובדן האגבי של חיי אזרחים ואת הנזק לאובייקטים אזרחיים.
המערכות "לבנדר" ו"הבשורה" נשענות על למידת מכונה כדי להבחין בין מטרות צבאיות ובין אזרחים ואובייקטים אזרחיים. אם ההמלצות או ההערכות של הכלים הדיגיטליים מוּצאות לפועל ללא בדיקה מספקת או ללא כל מידע נוסף, כפי שדוּוח, והתוצאה היא התקפות הגורמות נזק אזרחי, אזי כוחות ישראליים מפֵרים את דיני המלחמה כשהם מוציאים לפועל את התקפות האלה – דבר שעשוי לעלות לכדי פשעי מלחמה.
הכלי "איפה אבא?" משתמש לכאורה במעקב אחר מיקומם של טלפונים ניידים כדי להודיע למפעילים של כלי תקיפה בצבא מתי אנשים שסומנו כמטרות צבאיות נכנסים למקומות מסוימים, כגון בית משפחה. דיני המלחמה אינם אוסרים על תקיפת מטרות צבאיות תקפות, כגון מפקדי צבא כאשר הם נמצאים בבתיהם, אבל כל הדרישות החוקיות עדיין חלות עליה. לא ברור אם גורמים נוספים אלה – כגון השאלה אם התקיפה גורמת לנזק אזרחי לא מידתי בהשוואה לתועלת הצבאית שניתן להפיק ממנה – מובאים בחשבון.
כלים אלה גם מעלים חשש כאשר מחילים סטנדרטים שאינם קיימים בחוק הבינלאומי. השימוש בלמידת מכונה כדי לתייג אדם כ"טרוריסט" – מונח שאינו מוגדר במשפט זכויות האדם הבינלאומי או במשפט ההומניטרי הבינלאומי – עשוי לחשוף אדם למעצר או לתקיפה קטלנית בלי לעמוד בדרישות הראייתיות של עוולה פלילית, על פי המשפט הבינלאומי. תקיפות נגד מה שקרוי "מטרות עוצם" – מבנים אזרחיים גדולים, שעל פי דיווחים זוהו על ידי "הבשורה" כמטרות בשל ההשפעה הפסיכולוגית הצפויה מהריסתם – אינן מושג מקובל במשפט ההומניטרי הבינלאומי. תקיפתן עדיין דורשת עמידה בעקרונות ההבחנה, המידתיות ונקיטת אמצעי הזהירות.
