בית המשפט מבקר את שימושה של משטרת ישראל בכלי בינה מלאכותית

שימוש של משטרת ישראל בכלי AI זכה לאחרונה לביקורת של בית המשפט המחוזי, לאור טענת המשטרה שמערכת הבינה המלאכותית פועלת כ"קופסה שחורה", ללא פיקוח וניטור אנושיים. ההחלטה מדגימה את החשיבות של שימוש אחראי במערכות האלה והבנה של עקרונות פעילותן. הכללים המתפתחים בעולם הטכנולוגיה והמשפט לבחינה וביקורת של מערכות בינה מלאכותית נכונים גם לעולם העסקי, וכפי שמדגימה ההחלטה הזו, גם לעולם הפלילי.

העתירה וההחלטה

בעתירה לגילוי ראיה ביקש הנאשם לחשוף את האופן בו יצרה משטרת ישראל רשימת הכללה, שעל בסיסה נערך חיפוש בכליו של הנאשם בעת כניסתו לישראל בנמל התעופה (במסגרת החיפוש נמצאו סמים מסוכנים מסוג GBL והוגש כנגד הנאשם כתב אישום). במסגרת הליכי העתירה נחשף, כי ההכללה ברשימה נעשתה על בסיס מערכת ממוחשבת משטרתית הבוחנת מידע סטטיסטי ממקורות שונים ומשתמשת בבינה מלאכותית (AI) ולמידת מכונה (ML) לצורך כך.

"קופסה שחורה"

נציגי המשטרה העידו בפני בית המשפט כי מדובר במערכת המופעלת מאז שנת 2014, הממשיכה ללמוד כל העת מהנתונים הזמינים לה באמצעות בינה מלאכותית ולמידת מכונה, בתהליך שאינו מפוקח על ידי אדם. רשימת המאפיינים אותם בוחנת המערכת היא רחבה, וכוללת פרטים שונים שאינם קשורים באופן ברור לעבריינות סמים. זאת ועוד, בית המשפט קבע כי תנאי הסף להכללת אזרחים ברשימה המופעלים בידי המערכת נמוכים מאוד, ועלולים להביא לבדיקתם של מי אינם קשורים לעבירה כלל. השוטרים מסרו כי אין למשטרה דרך לדעת מה המשקלים שניתנים למאפיינים השונים בידי המערכת, והיא פועלת כמעין "קופסה שחורה". באשר לבקרה על פעילות המערכת – השוטרים העידו כי תהליכי הבקרה וההפעלה אינם מעוגנים בנוהל ותוצאות הפעלת המערכת אינן נבדקות.

ביקורת שיפוטית

בית המשפט המחוזי קבע כי לאור הפרטים שצוינו, נשללת האפשרות של בית המשפט להפעיל ביקורת שיפוטית אפקטיבית על המערכת, ולכן השימוש במערכת מעורר קושי, הגם שאינו אסור לפי המשפט הישראלי.

השופט מצא לנכון להפנות בנוסף גם לפסיקת בית הדין לצדק של האיחוד האירופי, שדן בסוגיה דומה. שם, נקבע כי אין להשתמש במערכות בינה מלאכותית לזיהוי בלדרי סמים פוטנציאליים בשדות תעופה. זאת, בשל העובדה שהמערכת מאופיינת בחוסר שקיפות ולכן לא ניתן להצביע על הסיבה לזיהוי אדם זה או אחר כחשוד.

חשיבות ההחלטה

החלטה זו מלמדת על הצורך ברגולציה על מערכות בינה מלאכותית. מערכות בינה מלאכותית אינן "קופסה שחורה", אלא כלי טכנולוגי משמעותי ורב עוצמה, שבהטמעה ובשימוש נכונים יכול לתת מענה לקשיים משמעותיים בעולם העסקי וגם בעולם האכיפה.

הרגולציה של בינה מלאכותית, המפותחת בידי החברות המובילות בתחום ובידי רשויות ממשלתיות שונות, דורשת מספר עקרונות יסוד שמבטיחות שימוש חוקי והוגן:

• שקיפות (transparency) של פעולת המערכת ובכלל זאת יכולת לבחון את המשקל שניתן לכל פרמטר.
• יכולת הסבר של פעולת המערכות (explainability) ובין היתר של הסיכונים הגלומים בה.
• מעורבות אנושית בצמתי ההחלטה במערכות בהן נעשה שימוש לצורך קבלת החלטות משמעותיות.
• תהליכי בקרה על התוצאות המופקות בידי המערכת.
• בחינה שוטפת של פעילות המערכת לאיתור הטיות וטעויות בפעילותה.
• פעולה לפי נוהל סדור והכשרה של כוח האדם.

שמירה על כללים אלה בפיתוח והטמעה של מערכות, יכולה לאפשר שימוש בטוח ויעיל בהן.

אנו ממליצים לחברות המשתמשות בכלי בינה מלאכותית, או שוקלות שימוש בהם, לבחון את הכלים טרם הטמעתם, וליצור מדיניות סדורה לניהול הבינה המלאכותית בארגון.

****

מחלקת פרטיות ואבטחת מידע וסייבר של ברנע ג'פה לנדה עומדת לשירותכם בכל שאלה ביחס לשימוש, הטמעה, פיתוח ורגולציה של בינה מלאכותית.

ד"ר אבישי קליין הוא שותף בברנע ג'פה לנדה, ועומד בראש המחלקה.

מאשה יודשקין היא עורכת דין במחלקה.