Human-in-the-Loop בלי צוואר בקבוק: בקרה אנושית מתוכננת
איך מציבים אדם בצמתים הנכונים, מגדירים ספי סיכון ומתעדים החלטות באופן שימושי, תוך שמירה על יתרונות האוטומציה.
אישור אנושי לכל פעולה עלול לבטל חלק גדול מהזמן שנחסך באוטומציה. בקרה מעטה מדי עלולה לאפשר לטעות קטנה להתפשט. Human-in-the-Loop נכון אינו פשרה באמצע, אלא מנגנון מתוכנן לפי רמת הסיכון.
בקרה לפי סיכון, לא לפי פחד
מדריך מערך הדיגיטל הלאומי למגזר הציבורי מדגיש ניהול סיכונים לאורך מחזור חיי המערכת. הדוח הבין־משרדי על הסקטור הפיננסי מדצמבר 2025 ממליץ על בקרה לפי סיכון, אחריות של הגוף המפעיל ואמצעי גילוי. אין לקרוא המלצות אלה כחובה משפטית גורפת לאישור אנושי של כל פעולת AI. תכנון התהליך צריך לשקף את הדרישות החלות על הפעילות המסוימת.
במקום לשאול “האם אדם צריך לאשר?”, שאלו מה חומרת הנזק, עד כמה הפעולה הפיכה ומהי האמינות שהמערכת הוכיחה במקרים דומים. אין להתייחס לדיווח של מודל על רמת הביטחון שלו כאל הסתברות מכוילת לכך שהוא צודק.
הטבלה הבאה מדגימה מדיניות פנימית; היא אינה סיווג סיכון אוניברסלי או תיאור של דרישות הדין:
| רמת סיכון | דוגמה | מנגנון בקרה |
|---|---|---|
| נמוכה | סיווג מסמך פנימי שאינו רגיש | ביצוע אוטומטי ובדיקת מדגם |
| בינונית | ניסוח תשובה ללקוח | סף איכות שנבדק ואישור במקרים חריגים |
| גבוהה | דחיית תביעה או ביצוע תשלום בסכום גבוה | אישור אנושי לפני הביצוע לפי המדיניות שבדוגמה |
משימה אנושית היא חלק מהתהליך
משימת אישור טובה כוללת הקשר, את המלצת הסוכן, ראיות, הסבר קצר ופעולות ברורות. היא דורשת גם מועד תגובה, ממלא מקום מוגדר ומסלול הסלמה. למאשר צריכים להיות הסמכות והזמן לבחון את ההמלצה ולחלוק עליה.
בקשת אישור במייל יכולה להיות חלק מבקרה אנושית, אך ללא מעקב היא משאירה פער בתהליך. מנוע תהליך צריך לדעת שהמקרה ממתין, מי אחראי ומה לעשות כאשר הזמן שהוקצה חלף.
מה כדאי לכלול בתיעוד הביקורת
- הקלט והראיות הרלוונטיים, בכפוף לצמצום מידע, הרשאות גישה, כללי שמירה ודרישות הפרטיות החלות.
- גרסת המודל, ההנחיות והכלים שהופעלו.
- המלצת המערכת, תוצאות בדיקות האימות וכל ציון ביטחון, בצירוף שיטת החישוב ומגבלותיו.
- זהות המאשר, זמן התגובה והנימוק לשינוי.
- התוצאה הסופית והשפעתה העסקית.
התיעוד אינו מיועד רק לרגולטור. הוא מאפשר לזהות היכן בני אדם מתקנים את המודל, לשפר כללים ולהרחיב אוטומציה על בסיס ראיות.
יישום ב־Camunda
שערי החלטה, משימות משתמש ואירועי טיימר מאפשרים למדל אישורים, המתנה והסלמה. הגדרת מועד למשימה לבדה אינה מפעילה הסלמה; צריך למדל ולבדוק את המסלול שיפעל בחלוף הזמן. שמרו את הספים בכללים מפורשים ובדקו שינויי מדיניות לפני פריסה.
כך האדם נשאר בעל הסמכות בצמתים הקריטיים, בעוד המקרים השגרתיים מתקדמים לפי המדיניות המאושרת.
מקורות והמשך קריאה בעברית
- מערך הדיגיטל הלאומי: שימוש אחראי וניהול סיכוני AI
- בנק ישראל: המלצות לשימושי AI בסקטור הפיננסי
- הרשות להגנת הפרטיות: המלצות לשימוש אישי ב־AI יוצרת
סיכום
- רמת הבקרה צריכה להיגזר מהסיכון ומהפיכות הפעולה.
- משימה אנושית זקוקה להקשר, SLA ומסלול הסלמה.
- נתיב ביקורת טוב משרת גם ציות וגם שיפור מתמשך.