סוכני AI צריכים יותר מיכולת: הם צריכים אמון

לפי סיכום סקר 2026 של Camunda ב-71% מהארגונים שנכללו בסקר משתמשים בסוכני AI, ואילו 11% ממקרי השימוש בסוכני AI הגיעו לייצור בשנה שקדמה לסקר. האחוזים מודדים דברים שונים: 11% אינו שיעור הארגונים שיש להם סוכן פעיל בייצור. הממצאים מצביעים על אתגר ביישום, אבל אינם מוכיחים שיש לו סיבה אחת.

יכולת היא רק חלק מהמוכנות

הדגמות יכולות להרשים. סוכן שמסווג פנייה, מאתר מידע ומציע פתרון ברור תוך שניות נראה בשל להשקה. אבל כשמעבירים אותו מהדמו להחלטה אמיתית על לקוח אמיתי, עולות ארבע שאלות שצוותי תפעול לא תמיד יודעים לענות עליהן:

• איך הסוכן ינהג במקרה חריג?
• מה הוא עושה כרגע?
• למה הוא בחר לפעול כך?
• האם הוא עדיין פועל כמו שציפינו?

הסבר שסוכן מייצר אינו, בפני עצמו, תיעוד מהימן של הסיבה לפעולה. לצורך בדיקה נדרשות ראיות לקלטים, להפעלת הכלים, לבדיקות המדיניות, לאישורים ולתוצאה. איכות המודל חשובה, וכך גם התשתית שמאפשרת לעקוב אחר הפעולות האלה.

למה סוכנים נתקעים בפיילוט

כשמפעילים כמה מסגרות לפיתוח סוכנים ללא מזהים או רשומות משותפים, קשה לעקוב אחר הטיפול במקרה. פלט הסוכן עשוי להישמר במערכת אחת והאישור האנושי באחרת. הצוות נדרש אז לשחזר כיצד השלבים האוטומטיים, האנשים והסוכנים תרמו לתוצאה.

Camunda מדווחת גם ש-48% מהמשיבים משתמשים בסוכנים במנותק מתהליכים מלאים. הנתון מתאים לאתגר האינטגרציה שתואר, אבל אינו מוכיח שהפיצול הוא שגרם לפער במעבר לייצור. צריך לבחון גם איכות נתונים, אמינות המודל, אבטחה ומוכנות תפעולית.

יש גם ממד רגולטורי. הנציבות האירופית מתארת רישום פעילות, תיעוד, שקיפות לגופים המפעילים ופיקוח אנושי כחלק מהחובות למערכות בסיכון גבוה. נכון ל-30 בספטמבר 2026, לוח הזמנים המעודכן שלה קובע שהכללים למערכות בסיכון גבוה שבנספח III יחולו מ-2 בדצמבר 2027. התחולה תלויה במערכת, בתפקיד הארגון ובתחום השיפוט. ארגון ישראלי צריך למפות את חובותיו, ולא להניח שסיווג או מועד אירופי חלים עליו אוטומטית.

שלושה יסודות לבניית אמון בסוכן

לצד השאלה אם המודל טוב מספיק, שאלו אם אפשר לבדוק, לראות ולהסביר את פעולותיו. אלה יעדי תכנון שצריך לממש ולוודא:

1. בדיקה: הריצו בדיקות חוזרות על תרחישים מייצגים ועל חריגים. מדדו נכונות, הפרות מדיניות ושונות, והגדירו אילו תוצאות מקובלות לפני שהסוכן פועל מול לקוחות.
2. נראות: אפשרו למפעילים מורשים לגשת להנחיות הרלוונטיות, לגרסת המודל, להקשר, לכלים הזמינים, להפעלות הכלים ולתוצאותיהם. הגדירו השחרה, הרשאות ותקופות שמירה למידע רגיש.
3. הסבר: קשרו את רשומת המקרה לגרסת המדיניות, לפעולות הכלים, להעברות לטיפול אנושי, לאישורים ולתוצאה. שמרו ראיות שמספיקות לבדיקה, בלי להתייחס להסבר שהמודל יצר כאל תיאור מאומת של החישוב הפנימי שלו.

איך זה נראה בתהליך עסקי מתוזמר

בגישת Process-First, הסוכן פועל בתוך גבולות שהוגדרו מראש. ארכיטקטורת הסוכנים של Camunda מפרידה בין בחירת הכלים של המודל לביצוע פעילויות BPMN. כך אפשר למדל מסלולי אישור וטיפול בכשלים. תיעוד החלטות מלא עדיין דורש איסוף נתונים מתוכנן, קישור לרשומות במערכות חיצוניות והגדרת זמני שמירה; עצם השילוב של סוכן בתהליך אינו יוצר אותו.

אוטונומיה מוגבלת היא לב העניין: נותנים לסוכן חופש פעולה בחלק מוגדר של התהליך, מגבילים את הכלים והנתונים הזמינים לו, ומעבירים לאדם החלטות שמחוץ לסמכותו. צריך לבדוק שהגבולות נשמרים גם כשהקלט עמום או כשכלי נכשל.

מה זה אומר לארגון שלכם

אם הסוכנים שלכם עדיין בפיילוט, שאלו מה צוותי התפעול, הציות וההנהלה יכולים לאמת לגבי התנהגותם כבר היום. נקודות אישור ברורות, סמכות מוגדרת ותיעוד שימושי משפרים את המוכנות. הם נדרשים לצד בדיקות ביצועי המודל והערך העסקי, ולא במקומן.

ב-NG Workshop אנחנו עוזרים לארגונים ישראליים לבנות בדיוק את השכבה הזאת: AI שפועל בתוך תהליך נשלט, לא כקופסה שחורה בצד.

מקורות

• Camunda: AI Agents Don’t Have a Capability Problem, They Have a Trust Problem
• Camunda: Breaking Through the Automation Ceiling - CamundaCon 2026

סיכום

• Camunda מדווחת על שימוש בסוכנים ב-71% מהארגונים בסקר ועל מעבר לייצור של 11% ממקרי השימוש בסוכני AI בשנה שקדמה לסקר.
• ארבע השאלות התפעוליות עוזרות לחשוף פערים בבדיקות, בנראות ובאחריות.
• בדיקות, נראות ותיעוד החלטות תומכים באמון, לצד מודלים אמינים וערך עסקי שנמדד.

רוצים לבדוק אם התהליכים שלכם מוכנים לסוכן AI אמין? בואו נדבר