נקודת בקרת האבטחה החדשה: ניהול סוכני AI בלולאת הביצוע
אמ;לק
סוכני AI מציגים סיכוני אבטחה דרך הפעולות שהם מבצעים, ולא רק דרך הקוד שהם מייצרים. פיתוח מנגנוני משילות על התנהגות סוכני AI מאפשר לצוותים לזהות, לכוון ולחסום פעולות מסוכנות בזמן אמת.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: The New Security Control Point: Governing AI Agents Inside the Execution Loop

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
ככל שארגונים מאמצים סוכני AI לבניית תוכנה, צוותי האבטחה עומדים בפני אתגר חדש: סיכון אינו נובע עוד רק מהקוד המיוצר, אלא נוצר ברציפות דרך הכלים שבהם הסוכנים משתמשים, הפעולות שהם נוקטים והקוד שהם מחוללים. זו הבעיה ש-Evo Agentic Development Security (ADS) תוכננה לפתור.
ADS מאבטח את כל שלוש השכבות של מערכת הפיתוח הסוכני (agentic development) – במה שהסוכנים משתמשים, מה שהם עושים ומה שהם מייצרים. מאמר זה מתמקד בשכבה השנייה: ניהול התנהגות סוכנים בתוך לולאת הביצוע, שבה סוכנים מקבלים החלטות, מפעילים כלים, ניגשים למערכות ונוקטים פעולות בשם המשתמשים.
ניהול התנהגות סוכנים זמין היום ב-Open Preview כחלק מ-Evo Agentic Development Security (ADS) . ארגונים המעוניינים להעריך את היכולת יכולים לקבוע הדגמה עם הצוות.
מדוע סוכנים AI צריכים נקודת בקרת אבטחה חדשה
במשך שנים, אבטחת יישומים התמקדה בתפוקות של פיתוח תוכנה: הקוד שנכתב, התלויות שנוספו והתשתית שבסופו של דבר רצה בסביבת הייצור (production).
סוכני AI מציבים אתגר שונה שכן הם לא רק יוצרים תוצרים, אלא מקבלים החלטות. בכל פעם שסוכן בוחר כלי, ניגש למערכת, מפעיל API, מבצע פקודה או מאחזר נתונים, הוא מקבל החלטה בשם המשתמש. ככל שהסוכנים הופכים לאוטונומיים יותר, נפח ומהירות ההחלטות שלהם עוקפים במהירות את אמצעי הפיקוח המסורתיים.
זה משנה את אופי בעיית האבטחה מכיוון שהסיכון אינו מובא עוד רק דרך החפצים שהתוכנה מייצרת. במקום זאת, הוא מוצג דרך הפעולות שסוכנים נוקטים בזמן יצירת תוכנה. השאלה משתנה גם מהאם הקוד המתקבל מאובטח לשאלה האם ההחלטות שהתקבלו לאורך הדרך היו מתאימות, מורשות ומתואמות למדיניות הארגונית. אם החלטות האבטחה המשמעותיות ביותר מתרחשות כעת לפני ביצוע פעולה, האבטחה חייבת להתקרב לנקודה שבה ההחלטות הללו מתקבלות.
בתוך לולאת ביצוע הסוכן
כדי להבין כיצד ניתן לנהל את התנהגות הסוכנים, תחילה יש להבין כיצד הם פועלים. למרות התחכום של סוכני AI מודרניים, רובם פועלים לפי דפוס דומה: הם מקבלים מטרה, קובעים כיצד להגשים אותה, בוחרים את הכלים הדרושים, מבצעים פעולות, מעריכים את התוצאות וחוזרים על התהליך עד להשלמת המשימה.
מה שנראה למשתמש כמשימה בודדת - "לחקור את הנושא הזה", "תקן את הפגיעות הזו" או "פרוס את האפליקציה הזו" - הוא לרוב רצף של עשרות, או אפילו מאות, של החלטות ופעולות בודדות המתרחשות מאחורי הקלעים.
סוכן עשוי להחליט לבצע שאילתות למאגר קוד, לבדוק קובץ תצורה, להפעיל כלי חיצוני, להריץ פקודה, לאחזר נתונים מ-API או לשנות משאב. כל פעולה מייצרת מידע חדש המשפיע על ההחלטה הבאה של הסוכן. מחזור בלתי פוסק זה של הסקה, בחירת כלים, ביצוע פעולות ומשוב הוא מה שאנו מכנים 'לולאת ביצוע הסוכן' (agent execution loop).
חשוב לציין, כאן למעשה מתרחשת אוטונומיה.
לולאת הביצוע היא המקום שבו סוכנים מתרגמים כוונה לפעולה: מתקבלות החלטות לגבי אילו משאבים לגשת, באילו כלים לסמוך, באילו פקודות להפעיל ואיזה מידע לשתף. כל פעולה משמעותית שסוכן נוקט עוברת בתהליך הזה.
זה הופך את לולאת הביצוע לשונה מהותית מנקודות בקרת אבטחה מסורתיות. מבחינה היסטורית, האבטחה התמקדה בקלטים שנכנסים למערכת או בתוצרים שיוצאים ממנה. לולאת הביצוע מציגה הזדמנות חדשה: להבין ולהעריך התנהגות בזמן קבלת ההחלטות. במקום לשאול "מה קרה?" לאחר שפעולה מסתיימת, ארגונים יכולים להתחיל לשאול סדרת שאלות אחרת:
• באילו מערכות, כלים או נתונים מדובר?
• האם זה מתיישב עם המדיניות הארגונית?
• האם יש לאפשר, לשנות או למנוע את הפעולה?
שאלות אלו מקרבות את האבטחה להחלטה עצמה, וזה מה שהופך את לולאת הביצוע לנקודת בקרת אבטחה חשובה כל כך בעידן סוכני ה-AI.
כיצד Evo ADS שולט בהתנהגות הסוכנים
הבנת האתגר היא רק הצעד הראשון. ארגונים זקוקים גם לדרך מעשית להתבונן, להעריך ולנהל את התנהגות הסוכן בזמן שהיא מתרחשת. זוהי הגישה מאחורי יכולת הניהול החדשה של התנהגות סוכנים בתוך Evo ADS, הזמינה היום ב-Open Preview.
התבוננות בהתנהגות הסוכן
במבט ראשון, ניהול התנהגות סוכנים נשמע פשוט: צפה בפעולה, השווה אותה למדיניות והחלט אם לאשר אותה. בפועל, זה הרבה יותר מורכב מכיוון שסוכנים אינם פועלים באמצעות פעולות מבודדות, אלא ברצפים של פעולות הנבנות זו על גבי זו. כדי להתמודד עם האתגר הזה, ADS פועל ישירות בתוך לולאת ביצוע הסוכן.
על ידי אינטגרציה עם זמני הריצה (runtimes) של הסוכנים דרך PreToolUse ו-PostToolUse APIs, המערכת יכולה לצפות בפעולות לפני ואחרי התרחשותן, מה שמספק נראות להחלטות שסוכנים מקבלים בזמן ביצוע המשימות. נראות זו משתרעת על פני מגוון רחב של פעילויות, כולל הרצת פקודות shell, קריאה וכתיבה של קבצים, ביצוע בקשות רשת, הפעלת כלי MCP ואינטראקציה עם APIs חיצוניים.
חשוב מכך, ADS מודע להקשר של הסשן (session-aware). לכן, במקום להעריך פעולות בודדות במנותק, ADS מתבונן בהתנהגות לאורך כל זרימת העבודה. הוא מבין את הבקשה המקורית של המשתמש, את מטרת הסוכן, את רצף הפעולות שננקטו ואת ההקשר שסביב כל החלטה.
שקול סוכן פותר בעיות באפליקציה. הוא עשוי לבדוק את קוד המקור, לבצע שאילתות על משאבי ענן, לגשת לקובצי תצורה ולאסוף נתונים תפעוליים לפני נקיטת פעולה מתקנת. במבט ביחד, פעולות אלו מספקות הבנה עשירה הרבה יותר של מה שהסוכן מנסה להשיג.
הבחנה זו היא קריטית מכיוון שסיכונים רבים נובעים לא מפעולה אחת, אלא מדפוס פעולות. לדוגמה, קריאת קובץ רגיש או בקשת רשת עשויה להיות לגיטימית, אך כאשר פעולות אלו מתרחשות יחד בתוך אותה זרימת עבודה, הן עשויות להצביע על ניסיון לחשוף מידע רגיש.
זו הסיבה שממשל אפקטיבי דורש יותר מאשר ניטור פעילות. זה דורש הקשר ותמונה מלאה יותר של כוונת הסוכן. כדי להבין אם פעולה מתאימה, ארגונים זקוקים לנראות ב:
• פעולות קודמות שנעשו במהלך הפגישה
• רצף ההחלטות המוביל לפעולה הנוכחית
המטרה היא לא רק לדעת מה סוכן עושה, אלא להבין למה הוא עושה את זה. רק עם רמת מודעות זו יכולים ארגונים לעבור מעבר לניטור התנהגות ולהתחיל לשלוט בה בצורה משמעותית.
איתור התנהגות מסוכנת
התבוננות בהתנהגות הסוכן בתוך לולאת הביצוע יוצרת הזדמנות לזהות סיכונים שבקרות האבטחה המסורתיות מפספסים לעתים קרובות. כחלק מיכולת ניהול התנהגות הסוכן, ארגונים יכולים לפקח באופן רציף על פעילות הסוכן עבור מערך הולך וגדל של סיכונים התנהגותיים המתעוררים במהלך הביצוע.
בניגוד לממצאי אבטחת יישומים מסורתיים, רבים מהסיכונים הללו אינם קשורים לפגיעות ספציפית או לחפץ תוכנה ספציפי. במקום זאת, הם נובעים מאינטראקציות בין סוכנים, כלים, מערכות ונתונים. זיהויים אלה פועלים ברציפות בתוך לולאת הביצוע, ומאפשרים לארגונים לזהות סיכונים כאשר זרימות העבודה של הסוכן מתפתחות במקום לאחר יצירת חפצים.
יישום ממשל בזמן אמת
כחלק מיכולת הממשל של התנהגות סוכן, ארגונים יכולים ליישם פעולות ממשל שונות בהתבסס על סוג הממצא, רמת הסיכון והמדיניות הארגונית.
מכיוון ש-Evo ADS פועל ישירות בתוך לולאת ביצוע הסוכן, ניתן ליישם החלטות ניהול לפני ביצוע הפעולות ולא בדיעבד. במקום להסתמך על יומני רישום (logs), התראות או תעבורת רשת כדי לשחזר התנהגות לאחר מעשה, ADS מעריך את הפעולות המוצעות בהקשר של זרימת העבודה הרחבה יותר, מה שמאפשר לארגונים לנהל את התנהגות הסוכנים בנקודת קבלת ההחלטות.
כדי להכיר את הסורקים, ניתן לרשום ממצאים, ולספק נראות להתנהגות הסוכן מבלי לשבש זרימות עבודה. זהו גם מנגנון טוב למעקב אחר פעולות סוכן בסיכון נמוך. כאשר סוכן מפר את המדיניות הארגונית או מהווה רמת סיכון בלתי מקובלת, ניתן לחסום את פעולתו באופן מהימן.
ADS בוחן באופן פעיל מנגנוני ממשל חלופיים כדי ליצור גדרות בטיחות (guardrails) לסוכנים מבלי לפגוע בפריון המפתחים. ארגונים יכולים לבחור לנווט את התנהגות הסוכן על ידי מתן הנחיות אבטחה ישירות בתוך זרימת העבודה. במקום להפריע לסוכן, הוא מקבל הוראה מיידית בפעם הבאה שמערכת ניהול התנהגות הסוכנים מתקשרת עם ממשק ה-harness, כדי לעודד את הסוכן לקבל החלטות בטוחות יותר תוך שמירה על הפרודוקטיביות.
עבור פעולות הדורשות פיקוח נוסף, ניתן להורות לסוכנים לבקש אישור מפורש של המשתמש לפני שתמשיך. זה יוצר מחסום אנושי לפעולות שעשויות להיות רגישות, חריגות או בעלות השפעה רבה.
התגובה המתאימה תשתנה בהתאם לסובלנות הסיכון של הארגון, המערכות המעורבות ואופי המשימה. מה שחשוב הוא שארגונים אינם מוגבלים עוד לבחירה בינארית בין אוטונומיה בלתי מוגבלת ובקרה מגבילה. במקום זאת, הם יכולים ליישם את רמת הממשל המתאימה לכל מצב, ולאפשר לסוכנים לנוע במהירות תוך הבטחה שהם פועלים בגבולות מהימנים. זה יוצר מודל מעשי יותר לאימוץ AI - כזה שבו האבטחה מסתגלת לזרימת העבודה במקום לאלץ את זרימת העבודה להסתגל לאבטחה.
אבטחת כל המערכת שיוצרת תוכנה
ככל שארגונים מרחיבים את אימוץ ה-AI, מציאות אחת הופכת ברורה יותר: סקירה אנושית אינה יכולה לעמוד בקצב פעילות הסוכנים. האתגר אינו האם סוכנים צריכים להיות אוטונומיים, אלא כיצד להבטיח שהם פועלים בבטחה בקנה מידה רחב.
ניהול התנהגות הסוכן מטפל בחלק קריטי אחד באתגר הזה על ידי הרחבת האבטחה ישירות ללולאת הביצוע של הסוכן, ומעניק לארגונים נראות ושליטה היכן מתקבלות החלטות סוכן. אבל התנהגות סוכנים היא רק חלק אחד ממודל האבטחה הרחב יותר. ארגונים חייבים גם להבין את הכלים שסוכנים מסתמכים עליהם ולהבטיח שניתן לסמוך על הקוד שהם יוצרים מההתחלה.
לכן Evo ADS מאבטח את כל שלושת המקומות שבהם סיכון מוכנס בפיתוח סוכן: במה משתמשים סוכנים, מה הם עושים ומה הם מייצרים. ביחד, יכולות אלו עוזרות לארגונים לאמץ פיתוח AI-driven עם הנראות, הממשל והאמון הנדרשים כדי לנוע מהר מבלי לאבד שליטה.
ניהול התנהגות סוכנים זמין היום ב-Open Preview כחלק מ-Evo Agentic Development Security (ADS) . למידע נוסף, הירשם לסמינר המקוון הקרוב שלנו ב-Agentic Development Security או קבע הדגמה עם צוות Snyk.
אימוץ AI מאובטח בקנה מידה
Evo עוזרת לארגונים לאמץ ולהרחיב את השימוש ב-AI בבטחה על ידי מתן נראות, ממשל ואבטחה לאורך כל תהליך הפיתוח המונע על ידי AI ויישומי AI.
קרא עוד
PHP2Shell לא יהיה האחרון. הנה איפה המקרה הבא יופיע לראשונה.
PHP2Shell הראה באיזו מהירות פגם ברמת המנוע יכול לסכן אפליקציות הפונות לאינטרנט. למד מדוע מלאי חיצוני, בדיקות מהירות ובדיקות חוזרות חשובות לפני החשיפה הבאה.
סניק UNFILTERED: Inside Our First-Ever Customer Summit
בפסגת הלקוחות הראשונה של Snyk, מנהיגי אבטחה חלקו נקודות מבט גלויות לגבי סיכוני AI, תיקון פגיעויות וניהול סוכנים אוטונומיים. חמישה נושאים חושפים כיצד צוותים מתאימים את האבטחה למהירות ה-AI.
Turn Your Vulnerability Backlog Into Pull Requests With Agentic Remediation
ה-Evo Remediation Agent נמצא כעת ב-Open Preview, ומביא יכולות פתרון תלויות אוטומטי ל-Evo Agentic AppSec. צוותי AppSec יכולים כעת להריץ תיקון פגיעויות מתמשך.