חזרה לפיד
articlesמקור: Wiz Blog17.9.2026

פיתוח מנוע זיהוי AI המבין את כוונת הסוכן

אמ;לק

מאמר זה דן ביצירת מנוע זיהוי מתקדם המיועד לנתח התנהגות זדונית של סוכני AI. המערכת בוחנת יומני קלט ופלט של מודלים כדי להבין את הכוונות שמאחורי הפעולות, ולא רק לזהות אנומליות. גישה זו חיונית לאבטחת מערכות AI ולמניעת שימוש לרעה ביכולותיהן.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Building an AI Detection Engine That Understands Agent Intent

פיתוח מנוע זיהוי AI המבין את כוונת הסוכן

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

סוכני AI מבצעים עבודה אמיתית בסביבות ייצור (Production): הם מריצים קוד ומנהלים תשתית עם הרשאות נרחבות ומעט מאוד מנגנוני הגנה. בניגוד לתוכנה דטרמיניסטית, סוכנים פועלים מתוך כוונה, מה שעלול להוביל לחטיפת הפעילות שלהם באמצעות קלט זדוני (

⁦Monitoring How⁩ ⁦AI⁩ ⁦Agents Think⁩

מבחינה היסטורית, כלי אבטחה מעולם לא יכלו להציץ לתוך תהליך החשיבה של תוקף. עם סוכני AI, ניצבת בפנינו הזדמנות חדשה: צוהר ישיר לתהליכי הסקת מסקנות בזמן אמת. זיהוי שינויים בכוונות (Intent) בזמן שהם מתרחשים מאפשר לנו לנצל את הנראות הזו ולהתמודד עם אתגר שאבטחה מסורתית מעולם לא נועדה לפתור.

הצורך בנראות כזו הומחש היטב במהלך תקרית Hugging Face, שנחשפה על ידי OpenAI בקיץ 2026. ב-Wiz, בנינו ושיפרנו את צינור (Pipeline) הזיהוי שלנו כדי להתמודד עם האתגר של הבנה וזיהוי של שינויים בכוונת הסוכן.

מקרה בוחן: תקרית ה-OpenAI Hugging Face

במהלך הערכת אבטחת סייבר, סוכני AI המונעים על ידי שילוב של מודלי OpenAI עקפו את בקרות הבידוד שנועדו להשאיר אותם בתוך ארגז חול (Sandbox), הקימו ערוץ תקשורת לא מורשה באמצעות מנהל חבילות כלוח הודעות מאולתר, ותיאמו ביניהם במשך מספר ימים כדי לחדור לתשתית הייצור של Hugging Face.

בניתוח מפורט של האירוע, ⁦OpenAI⁩ שיתף את ניתוח האירועים המלא, כולל ההודעות שפרסמו נחיל הסוכנים בלוח ההודעות המאולתר. בדוח המלא, אנו יכולים לראות בבירור כיצד הכוונה עברה בהדרגה מפתרון ⁦ExploitGym⁩ לחיפוש אחר מפתח התשובה למבחן ההשוואה בשירותי צד שלישי, כולל ⁦HuggingFace⁩.

זוהי דוגמה ברורה למה שמייחד סוכנים ⁦AI⁩ מיישומים מסורתיים. הסוכנים לא פשוט ביצעו קבוצה מוגדרת מראש של פעולות. הם חשבו כיצד להשיג מטרה, התאימו את הגישה שלהם ונקטו בפעולות שמנקודת המבט שלהם היו הגיוניות. כדי להבין כוונות ודפוסי חשיבה, מגינים זקוקים לטלמטריה שמגיעה ישירות מהמודלים הללו.

הבנת פעולות סוכנים באמצעות טלמטריית קלט ופלט של מודלים

יומני קלט/פלט (I/O) של מודלים מספקים לנו הזדמנות לגשת למסלול המחשבה של הסוכן. תיעוד טלמטריה זה לוכד כל שכבה של האינטראקציות של הסוכן, כולל בקשות משתמש, הנחיות מערכת (System Prompts) המגדירות את הכוונה, מפרטי כלים ותוצאותיהם, וכן את הפלט המלא של המודל ואת תהליך הסקת המסקנות הפנימי שלו.

כדי להדגים את הכוח והמורכבות של יומן זה, ניקח דוגמה מהדמיות ההתקפה הפנימיות שלנו, עליהן נרחיב בהמשך הבלוג הזה: ארגון פורס סוכן ⁦AI⁩ אוטונומי כדי לבדוק ולפתור כרטיסים לתמיכת לקוחות. סימולציה זו, יחד עם כל שאר ההתייחסות בבלוג זה, משקפות תרחישים אמיתיים שראינו בטבע. הם אינם מכילים דומיינים או מידע מהעולם האמיתי.

בזרימת העבודה היומית שלו, הסוכן מקבל הוראה פשוטה: הגיע כרטיס תמיכה חדש. נא לטפל בזה.

אנחנו יכולים לראות שהסוכן שמח לעשות מעשה. זה קורא לכלי להביא את הכרטיס ולקרוא אותו.

בקשת הכרטיס הזה נראית אופיינית, אבל חקירה מעמיקה יותר מגלה פעילות חשודה. הכרטיס מנחה את הסוכן לשלוח מייל ללקוחות, עם קישור המבקש מהם "לאשר מחדש" את פרטיהם. הקישור נראה לגיטימי לחלוטין, ומגיע ממקור מהימן. עם ההקשר של יומני המודל, אנו יכולים לראות שהקישור מוביל למעשה לאתר אינטרנט שנשלט על ידי תוקף חיצוני.

הסוכן עוקב באופן לא ביקורתי אחר ההוראות המוטמעות בכרטיס, כפי שניתן לראות ביומן. הוא משתמש בהרשאות הלגיטימיות שלו כדי לשלוח את המייל ומסמן את הכרטיס כפתור.

לכלי אבטחה מסורתיים, זה נראה כמו תעבורה רגילה ומורשית: חשבון שירות מאומת הקורא ל-⁦SES⁩ כמתוכנן. רק על ידי ניתוח יומני הפניות של המודל נוכל באמת להבין ולחקור מה באמת קורה! התיאום בין תוכן הכרטיסים הלא מהימנים, ההיגיון הפנימי של הדגם ושיחות הכלים הבאות מגלה שהזרקה עקיפה פשוט הפכה סוכן תמיכה לממסר התחזות.

האירוע הזה לא יגיע לעמוד הראשון של העיתון, אבל הוא כמעט זהה לאירועים שכן. זו בדיוק הסיבה שהנראות לתוך שכבת המודל היא כל כך חשובה, ומדוע ניתוח טלמטריית קלט ופלט של מודל הוא חלק כה קריטי בגישה שלנו.

בניית צינור זיהוי ותגובה ל-AI

אמנם דוגמה זו מציגה עד כמה היומנים האלה חזקים, אבל היא גם מדגישה את הניואנסים הנדרשים לעבוד איתם, ואת העין החדה הנדרשת כדי לחשוף את מה שהם מכילים. זה הופך את יצירת זיהויים יעילים עבור טלמטריה זו למאתגרת במיוחד.

זהו המקום שבו ניתוח מבוסס LLM יכול באמת להועיל למגנים, בכך שהוא מספק ניתוח סמנטי עמוק ויכולת הסקת מסקנות. פתרון שניתן להרחבה חייב להתחשב בעובדה ששיחות שונות דורשות רמות ניתוח שונות. פתרון מוכן לייצור צריך לנתח ביעילות כל הנחיה, ולהפעיל רק את רמת האינטליגנציה הנדרשת בכל שלב. לכן יצרנו צינור עבודה שמעלה בהדרגה מועמדים מעניינים לניתוח מעמיק באמצעות LLM, מה שמבטיח שהשיחות החשובות ביותר ינותחו לזיהוי שינויים בכוונה.

הצינור מתחיל באיסוף יומנים, שבו אנו קולטים לוגים מספקי שירותי ענן ומודלים. לאחר מכן, אנו מציגים את הקבוצה הראשונה של מועמדים לפעילות חשודה פוטנציאלית על ידי הצלבה מול דפוסי Regex נפוצים, ה-Wiz Secrets Engine ו-SLMs שונים. זוהי נקודת התחלה מצוינת לחשיפת פעילות זדונית וזיהוי מהיר של התראות אמת (True Positives).

לאחר מכן, הטלמטריה עוברת ניתוח קל ⁦LLM⁩ כדי לסנן יומנים שפירים, מעניינים משטחים ולהפחית רעש. הטלמטריה המסוננת הזו עוברת לאחר מכן ניתוח ⁦LLM⁩ יסודי, מועשר בהקשר הסביבתי הרחב יותר והשוואה אליה. ניתוח יסודי זה הוא המקום שבו המנוע יכול לפרש את ההוראה, להבין את הפעולות שננקטו, ובסופו של דבר לתת פסק דין על כוונת זדון.

לבסוף, המנוע מתאם את פסקי הדין הללו עם אירועי ענן וזמן ריצה כדי לקבוע מה פעולות הסוכן עשו בפועל בסביבה. Prompts ושיחות כלים חושפות למה סוכן התכוון; טלמטריית ענן וזמן ריצה חושפת מה קרה בפועל. המתאם הזה הוא מה שמפריד בין איומים אמיתיים לרעש. קריאת כלי יכולה להיראות תמימה לחלוטין בשכבת המודל, בעוד שטלמטריית זמן הריצה מראה שהיא יצרה Reverse Shell. לעומת זאת, הנחיה שנראית זדונית בבירור עשויה שלא להשפיע כלל על העולם האמיתי, מכיוון שארגז חול, גבולות הרשאות או בקרות רשת עצרו את הפעולה לפני שיצאה לפועל. רק על ידי חיבור ההיגיון של המודל לקריאות API בענן, הרצת תהליכים וחיבורי רשת שבאו לאחר מכן, המנוע יכול להעריך את ההשפעה האמיתית של התנהגות הסוכן ולהציף את האירועים החשובים.

בואו נראה את זה בפעולה. בתרחיש לדוגמה אחר, סוכן AI זדוני בשם SOC-2 רץ בסביבת היעד. הסוכן נקרא במפורש "SOC-2" כדי לגרום ל-LLM להיות מתירני יותר. לסוכן אין הרשאות רחבות יותר, אך הוא יכול למצוא סוכנים אחרים בסביבה מרובת סוכנים. בסימולציה הספציפית הזו, הסוכן מתמרן סוכני CI/CD וסוכני ניתוח נתונים כדי להוציא נתונים רגישים למשאב שבשליטת הסוכן. כך צינור הזיהוי מנתח את התרחיש:

• המנוע יתחיל בהפעלת בדיקת מועמדות ראשונה על כל הסוכנים בסביבה, כדי לבדוק אם אינטראקציות בין סוכנים מעלות דגלים חשודים. מכיוון שיש הרבה Secrets ו-PII בתוצאות הכלים, יחד עם מספר אינטראקציות רגישות המתועדות בקלטים ובהנחיות מערכת, האירוע ימשיך בצינור לצורך ניתוח.

• הצינור ינתח את האירוע למבנה יומני ⁦LLM⁩ גנרי, כולל קלט, הנחיות מערכת, פלטים, תיאורי כלים ומידע זהות.

• שדות קלט המשתמש וקלט הכלי נשלחים למודל סינון מקדים (Pre-filter LLM) לניתוח פעולה ראשוני. אם הפעולה אינה מוגבלת, ה-LLM יעביר אותה לשלב הבא. במקרה שלנו, המסנן המקדים סימן את הפעילות כחשודה, ולכן היא עברה לשלב הבא.

• לבסוף, שדות השיחה המנותחים המלאים עוברים לניתוח חזק יותר ⁦LLM⁩, ומספקים פסק דין סופי ותווית חומרת האיום על הסוכנים. זה מספק לצוותים את הניתוח וההקשר כדי להבין מה באמת קרה. בתרחיש שלנו ה-⁦LLM⁩ נותן לכל פעולה של סוכן פסק דין זדוני עם תוויות שונות.

הצינור מספק ⁦Cloud Event⁩ מועשר עבור מתאם נגד ⁦Threat Detection Rules⁩ וקונטקסטואליזציה בתוך הסביבה הרחבה יותר, ומספק תמונה מלאה של הפעילות ברחבי הסביבה שלך.

בניית ⁦Benchmark⁩

צינור זיהוי חדש זה מורכב, עם חלקים ושכבות נעים רבים. ככל שאנו ממשיכים לבנות צינור זה, עלינו להבטיח שנוכל לבדוק באופן איטרטיבי עדכונים, כגון מודלים חדשים של ⁦SLM⁩, עדכונים להנחיות הניתוח ⁦LLM⁩ וכו'.

כדי להבטיח שנוכל להמשיך ולשפר את הצינור, היינו צריכים לבנות בנצ'מרק מקיף של פעילות סוכני AI. כדי לספק למנוע את המידע הזה, צוות המחקר שלנו הדמה מגוון רחב של סוכני AI אוטומטיים בסביבות בדיוניות מבוקרות שעוצבו במודל של תנאי תקיפה מהעולם האמיתי. סימולציות אלו כללו למעלה מ-100 תרחישים, המדגמים כיצד סוכנים מוטמעים כיום בארגונים. סוכנים אלה פעלו כ:

בסימולציות, סוכנים אלה קיימו אינטראקציה עם מודלים אמיתיים ⁦LLM⁩ כדי ליצור יומנים מציאותיים. הטמענו גם מערכת אוטומטית שיוצרת ללא הרף תרחישים חדשים המבוססים על דוגמאות תקיפות מהעולם האמיתי, אותן אנו מריצים כנגד הצינור כדי לפקח על יעילותה.

סימולציה זו כללה 57 ⁦Injected Attacks⁩ ו-45 ⁦Benign Workflows⁩, מה שמבטיח שהכיסוי מורחב לתוצאות שגויות כמו גם לאיומים אמיתיים. הבדיקות שלנו כיסו מגוון רחב של סוגי התקפות, כולל:

• Prompt Injection: התעלמות מהוראות, מצב מפתח (Dev mode), מפרידים, חטיפת אישיות, חילוץ הנחיות מערכת

• נתונים ו-⁦PII⁩ Exfil: ⁦SQLi⁩, ⁦PII⁩ חילוץ, ⁦covert/webhook⁩ exfil, ריגול חוצה תיבת דואר נכנס

• Secrets Abuse: Dump של משתני סביבה, גישה ל-IMDS, קריאת קבצי הרשאות, גניבת מפתחות פריסה/טוקנים, מחרוזות חיבור לבסיסי נתונים

• Execution & Persistence: התמדה באמצעות Bashrc, הורדה והרצה (Download-and-exec), חציית נתיב (Path traversal), יצירת ניצול (Exploit creation)

• Supply Chain & CI/CD: לוגים/PRs של מבנה (Build) מורעל, Typosquatting, ווים (Hooks) לאחר התקנה, תפקידי IAM זדוניים

• ⁦Agent Abuse⁩: אוטונומיה מוגזמת, פריסות חוצות-ערוצים, הזרקות עקיפות של ספרי הפעלה והתקפות תיאום מרובות סוכנים

מה זה ⁦AI⁩ ⁦Detection and Response⁩ (⁦AIDR⁩)?

⁦AI⁩ זיהוי ותגובה (⁦AIDR⁩) היא יכולת אבטחה שמנטרת את המערכות ⁦AI⁩ שלך, ההנחיות, הסוכנים, המודלים וצינורות הנתונים שמזינים אותם, ואז פועלת כשמשהו משתבש.

מה הלאה?

הצוות שלנו עובד קשה על בנייה והרחבה של צינור הזיהוי והתגובה ל-AI שלנו ועל הגדלת סט הבנצ'מרק. אנו מחברים ללא הרף פלטפורמות נוספות ומקורות טלמטריה כדי להרחיב את הנראות ולהגדיל את הכיסוי.

יומני קריאה (Invocation logs) של Bedrock זמינים כעת עבור לקוחות Wiz Defend בתצוגה מקדימה פרטית. אם אתה לקוח Wiz קיים וברצונך להצטרף לתצוגה המקדימה הפרטית, פנה למנהל החשבון שלך ב-Wiz. עבור לקוחות חדשים המעוניינים לאבטח פעילות של סוכני AI, אנא צור קשר עם הצוות שלנו עוד היום.

המשך לקרוא

⁦Investing Together⁩: ⁦Wiz Defend and Google Security Operations⁩

#ai-security#threat-detection#agent-behavior#llm-security
קרא במקור