חזרה לפיד
articlesמקור: Snyk Blog30.7.2026

התוקפים לא נחים: האתגר של בדיקות אבטחה בעידן ה-AI

אמ;לק

השימוש ב-AI מאיץ את הפיתוח אבל גם את יכולות התקיפה. צוותי אבטחה חייבים לבצע בדיקות מתמשכות ואימות ידני לכל תוצר של כלי AI כדי להקטין סיכונים.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: The Attacker Never Sleeps, Neither Can Your Testing

התוקפים לא נחים: האתגר של בדיקות אבטחה בעידן ה-AI

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

לפני כמה חודשים כתבתי ש-⁦AI⁩ בונה את משטח ההתקפה שלך מהר יותר ממה שאתה יכול לבדוק אותו. אני עומד על כל מילה שכתבתי אז. אבל בחודשים שחלפו מאז, אחרי יותר ממאה שיחות עם ⁦CISOs⁩, ⁦CIOs⁩, ו-⁦CTOs⁩ כמעט בכל ענף וגיאוגרפיה, ראיתי את התמונה מתחדדת והרבה יותר דחופה. משטח ההתקפה היה רק ​​חצי מהסיפור, כי גם פרופיל התוקף השתנה.

הרשו לי להתחיל עם החדשות הטובות, כי יש מהן הרבה מאוד. אנו חיים בעידן של שפע תוכנה. מעבדות החזית מתמחרות כיום את שוק הקוד שנכתב על ידי AI בטריליוני דולרים, וביחד, נפיץ השנה יותר תוכנה מכל שנה אחרת בהיסטוריה. עבודה שנמשכה בעבר רבעון, לוקחת כעת אחר הצהריים אחד. השינוי הזה הוא אמיתי, הוא יוצא דופן, והוא אינו הפיך.

אולם מתחת לשפע הזה מסתתר פער שכמעט איש אינו לוקח בחשבון: פער האמון. כיום אנו מסוגלים לייצר תוכנה מהר יותר ממה שאנו מסוגלים לתת בה אמון, ואותה יכולת הסקה שיצרה את השפע הזה, נחתה כעת בידי האנשים שמנסים לפרוץ אותה.

התוקף שאף פעם לא ישן

הנה מה שהשתנה בראש סדר העדיפויות שלי, וזה הדבר הראשון שאני שומע כיום ממנהיגים. במשך עשרים שנה, היריב שלנו היה בסופו של דבר אנושי, מוגבל בזמן, בקשב ובעלויות. האילוץ הזה נעלם. ברגע שלמעבדת חזית אחת יש מודל בעל יכולת סייבר ויכולת הסקה, למעבדה השנייה הוא יהיה זמין תוך חודשים, ומודלים פתוחים מקבילים מופיעים זמן קצר לאחר מכן.

ביוני, ראשי המודיעין של ה-Five Eyes אמרו את המובן מאליו: בינה מלאכותית בחזית הטכנולוגיה תשנה את התקפות הסייבר ואת ההגנה בתוך חודשים, לא שנים, וארגונים צריכים לפעול עכשיו. בנובמבר האחרון, חברת Anthropic חשפה כי קבוצת תקיפה בחסות מדינה השתמשה במודלים שלה כדי לנהל כ-80 עד 90 אחוזים מקמפיין ריגול פעיל נגד כ-30 מטרות, כאשר מפעילים אנושיים התערבו רק בנקודות החלטה בודדות. חלק מהחדירות הללו צלחו. היריב כיום הוא תוקף שלעולם לא ישן. הוא מנתח את היישומים שלך במהירות המכונה, בלוח זמנים שאף צוות הגנה המאויש לפי הסטנדרטים של העולם הישן לא יכול לעמוד בו. השעון המתקתק בנושא זה כבר לא נמדד לפי מחזורי תקציב.

דמיין מגדל ⁦Jenga⁩

כשאני מנסה להמחיש זאת לדירקטוריון, אני משתמש בדימוי של מגדל Jenga: סיכונים נערמים בשכבות, כשכל אחת מהן הופכת את המבנה כולו למעורער יותר.

השכבה התחתונה היא הסיכון הקיים שלך, מופעל כנשק

כל תוכנית אבטחה שנבנתה אי פעם קיבלה בשקט את עסקת החבילה הבאה: תקן את הבעיות ברמת חומרה גבוהה וקריטית, ותן לכל השאר להישאר, כי שרשור בעיות קטנות יותר לכדי פריצה אמיתית היה קשה ואיטי מדי מכדי שתוקף אנושי יטרח לעשות זאת. אבטחת את דלת הכניסה והדלת האחורית ואמרת לעצמך שאף אחד לא יביא סולם לחלון הגג. ובכן, עכשיו לתוקף יש רחפן לחלון הגג.

כל צבר המשימות (backlog) הפך לרלוונטי, ונתוני הלקוחות שלנו מראים שהצברים האלה מוכפלים בערך ככל שה-AI מאיץ את הפיתוח. עם הקצב שבו סוכנים (agents) בונים תוכנה, אתה לא מסתכל רק על עוד קצת קוד; אתה מסתכל על סדרי גודל של כמות גדולה יותר של קוד, ואיתו, יותר פגיעויות באופן אקספוננציאלי. סוכנים עדיין אינם טובים כמו מהנדס אנושי מיומן (אני טוען שזו ההגדרה האמיתית של AGI), אך ביום שבו יהיו – ועד אז, כפי שאמרה Jen Easterly, אין לנו באמת בעיית אבטחת סייבר אלא בעיית איכות תוכנה. ה-AI פשוט הגדיל את הבעיה הזו באופן משמעותי.

השכבה האמצעית היא סוג חדש לגמרי של סיכון מהאופן שבו סוכנים בונים

סוכנים אינם משתמשים בשרשרת האספקה האנושית; הם מושכים לעצמם שרתי MCP, מיומנויות וכלים משלהם. המחקר שלנו על המערכת האקולוגית הזו חשף סוג חדש לחלוטין של פגם. אנחנו קוראים להם זרימות רעילות (toxic flows), והם חמורים מספיק כדי לגרום להסרה מייצור של שרת MCP בשימוש נרחב בכמה מהחברות הגדולות בעולם. והתוכנה הזדונית כאן אינה נראית כמו תוכנה זדונית קונבנציונלית: אלו יכולות להיות שלוש שורות של אנגלית פשוטה בתיאור כלי, שמורות בשקט לסוכן לעשות משהו הרסני. אתה לא יכול להסתמך על התאמת תבניות כדי לתפוס כוונה זדונית.

נוסף על כך, הסוכנים עצמם הם לא-דטרמיניסטיים: תן לאחד מהם מטרה, והוא יתנהג כמו מחפש מטרה בלתי נלאה, שמוכן לעקוף כל בקרת אבטחה שעומדת בינו לבין היעד. צפינו בסוכנים יוצרים בשקט עותקים פרטיים של נתונים רגישים "לכל מקרה". יש למשול בהתנהגות הזו ולכוון אותה כדי להישאר בנתיבים המוקצים לה, ולא לתת לה לסטות מהדרך.

השכבה העליונה היא שכל חברה הופכת לחברה סוכנת

AI אוכלת את התוכנה, כפי שהתוכנה אכלה את העולם, מה שאומר שכל תהליך עסקי הופך בסופו של דבר לסוכן שמישהו בנה. עד כמה הסוכן הזה בטוח – זו הופכת לשאלה מסדר ראשון. לרוב הארגונים יש הרבה פחות נראות בתחום זה ממה שהם חושבים: ישבתי עם ארגונים מובילים שהיו בטוחים שיש להם חמישה מודלים מאושרים בפעילות, רק כדי להפעיל כלי גילוי (Discovery) ולמצוא יותר מחמישים.

מודלים הם רק קוד שמישהו מעתיק, מדביק ומריץ מקומית, ופתאום הוא נמצא בסביבת הייצור. וכאשר סוכן הופך ל-'דלת הכניסה' דה-פקטו שלך, מצבי הכשל הופכים להיות קונקרטיים מאוד. למשל, בוט שירות לקוחות שאפשר לשכנע אותו לחשוף מידע שאסור לו. (אני מודה שאני בעצמי שכנעתי בוט להתעלם מההוראות שלו, מתוך חוסר סבלנות בלבד ביום עמוס בנסיעות. זה עבד בניסיון הראשון. האם אתה באמת רוצה שזה יהיה הממשק של העסק שלך?)

השועל לא יכול לשמור על הלול

יש סיפור שכמה ספקי מודלים מספרים, ואני חייב להמשיך להפריך אותו: שה-AI שיוצר את כל הקוד וההתנהגות הזו הוא גם זה שיאבטח אותה. שהוא יבדוק את שיעורי הבית של עצמו. האם זה לא היה נוח לו המבקר ורואה החשבון היו אותו אדם?

כל איש אבטחה כבר יודע למה זה לא עובד, אז הרשו לי לומר זאת בפשטות: המחולל לא יכול להיות המאמת. מודל שמתבקש למצוא ולאשר את הפגמים של עצמו נמצא בניגוד עניינים מבני, והוא מתנהג בחוסר עקביות כשהוא מנסה לעשות זאת. הרץ אותו חמש פעמים מול אותה מטרה, ותקבל ממצאים שחופפים אולי במחצית מהמקרים. אי אפשר להפעיל תוכנית אבטחה על בסיס כזה.

המעבדות אינן הנבלים כאן: המודלים שלהן באמת שימושיים, ובשימוש נכון, הם מוצאים דברים שכלים מסורתיים מעולם לא יכלו למצוא. אבל מכיוון שהם אלו שיוצרים את רוב הבעיות, הם לא יכולים להיות השופטים הבלעדיים שלהן. אתה זקוק לעצמאות. (הקולגה שלי Nuno Loureiro כתב את הגרסה הטכנית המכרעת שמסבירה מדוע, תחילה על מדוע קוד שנוצר על ידי AI דורש בדיקות דינמיות התקפיות, ולאחר מכן על השושלת שמאחורי אבטחה התקפית מתמשכת. שני המאמרים שווים יותר מזמנך.)

הפחד הוא אמיתי, אבל גם התקווה

אני לא רוצה להשאיר אותך רק עם המגדל, כי החצי מלא התקווה של זה אמיתי באותה מידה, ושם בעצם נמצאת העבודה. יש מהלך לכל שכבה, וכל אחד מהם הוא משהו שאתה יכול לשים בידיו של מהנדס אבטחה היום.

• הגע לאפס צבר (zero backlog): חישובי התעדוף הישנים אינם תקפים מול תוקף שמשרשר בעיות בחומרה נמוכה שתיעדפת נמוך. זה נשמע בלתי אפשרי עד שאתה נותן ל-AI לבצע את התיקון. כיום יש לנו לקוחות, מהגדולים בעולם, הפועלים בצבר אפס כי סוכנים מבצעים את התיקון, ולא רק את האיתור.

• השתמש ב-AI כדי למצוא את מה שכלים דטרמיניסטיים לא יכולים... בזהירות: מודלי הסקה (Reasoning models) באמת חושפים בעיות שסורקים מחמיצים. בשימוש ככלי עזר, המבוסס על מאמת עצמאי, זהו יתרון אמיתי. בשימוש ללא בקרה, זה רק רעש. אנחנו מטמיעים במוצרים שלנו גישה למודלים ברמת מגן, בדיוק כדי שהצוותים יקבלו את היתרונות מבלי להסתמך על הטלת מטבע.

• בדוק את המערכות כפי שהתוקף יעשה: אם היריב שלך מתכוון לחקור אותך באופן אוטונומי עם מודל ברמת הסקה גבוהה, התשובה הכנה היחידה היא להריץ גרסת מגן של אותו מודל בדיוק מול היישומים שלך, ברציפות, בתוך הסביבה שלך, לפני שהם עושים זאת. המודל הישן לא יכול לעמוד בקצב: בדיקת חדירות (pentest) מסורתית מכסה בערך חמישה עשר ימים בשנה ומשאירה את 350 הימים הנותרים חשופים, באפליקציה שהפיצה עוד שלוש גרסאות בזמן כתיבת הדו"ח.

• מנע את מאה התקלות הבאות: תיקון אינסופי הוא לופ מפסיד אם לעולם לא תסגור את הברז. כוח העל האמיתי שלנו אינו להגיד למפתח "הנה בעיה" לאחר מעשה; זה לומר לסוכן, לפני שהוא מסיים את המשימה שלו: "לא, זה קוד לא מאובטח, זו חבילה גרועה, לך תתקן את זה". במילים אחרות: אבטחה בנקודת ההתחלה.

• עטפו את הכל בממשל (governance): גלה כל רכיב סוכן שאתה מפעיל, זהה את הסיכון האמיתי בכל אחד מהם, אכוף מדיניות – כולל אילו מודלים מותרים לאילו מקרים – ובצע בדיקות אדומות (red-teaming) על האפליקציות מבוססות ה-AI שאתה מפיץ, כי הן מתנהגות אחרת מכל תוכנה שאבטחנו בעבר.

• אבטח את התוצר. אבטח את כוח העבודה. אבטח את העסק: לופ לכל בעיה, מתוזמר כך שאדם יכול להישאר "בלופ" במקום לטבוע בו, כי בקנה מידה זה, ללא תזמור, אתה תיכשל. לופ נסגר רק כשמשהו עצמאי תוקף את מה ששלחת ומוכיח שהוא עמיד. איתור, תיקון וממשל הם ההגנה; אבטחה התקפית מתמשכת היא ההוכחה. אתה לא יכול לומר בכנות שאתה מוכן להתקפות אוטומטיות, או בטוח להציב סוכן מול העסק שלך, עד שמשהו יתקוף אותו כפי שהיריב יעשה. זה החזון שמאחורי Evo, וזה הכיוון שאליו בנינו.

שתי בעיות שאני לא מוכן להתעלם מהם

שני דברים נוספים מטרידים את מנוחתי, ואני חושב שהם שייכים לשיחה הזו למרות שהם גדולים יותר מכל ספק בודד.

בעיה 1: ריכוז ובחירה

יותר מדי כוח בידי מעט מדי מודלים הוא סיכון בפני עצמו – עבור חוסן, עבור ריבונות, ולאחרונה גם עבור עלות, שהפכה כמעט בן לילה לנושא ברמת הדירקטוריון. ארגונים לא צריכים לבחור באופן עיוור. הם זקוקים למאמתים עצמאיים שיכולים לומר להם אילו מודלים בטוחים לאילו משימות, כי התשובה היא לעיתים רחוקות שחור ולבן. כמה מודלים פתוחים זמינים נשמעים לכללים שלך בצורה נפלאה, אך לעולם אין לסמוך עליהם עם נתונים רגישים; אתה יכול לדעת זאת רק אם מישהו יבצע עבורך Red-teaming.

זו הסיבה ש-⁦Snyk⁩ חתומה כעת ונותנת את קולה ל-⁦Open Weights and American⁩ ⁦AI⁩ ⁦Leadership Letter⁩ לצד 270 חברות אחרות, כולל חברות כמו ⁦Microsoft⁩, ⁦Nvidia⁩, ו-⁦CrowdStrike⁩.

בעיה 2: קוד פתוח

זהו הדלק של הכלכלה המודרנית. רוב התוכנה היא בקוד פתוח, והיא נתונה תחת עומס שמעטים נותנים לו שם. עשרות אלפי פגיעויות שלא נחשפו נמצאות, לפי הערכתי, כבר בידיים פרטיות, לאחר שנמצאו על ידי קבוצות בעלות משאבים שמריצות בשקט את היכולות החדשות הללו נגד קוד פתוח. זוהי הבעיה של 'התוקף שכבר משתמש בסוכנים', המכוונת כלפי הכלל. מתחזקי הפרויקטים נקברים תחת תערובת של דיווחים אמיתיים וזבל שנוצר על ידי AI, ללא דרך לעמוד בקצב. כך נחלת הכלל קורסת תחת משקלה, וזו תהיה קטסטרופה. זו הסיבה שהפכנו את הפלטפורמה שלנו לחינמית עבור מתחזקי קוד פתוח בקהילה, צעד שאנו מאמינים שהוא רק מקדמה קטנה על אחריות גדולה הרבה יותר שכל התעשייה חולקת.

זו גם הסיבה ש-⁦Snyk⁩ מצטרפת ל-⁦Nvidia⁩ ולמנהיגי טכנולוגיה אחרים בברית ⁦Open Secure⁩ ⁦AI⁩.

מי בודק מה בונה ⁦AI⁩?

סגרתי את המאמר האחרון שלי בשאלה, והיא רק התחזקה: מי בודק, ובאמת תוקף, את הקוד ואת הסוכנים ש-AI בונה ומריץ בשמך? עבור רוב הארגונים, כרגע, התשובה הכנה היא... אף אחד. זהו פער האמון שאנחנו רואים. החדשות הטובות הן שהתשובה יכולה להיות אתה: חמוש ב-AI משלך, מכוון לכיוון הנכון, עם עצמאות מובנית ואדם במעגל ההחלטות. התוקף לא ישן. גם הבדיקה שלך לא יכולה להרשות לעצמה לישון. אבל, בפעם הראשונה, היא לא חייבת.

Manoj Nair הוא סמנכ"ל טכנולוגיה וחדשנות (CTIO) ב-Snyk.

OpenAI נתנה ציון לשיעורי הבית של עצמה, ואז פרצה לסביבת הייצור

#devsecops#ai-security#continuous-testing
קרא במקור