חזרה לפיד
articlesמקור: Snyk Blog24.2.2026

הקמת מחלקת אבטחת AI: המקצוע החדש שכל עסק צריך

אמ;לק

עם כניסת מערכות אוטונומיות לארגונים, נוצר תפקיד חדש: מומחה אבטחת AI. התפקיד כולל הגנה על המודלים והנתונים של החברה מפני תקיפות ייחודיות לעולם הבינה המלאכותית. מדובר בהישרדות עסקית עבור חברות שבוחרות לשלב AI בליבת הפעילות שלהן.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: The Rise of the AI Security Engineer: A New Discipline for an AI-Native World

הקמת מחלקת אבטחת AI: המקצוע החדש שכל עסק צריך

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

אנו עדים להולדת מקצוע חדש בשילוב של הנדסת אבטחה ותפעול אבטחה, דיסציפלינה שלא הייתה קיימת לפני חמש שנים כי המערכות שהיא מגינה עליה לא היו קיימות לפני חמש שנים. כאשר בינה מלאכותית עוברת ממערכות ניסיוניות למערכות חיוניות וסוכניות מתחילות לתפוס, לנמק, לפעול וללמוד באופן אוטונומי, אנו זקוקים למגנים שיכולים לפעול באותה מהירות.

אני מדבר על AI Security Engineer.

בכנס ה-AI Security Summit של Snyk שנערך בסן פרנסיסקו באוקטובר האחרון, עמדתי מול 400 חדשני AI ואנשי אבטחה ונתתי תחזית: תוך שלוש שנים, לכל חברות Fortune 500 יהיו בצוות AI Security Engineers. לא כדבר נחמד שיהיה, אלא כציווי הישרדות. התגובה בחדר אמרה לי שאולי אני שמרן.

השינוי הבסיסי בהנדסת AI

יישומים מסורתיים הם דטרמיניסטיים: בהינתן אותו קלט, הם מייצרים את אותו פלט, ואתה יכול לבדוק, לבקר ולאבטח אותם באמצעות מתודולוגיות מבוססות. מערכות AI סוכניות (Agentic AI) שונות בכך שהן אינן דטרמיניסטיות מעצם תכנונן. במילים אחרות, הן מסיקות, מסתגלות ומבצעות פעולות בעולם.

יישום מבוסס LLM עשוי ליצור פלטים שונים בכל פעם שהוא פועל, וסוכן אוטונומי עשוי לבצע רצף של פעולות שאף אדם לא תכנת במפורש. הדינמיות הזו היא בדיוק מה שעושה את ה-AI לעוצמתי כל כך ובדיוק מה ששובר את מודלי האבטחה המסורתיים שלנו.

שקול זאת: Sam Altman הודה לאחרונה שדגמי AI הם כעת "כל כך טובים באבטחת מחשבים שהם מתחילים למצוא פגיעויות קריטיות." אם AI יכול למצוא פגיעויות במהירות המכונה, יריבים ינצלו אותן במהירות המכונה. ההגנות שלנו כבר לא יכולות לדשדש, והן לא יכולות להיעצר. ההגנות שלנו חייבות לפעול באותו קצב.

משטח ההתקפה התרחב לממדים שאנו עדיין ממפים. הזרקת הנחיות (Prompt injection), ניצול זיכרון, הרעלת מודלים (Model poisoning), חטיפת סוכנים, התקפות שרשרת אספקה על נתוני אימון, וגניבת מודלים באמצעות שאילתות הסקה. אלה אינם איומים תיאורטיים; הם מתרחשים עכשיו, ולרוב הארגונים אין אפילו את הנראות הנדרשת כדי לזהות אותם. ב-Snyk זיהינו את השינוי הטקטוני הזה והצגנו את Evo כקפיצת המדרגה האבולוציונית הבאה באבטחה עבור תוכנות AI-native.

אבטחת אפליקציות (AppSec) מסורתית היא תנאי סף, אבל AI דורש יותר

עם עשורים שביליתי באבטחת סייבר, אהיה ישיר: המסגרות הקיימות שלנו לא נבנו בשביל זה. לדוגמה, צוותי AppSec מסורתיים מאומנים למצוא פגיעויות בקוד, לא קלטים עוינים שמשנים את התנהגות המודל. צוותי אבטחת רשת עוקבים אחר דפוסי תעבורה, לא אחר זליגת נתונים עדינה שמתאפשרת באמצעות הנחיות שנכתבו בקפידה. אפילו מודלי האיום המתוחכמים ביותר שלנו מניחים רמה של דטרמיניזם שחסרה למערכות AI ביסודה.

האתגר הוא לא שאנשי האבטחה שלנו אינם מיומנים. הם, למעשה, יוצאי דופן. האתגר הוא שמערכות ⁦AI-native⁩ מציגות וקטורי תקיפה שלא קיימים בשום מקום אחר בערימת הטכנולוגיה שלנו:

• קלטים עוינים (Adversarial inputs): בניגוד ל-SQL injection, שמנצל פגמים בקוד, הזרקת הנחיות (Prompt injection) מנצלת את ההתנהגות המיועדת של המודל. הפגיעות אינה באג; כך המערכת עובדת.

• התקפות נתונים וזיכרון: מערכות סוכניות עם זיכרון מתמיד יכולות להיות מורעלות לאורך זמן, עם הוראות זדוניות שמוטמעות באינטראקציות שנראות תמימות. RAG והזרקת הנחיות עקיפה מנצלים את התשתיות הבסיסיות הללו.

• סיכון שרשרת אספקה של מודלים: כאשר אתה משלב מודל בקוד פתוח, מודל מרוחק המופעל על ידי API מגורמים לא מהימנים ובלתי נשלטים, או שרת MCP של צד שלישי, אתה יורש סיכון שלא תוכל לבדוק באמצעות ניתוח קוד מסורתי.

• חוסר חיזוי התנהגותי: סוכן שיכול "ללמוד" דברים לא נכונים. זיהוי מתי מערכת AI עברה פשרה עדינה מצריך הבנה לא רק של הקוד שלה, אלא של ההתנהגות שלה לאורך זמן.

זו הסיבה שאנחנו צריכים מומחים; מתרגלי אבטחה שהמשימה העיקרית שלהם היא אבטחת מערכות ⁦AI-first⁩ ו-⁦AI-native⁩ אלו.

הגדרת תפקיד ה-AI Security Engineer

אז איך נראה התפקיד הזה? בהתבסס על מה שלמדנו תוך הקמת יכולות אבטחת ה-AI של Snyk עצמה, ומתוך שיחות עם מאות ארגונים שנמצאים בחזית, להלן השקפתי על הפרופיל החיוני.

ה-AI Security Engineer פועל בצומת של שלוש דיסציפלינות שהיו נפרדות באופן מסורתי: אבטחת פלטפורמה, הנדסת AI/ML ומודיעין איומים. נוח לו באותה מידה לדון בהתקפות מבוססות גרדיאנט עם חוקרי ML ולהסביר את סיכוני המודל לדירקטוריון.

ה-AI Security Engineer הוא מפעיל אדפטיבי. הוא משגשג בחוסר ודאות, לומד מכל אירוע אבטחה, ומניח שהיריבים ינועו מהר יותר ממה שבקרות סטטיות יכולות לעמוד בקצב. הם מגלמים את מה שאנו מכנים לולאת ה-Agentic OODA: התבונן (Observe), נמק (Reason), פעל (Act), למד (Learn). המשמעות היא פעולה רציפה, אוטומטית ככל הניתן, ובפיקוח אנושי בעת הצורך.

העוסקים בתחום הם בונים לא פחות מאשר מגינים. ה-AI Security Engineer מתכנן ארכיטקטורות מאובטחות כברירת מחדל, ואז חושב בצורה עוינת על האופן שבו הן עלולות להיכשל. הוא מטמיע כלי זיהוי שמסוגלים לאתר חריגות התנהגותיות במערכות AI. הוא יוצר כלים שעדיין לא קיימים, כי בתחום חדש, הכלים עוד לא נכתבו.

והכי חשוב, הוא מבין שאבטחת AI אינה רק טכנית; היא עוסקת באמון, בהלימה (alignment) ובהבטחה שהמערכות שאנו בונים משרתות את המטרות שלשמן נועדו, מבלי לעבור סאבוטז' על ידי גורמים זדוניים או להידרדר להתנהגויות מזיקות.

הגדרת תפקיד מוצעת עבור AI Security Engineer

עבור ארגונים המעוניינים לייסד פונקציה זו, להלן מפרט תפקידים מרוכז:

⁦AI⁩ אבטחה ⁦Engineer⁩

משימה: להגן על מערכות ⁦AI-native⁩ - מודלים, סוכנים, צינורות ונתונים, מפני איומים מתעוררים תוך מתן אפשרות לחדשנות מאובטחת ⁦AI⁩ בקנה מידה.

• פיתוח ותחזוקה של מודלי איום עבור מערכות AI/ML, הכוללים הזרקת הנחיות, התקפות מודל, חטיפת סוכנים, הרעלת נתונים וסיכוני שרשרת אספקה

• הטמעת יכולות זיהוי ותגובה עבור סביבות AI, כולל ניטור התנהגותי וזיהוי חריגות

• בניית כלי אבטחה ואוטומציה עבור מחזור החיים של ה-AI: סריקת מודלים, אימות שושלת נתונים (data lineage), הגנת זיכרון, ובדיקות עוינות

• הטמעת אבטחת AI בתוך תהליכי העבודה של DevSecOps, תוך עבודה משותפת עם צוותי הנדסת AI, פלטפורמה ואבטחה

• פעל תחת מודל אבטחה אדפטיבי: התבונן, נמק, פעל, למד – הכל במהירות המכונה

• 5+ שנות ניסיון באבטחת סייבר או בהנדסת פלטפורמה עם חשיפה ל-AI/ML

• מיומנויות תכנות חזקות (Python או ערימות שפה מבוססות AI) והיכרות עם מסגרות ML

• ניסיון עם פלטפורמות ענן ומערכות מבוססות קונטיינרים או מערכות סוכניות

• ניסיון מוכח במידול איומים, ארכיטקטורת אבטחה ומומחיות בקידוד מאובטח

• הבנה עמוקה של וקטורי תקיפה ספציפיים ל-AI

• היברידיות של בונה-מגן: תכנון ארכיטקטורת מערכות מאובטחות, ולאחר מכן בדיקתן באופן עוין (adversarially test)

• חשיבה במהירות המכונה: הנחה שהיריבים נעים במהירות ה-AI

• שומר אתי: הכרה בכך שאבטחת AI עוסקת באמון ובטיחות, לא רק בבקרות טכניות

הציווי האסטרטגי לביטחון ⁦AI⁩

שקול מה עומד על הפרק. מערכות AI נפרסות לזיהוי הונאות, תמיכה בהחלטות קליניות, פעולות אוטונומיות, אינטראקציות עם לקוחות ויצירת קוד. אלו מערכות ייצור עם השפעה בעולם האמיתי. מערכת AI שנפגעה לא רק דולפת נתונים; היא מקבלת החלטות שגויות בהיקף רחב, לעיתים לתקופות ממושכות לפני שמישהו שם לב.

הסביבה הרגולטורית מתפתחת במהירות: חוק ה-EU AI Act, הנחיות ספציפיות לתעשייה ומסגרות אחריות מתהוות. ארגונים זקוקים לאנשי מקצוע שיכולים לתרגם את הדרישות הללו לבקרות טכניות ולהוכיח ציות לרגולטורים ולמבקרים.

ואז יש את מימד האמון. הלקוחות, השותפים והעובדים שלך צריכים לדעת שהמערכות שאיתן הם מקיימים אינטראקציה הן אמינות. שהן לא הורעלו, לא עברו מניפולציות ולא נפרצו. בנייה ושמירה על אמון זה דורשות מומחיות ייעודית.

זו הסיבה שב-Snyk הפכנו את אבטחת ה-AI לעדיפות אסטרטגית. פלטפורמת ה-Evo שלנו נבנתה במטרה להעצים את ה-AI Security Engineers, לספק להם את הנראות, אוטומציית המדיניות ותזמור האבטחה הסוכני שהם צריכים כדי להגן על יישומי AI-native לאורך כל מחזור חיי הפיתוח. אבל כלים לבדם אינם מספיקים; התעשייה צריכה לבנות את היכולת האנושית להשתמש בהם.

האם אתה מתכנן להגיע לכנס RSA במרץ 2026? אנו מזמינים אותך להצטרף להכשרת ה-Masterclass שלנו בנושא AI Security Engineer ולקבל תעודת סיום עבור מודולים שונים בנושאי AI-BOM, Red Teaming, אבטחת MCP, אבטחת יכולות סוכנים (Agent Skills), ועוד:

המלצות לאימוץ AI עבור ארגונים

אם אתה CISO, CTO או מוביל הנדסי, הנה ההנחיות שלי לבניית יכולת אבטחת AI:

• התחל עכשיו, גם אם בקטן. אל תחכה עד שיהיו לך 50 יישומי AI בייצור. זהה מהנדס אחד או שניים עם הכישרון הנכון והתחל לפתח את הפרקטיקה. עקומת הלמידה תלולה, והתחלה מוקדמת בונה ידע ארגוני.

• השקע בהדרכה. זו הסיבה ש-Snyk השיקה את תוכנית ההסמכה ל-AI Security Engineer לצד כנס ה-AI Security Summit שלנו. הכישורים הנדרשים אינם קיימים ברוב תוכניות הלימודים בתחום האבטחה או ההנדסה כיום. הכשרה מעשית בנושא אבטחת קוד שנוצר על ידי AI, בדיקות עוינות, אבטחת MCP ו-OWASP Top 10 עבור GenAI – כולם חיוניים.

• צור בית ארגוני. לא ניתן להשאיר את אבטחת ה-AI "יתומה" בין צוותי אבטחה לצוותי הנדסת AI. הגדר בעלות ברורה, קווי דיווח ונקודות אינטגרציה בין-צוותיות. הארגונים המצליחים ביותר שראיתי מתייחסים לאבטחת AI כדיסציפלינה ממדרגה ראשונה עם מנדט ומדדים משלה.

• אמץ אבטחה סוכנית (agentic security). כשם שמערכות ה-AI שלך הופכות לסוכניות, מערכות האבטחה שלך חייבות לעקוב אחריהן. סקירה ידנית וחוקים סטטיים לא יכולים לעמוד בקצב הדינמיות של יישומי AI. השקע בפלטפורמות המספקות תזמור אבטחה אדפטיבי ואוטומטי, שיכול להתבונן, לנמק, לפעול וללמוד לצד המערכות שהן מגינות עליהן.

• מדוד את מה שחשוב. זמן ממוצע לגילוי ותיקון של אירועים הקשורים ל-AI. כיסוי מערכות AI תחת תמונת מצב אבטחתית מוגדרת (רמז: התחל עם AI-SPM). יחס אוטומציה. וחשוב מכל: האם מערכת האבטחה שלך לומדת? האם אתה רואה פחות אירועים חוזרים לאורך זמן?

מסתכלים קדימה

אני מאמין שאנו נמצאים בפרקים המוקדמים של טרנספורמציה רב-עשורית, שבה מערכות AI יהפכו ליכולות יותר, אוטונומיות יותר, ומוטמעות עמוק יותר בתשתיות קריטיות, בעוד משטח ההתקפה יתרחב בדרכים שאיננו יכולים לחזות במלואן כיום. היריבים, שחקנים ממלכתיים, ארגוני פשיעה וכן, מערכות AI אחרות, כולם יהפכו למתוחכמים יותר. בעתיד הזה, AI Security Engineers לא יהיו נישה מיוחדת. הם יהיו נפוצים וחיוניים כמו מהנדסי אבטחת יישומים וענן כיום. כל ארגון שבונה או פורס AI יזדקק להם, וכל צוות אבטחה יזדקק להטמעה של המומחיות הזו.

החדשות הטובות הן שאנו רואים אנרגיה יוצאת דופן במרחב הזה. כנס ה-AI Security Summit שנמכר מראש הראה לי קהילה שרעבה ללמוד, לשתף ולבנות. אנשי המקצוע שנכנסים לתחום הזה מביאים יצירתיות וכושר הסתגלות שנותנים לי אופטימיות אמיתית. המקצוע מומצא ממש עכשיו, מודלי האיום נכתבים, הכלים נבנים והמסגרות צצות. אם אתה מקצוען אבטחה שתוהה האם להתמחות באבטחת AI, או מהנדס AI סקרן לגבי השלכות האבטחה של מה שאתה בונה, המסר שלי פשוט: כאן נמצאת הפעולה. זהו קו החזית.

#ai-security#career#cyber-defense
קרא במקור