חזרה לפיד
articlesמקור: Snyk Blog1.8.2024

אינפוסק אירופה: 4 טיפים לאימוץ בטוח של AI בארגון

אמ;לק

סיכום ארבעה לקחים חשובים מכנס Infosec Europe 2024 בנוגע לאימוץ מאובטח של טכנולוגיות AI. הטיפים מתמקדים באסטרטגיות מניעה, ניהול סיכונים ואבטחת נתונים בסביבות מונעות AI. נדון כיצד לשלב AI בבטחה בתהליכי פיתוח.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Infosec Europe session: 4 tips for safer AI adoption

אינפוסק אירופה: 4 טיפים לאימוץ בטוח של AI בארגון

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

אימוץ ה-AI ממשיך לנוע במהירות מסחררת בעסקים ברחבי העולם, כפי שעולה מדו"ח של Coatue המשווה בין אימוץ AI לאימוץ המוקדם של האינטרנט, ומצא כי הצמיחה ב-AI מתרחשת במהירות כפולה מזו של האינטרנט בזמנו.

בעוד חברות מתקדמות עם פתרונות פיתוח תוכנה מבוססי AI, צוותי אבטחה מתמודדים עם האתגר להניע חדשנות תוך כדי הצבת "בלמים" בעת הצורך כדי למנוע סיכונים הנלווים לכלי AI, כגון הצעות קוד לא מאובטחות ו"הזיות" (hallucinations) של ספריות.

Liqian Lim, מנהלת שיווק מוצר בכירה ב-Snyk, שוחחה עם לקוח Snyk, קווין פילדר (Kevin Fielder), CISO ב-NatWest Boxed & Mettle, בכנס Infosecurity Europe 2024. הם התעמקו ברבים מהסיכונים וההזדמנויות הכרוכים ב-AI והציעו עצות ל-CISOs שרוצים לאמץ את הטכנולוגיות העוצמתיות הללו בבטחה. הנה כמה מההצעות המרכזיות שלהם:

1. סיווג השימוש ב-AI לפי קריטיות ההשפעה העסקית

לכל תחום בעסק שלך יש רמת סיכון וקריטיות שונה. אימוץ AI בתחום לא קריטי עשוי שלא להשפיע על רמת האבטחה, אך אימוץ בתחום חיוני של העסק עלול לשנות את כל מפת הסיכונים שלך ולסכן נכסים רגישים. בניהול אבטחה בנושאים הקשורים ל-AI, CISOs יכולים לחסוך זמן ומשאבים על ידי התמקדות בתחומים המהווים את הסיכון הפוטנציאלי הגבוה ביותר.

לדברי פילדר: "לדוגמה, [בואו נבחן שימוש ב-AI] לשיפור שירות הלקוחות. זה למעשה סיכון נמוך מאוד במונחים של נזק לאבטחת אפליקציות (AppSec)... אך בהתאם לתחום העיסוק שלכם, יהיו אזורי סיכון גבוהים יותר. עם דברים כאלה, התקדמו לאט מאוד והיזהרו מאוד".

אל תסתמכו על LLMs בלבד כדי לקבוע אם הקוד מאובטח - השתמשו במקום זאת ב-AI guardrails

מכיוון שמודלי שפה גדולים (LLMs) לומדים מהנחיות (prompts) קודמות, יש להם יכולת מרשימה לקלוט מה בני אדם רוצים לראות ולהפיק מידע דומה. למרבה הפלא, אנשים אף ראו מודלי AI מציעים הסברים מטעים לכך שהגיעו למסקנה מסוימת, פשוט כי ההנחיות שלנו לימדו אותם מה אנחנו רוצים לשמוע. לכן, חברות לא יכולות להסתמך על ה-LLM עצמו כדי להעיד על רמת האבטחה שלו, על הרציונל לקבלת החלטה מסוימת, וכיוצא בזה.

במקום זאת, עליך להשתמש במשאבים שונים אחרים כדי לאמוד את האבטחה והאיכות של קוד שנוצר על ידי AI. כדי להמחיש זאת, פילדר ציין את החשיבות של בדיקת מידע שנוצר ב-AI בדרכים הנכונות ושילוב "אדם במעגל" (human-in-the-loop) באזורים בסיכון גבוה. אף שייתכן שבדיקת קוד שנוצר ב-AI נראית דומה לבדיקת סוגי קוד אחרים, ישנם הבדלים חשובים, כמו היכולת לעמוד בקצב ובקנה המידה של הקוד שנוצר ב-AI. פילדר הסביר: "כאשר יש לכם AI שמפיק את הקוד, ודאו שיש לכם את ה-guardrails (מעקות הבטיחות) הנכונים סביבו, כפי שהיה צריך להיות מלכתחילה. כך, הפלט נבדק ומאובטח כראוי".

הוא חילק את מעקות הבטיחות הללו לשלושה שלבים:

כלי SAST מדויק ומהיר כמו Snyk Code יכול לעזור לך לזהות ולתקן באופן אוטומטי קוד שנוצר על ידי אדם ועל ידי AI בזמן אמת — הכל מתוך ה-IDE של המפתחים, כדי למזער החלפת הקשרים והפרעות לזרימת העבודה.

שימו לב למודל האימון והגן עליו מפני התקפות.

הדוברים ציינו גם את החשיבות של הכרת מודלי האימון שבהם כלי ה-AI שלכם משתמשים לייצור פלט, ועידוד הצוותים האחראים על האימון לנקוט באמצעי זהירות. נקיטת זהירות סביב מודלי האימון של כלי ה-AI שלכם היא חיונית, שכן תוקפים יכולים לנצל את המערכת שלכם באמצעות שיטות התקפה כמו prompt injection אם אינכם סלקטיביים בנתוני האימון. התקפות אלו עלולות להתרחש כאשר משתמשים זדוניים מנחים אסטרטגית את ה-LLM לבצע משימות מחוץ להיקף המיועד להם. ניתן להגן על מודל האימון מפני קליטה ושימוש בהנחיות זדוניות על ידי שמירה על אדם מיומן בלופ ושימוש באימות קלט כדי לחסום הנחיות בעלות סימנים מובהקים של פעילות זדונית.

במילותיו של פילדר: "צוותי אבטחה לא תמיד מעורבים בהדרכה, אך הם יכולים להנחות אנשים כיצד לבצע אותה ואילו דברים לקחת בחשבון: מה קורה אם מישהו שואל את השאלה הלא נכונה? מה קורה אם מידע שגוי נכנס למודל? איך מנהלים את זה? איך גורמים לו 'לשכוח' מידע אם הוא למד דברים לא נכונים?"

בנוסף, הצעות אלו יכולות לעזור לכם לשאול שאלות לגבי פתרונות ה-AI של ספקי צד שלישי ולהעמיק במודלי האימון שלהם. באופן כללי, גישת "קופסה שחורה" להכשרת מודלי AI היא דגל אדום.

דע היכן ⁦AI⁩ קיים בתוך ערימת הטכנולוגיה הנוכחית שלך.

חשוב גם להבין שכנראה ישנם פתרונות AI רבים שכבר נמצאים בשימוש בארגון שלכם. עם זאת, עשוי להיות מאתגר לאתר אילו פתרונות מבוססי AI כבר נמצאים בתוך העסק, מכיוון שאפליקציות צד שלישי רבות משיקות תכונות AI מבלי ליידע את הלקוחות שלהן בצורה מספקת.

פילדר אמר: "ה-AI פשוט זוחל לתוך אפליקציות עסקיות. ספקים משלבים אותו, ולא כולם בהכרח נותנים לכם אפשרות שלא להשתמש בו. או שאולי אפשר [לבטל את השימוש]... אבל צריך לעבור תהליך מפותל כדי לא לקחת חלק בתכונות ה-AI. לדוגמה, אחד מאמולטורי הטרמינל שלנו החל להשתמש ב-LLM כדי להציע הצעות טובות יותר... הייתם חושבים שאמולטור טרמינל הוא הדבר הכי פחות מסוכן שאתם משתמשים בו, ואז פתאום, יש בו AI".

לכן, האתגר המתמשך שארגונים צריכים להתמודד איתו יהיה ביצוע מלאי של כל יישומי צד שלישי אלה והבנה כיצד ואיפה ה-AI משמש בתוכם. שוב, התחלה מהתחומים הקריטיים ביותר לעסק בארגון שלכם והמשך משם עשויה לעזור.

Snyk: שותף אבטחה לכלים ⁦AI⁩ שלך

למרות שזה עלול להרגיש כתחרות לקדם את הטכנולוגיה שלכם ולנצח ב"מרוץ ה-AI", תנועה בזהירות למען האבטחה משתלמת. עם זאת, אין צורך לעצור את החדשנות או לדרוך על האצבעות של צוותי הפיתוח כדי לעשות זאת. שימוש בפתרונות אבטחה שעובדים עם זרימות עבודה קיימות של פיתוח ונעים במהירות של ה-AI יכול לעשות את כל ההבדל.

Snyk משלימה את עוזרי הקידוד המבוססים על AI של ימינו עם סריקות SAST מהירות ותיקוני פגיעות אוטומטיים בלחיצה אחת. אנו מציעים גם:

• בדיקות בקשות משיכה (Pull request) כרשת ביטחון נוספת כדי להתאים למהירות המוגברת שבה קוד AI נוצר ומוכנס למערכת;

• הצעות לפעולות והסברים בעת זיהוי פגיעות, הכל בתוך ה-IDEs הקיימים של המפתחים;

• תובנות מונחות הקשר המבוססות על פרופיל העסק והסיכון הספציפי של הארגון שלכם.

למידע נוסף על התמודדות עם נוף ה-AI המשתנה במהירות של ימינו, עיינו בדף הטיפים (Cheat Sheet) שלנו לפיתוח מאובטח עם AI.

קרא עוד

סניק ⁦UNFILTERED⁩: ⁦Inside Our First-Ever Customer Summit⁩

בפסגת הלקוחות הראשונה של Snyk, מנהיגי אבטחה חלקו נקודות מבט גלויות בנוגע לסיכוני AI, תיקון פגיעות וניהול סוכנים אוטונומיים. חמישה נושאים חושפים כיצד צוותים מתאימים את האבטחה למהירות של ה-AI.

⁦Turn Your Vulnerability Backlog Into Pull Requests With Agentic Remediation⁩

ה-Evo Remediation Agent נמצא כעת בגרסת Open Preview, ומביא פתרון תלות אוטומטי ל-Evo Agentic AppSec. צוותי AppSec יכולים כעת להריץ תיקון מתמשך.

⁦AI⁩ ⁦Model Risk Depends⁩ על What the ⁦Model Can Reach⁩

ציון הסיכון של מודל הוא רק חלק מהתמונה: ההשפעה שלו תלויה בנתונים, בכלים ובפעולות שהאפליקציה שלו יכולה להגיע אליהם. למדו כיצד צוותי אבטחה יכולים לאמת טווח הגעה זה ולבחור בקרות ממוקדות.

#ai-security#infosec#secure-ai-adoption#gen-ai
קרא במקור