כיצד למנף AI גנרטיבי באפליקציות ענן ללא סיכון למידע משתמשים
אמ;לק
המאמר מציג שיטות עבודה מומלצות באבטחה לשילוב מודלים של AI גנרטיבי באפליקציות ענן מרובות משתמשים (multi-tenant). הוא מתמקד בהימנעות מסיכון מידע לקוחות באמצעות שימוש נכון בטכנולוגיות אלו.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: How to leverage generative AI in cloud apps without putting user data at risk

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
• לאור ההתקדמות המהירה בתחום AI (GenAI) הגנרטיבי בשנה האחרונה, ארגונים רבים מתחילים לפתח פתרונות תוך שימוש בפתרונות GenAI כגון מודלים של שפות גדולות (LLMs)
• כאשר מפתחים מתחילים לשלב מודלים GenAI כחלק מאפליקציות הענן שלהם, הדבר מעלה חששות אבטחה חדשים: כיצד בונים בצורה מאובטחת שירותי ריבוי דיירים הממנפים את המודלים הללו?
• פוסט בלוג זה נועד ליישם את העקרונות של מסגרת בידוד הדיירים PEACH כדי לנתח את סוגי הסיכונים החדשים ש-GenAI מכניסה ליישומי ענן ולתת המלצות כיצד לאבטח את הנתונים הרגישים של הלקוחות שלך בצורה הטובה ביותר
• הישארו מעודכנים לפוסט הבא בבלוג שלנו בסדרה החדשה הזו בנושא אבטחת AI, שם נתעמק בנתונים שלנו על השימוש של לקוחות ענן בטכנולוגיה זו.
לאור ההתקדמות המהירה בתחום ה-GenAI בשנה האחרונה, ארגונים רבים מתחילים לפתח יישומים עם פתרונות GenAI, כולל מודלים של שפות גדולות (LLMs) כמו GPT-4, Alpaca ו-PaLM. למעשה, הנתונים שלנו מראים שזו כרגע הקטגוריה הצומחת ביותר בענן, כאשר מחצית מלקוחות הענן עושים שימוש בטכנולוגיות אלו.
השינוי הזה פתח מגוון רחב של יישומים חדשים המתאימים באופן מושלם ליתרונות הענן, וספקי שירותי ענן החלו להציע שירותי API מעשיים כדי לייעל פיתוח זה, כגון Azure Cognitive Service, Vertex AI של GCP ו-Amazon Bedrock.
עם זאת, שילוב מודלים של GenAI ביישומי ענן מחייב הקפדה על שיטות אבטחה מומלצות, אחרת משתמשי קצה עלולים להיות בסיכון לחשיפת נתונים. למרות שכבר התקיים דיון רב על הסיכונים המסחריים הפוטנציאליים הכרוכים בשימוש בשירותי AI (למשל, עובדים המדליפים נתונים קנייניים דרך ה-API הציבורי של ChatGPT), אנו מאמינים שעדיין יש מקום להתייחס לכמה דאגות אבטחה חשובות בנוגע לפיתוח שירותים המשלבים GenAI, כגון בידוד דיירים.
למה להתמקד דווקא בבידוד? כפי שהם מתוכננים, מודלים של GenAI יכולים להכיל ולהעשיר את עצמם בנתונים שמקורם במספר משתמשי קצה, מה שמעמיד שירותי ריבוי דיירים (multi-tenant) המשלבים מודלים אלו בסיכון גבוה לפגיעויות חוצות-דיירים (cross-tenant). בהתבסס על ניסיון העבר שלנו עם נקודות תורפה כאלה ביישומים מבוססי ענן – כגון ChaosDB, ExtraReplica ו-Hell’s Keychain – אנו מקווים להפחית את הסבירות לבעיות אלו ולצמצם את השפעתן לפני שהן יהפכו לבעיה כלל-תעשייתית.
בשנה שעברה פרסמנו את PEACH, מסגרת לבידוד דיירים עבור יישומי ענן. כפי שנראה בפוסט זה, עקרונותיה רלוונטיים באותה מידה בעת פריסת שירותים מבוססי ענן המשתמשים ב-GenAI. התוכן הבא נכתב מנקודת מבטו של צרכן GenAI על מנת לסייע לארגונים ליישם נכון בידוד בשירותי הענן שלהם המשלבים GenAI, וכן לאפשר למשתמשי קצה להבין טוב יותר את הסיכונים הכרוכים בשירותים מבודדים בצורה לא נכונה.
אנו מצפים לראות כיצד לקוחות ענן ימנפו את ה-GenAI, ופוסט זה הוא הראשון בסדרה שנועדה לעזור ללקוחות הענן להשתמש בצורה מאובטחת במודלים של GenAI.
הישארו מעודכנים לפוסט הבא שלנו, שבו נתעמק בנתונים שלנו על השימוש של לקוחות ענן ב-GenAI. אם ברצונכם ליצור עמנו קשר עם שאלות או משוב בנושא זה, אנא שלחו לנו דוא"ל.
אם אתם כבר מכירים מודלים של GenAI ואת וקטורי התקיפה שהם עלולים לחשוף בפני גורמים זדוניים, אתם יכולים לדלג לסעיף הבא.
המי ומה של GenAI
למען העקביות, לאורך פוסט זה בבלוג נשתמש במונחים הבאים כדי לתאר את המרכיבים של שירות המשלב GenAI ואת התפקידים שחברות שונות ממלאות בפיתוחם:
• Foundation model – מודל מיומן מראש (למשל GPT-4) שפותח על ידי "מפיק" (למשל OpenAI, Google, Amazon, Meta) שנפרס בדרך כלל כשירות על ידי "ספק" ביניים כמו CSP (למשל Azure) ל"צרכן" (למשל Wiz).
• מודל מכוונן - מופע של מודל יסוד שצרכן שינה כדי להפוך אותו למתאים יותר למשימה ספציפית ולאחר מכן מיושם כחלק משירות גדול יותר שמספק הצרכן ללקוחות משתמש הקצה שלו.
• אינדקס - נתונים שמתייחסים אליהם במהלך ההסקה בעת תגובה להנחיות, כגון מסמכים (למשל אינדקסים ב-Azure Cognitive Search ).
משטח התקיפה של מודלי GenAI
ישנם מספר וקטורי תקיפה ידועים שבעזרתם יכולים שחקנים זדוניים לנצל את הפונקציונליות של מודל GenAI או להשפיע עליו לפגוע במשתמשי הקצה שלו.
• הרעלת נתונים (Data poisoning) מתרחשת כאשר תוקף מצליח להשפיע על מודל GenAI במהלך שלבי האימון או הכוונון שלו על ידי החדרת תוכן זדוני לנתונים לא מהימנים שנאספו ממקור חיצוני, ובכך משפיע על משקולות המודל ומכניס הטיה. לחלופין, תוקף יכול להשיג תוצאה דומה על ידי שינוי נתונים מהימנים (למשל, תיעוד פנימי של חברה) או נתונים לא מהימנים (למשל, מידע שנשלף מהאינטרנט) אם השירות מתייחס לנתונים אלה בזמן אמת בעת תגובה להנחיות (למשל, בעת שימוש בתוסף OpenAI או באינדקס של Azure Cognitive Search).
• שימוש לרעה בהזיות (Hallucination abuse) מתרחש כאשר תוקף חוזה הזיה של המודל, כגון אתר אינטרנט או רכיב תוכנה שאינו קיים, ורושם אותו מראש (בדומה ל-typo-squatting) כדי לספק תוכן זדוני למשתמשי קצה אם תגובת המודל מתייחסת אליו והמשתמש פועל לפי הצעת המודל.
• הזרקת הנחיה עקיפה (Indirect prompt injection) מתרחשת כאשר תוקף מצליח להשפיע על הפלט של המודל על ידי הזרקת הנחיה עוקפת לנתונים לא מהימנים שהמודל שואב ממקור חיצוני בזמן אמת, כמו אתר אינטרנט או פרסומת הנשלטים על ידי תוקף. כתוצאה מכך, התוקף שולט בפלט המוצג למשתמש קצה ומריץ קוד זדוני. בנוסף, ניתן להשתמש בהזרקת הנחיה כדי למקד משתמש קצה או צרכן על ידי חילוץ נתונים קנייניים ממודל (כלומר, דליפת נתונים) או מהסביבה המקומית שלו. במקרים מסוימים, תוקף עשוי אפילו לגרום למודל להריץ קוד זדוני בשמו. הדבר מסוכן במיוחד במקרה של ארגז חול (sandboxing) לא מספק.
• הזרקת הנחיה ישירה (Direct prompt injection) מתרחשת כאשר שחקן איום עם גישה לשירות המשלב GenAI כותב הנחיה בעלת מבנה מיוחד כדי לסכן את הצרכן, לחלץ נתונים קנייניים או פשוט להשתמש לרעה במודל למטרותיו. בנסיבות מסוימות, הדבר עלול להוביל גם להרצת קוד או לחשיפת מידע המכוונות נגד משתמשי קצה אחרים, כפי שנסביר להלן.
נניח שאתם מנהלים חנות מקוונת שמוכרת מגוון רחב של פריטים, והחלטתם לשלב מודל GenAI כחלק מהשירות שלכם, מה שהופך אותו לזמין למשתמשי הקצה באמצעות ממשק מול לקוח. השירות נועד לסייע ללקוחות לגלוש בחנות על ידי מינוף היסטוריית הרכישות שלהם. לדוגמה, לקוח עשוי לשאול: "איזה דגם מצלמה דיגיטלית תואם לכרטיס הזיכרון שקניתי בשנה שעברה?". כדי שזה יעבוד, מנוע ההסקה של המודל צריך לקבל גישה להיסטוריית הרכישות של הלקוחות.
בתרחיש זה, כל לקוח אמור להיות מסוגל לסמוך על כך שהשירות שלך מאובטח מספיק כדי להבטיח ש:
• השאלות שהם שואלים, ותשובות המודל, לא ייחשפו לאף לקוח אחר.
• התגובות שהם מקבלים אכן מקורם במודל ולא טופלו או הושפעו ישירות מלקוחות אחרים.
• היסטוריית הרכישות שלהם לא תיחשף לאף לקוח אחר – זה אמור לחול כמובן על החנות המקוונת שלכם בכללותה ללא קשר לתכונת ה-AI החדשה, והשילוב של מודל GenAI לא אמור לשבור את ההנחה הזו.
כל אחת מההנחות לעיל עלולה להישבר כתוצאה מפגיעות חוצת דיירים, שבה משתמש קצה זדוני עלול לסכן את השלמות או הסודיות של נתונים השייכים למשתמשי קצה אחרים אם לא הוצבו גבולות אבטחה מספיקים בין דיירים שכנים. זה יכול להתרחש בין אם המשתמש הזדוני קיבל גישה ל-API או אם הצליח להשיג גישה לא חוקית עקב בקרות גישה לא מספקות.
בנוסף, בדיוק כמו כל שירות ריבוי דיירים אחר, אפליקציות GenAI-incorporating עלולות לסבול מפגיעויות מסורתיות API (כגון AttachMe ) כמו גם דליפת מידע חוצה דיירים לא מכוונת כמו בעיית ה-Caching שהשפיעה באופן זמני על ChatGPT של OpenAI מוקדם יותר השנה.
ללא קשר לאופן שבו תוקף משיג גישה ראשונית לסביבת השירות של הצרכן – בין אם באמצעות הזרקת הנחיה ישירה או על ידי ניצול פגיעות API – הוא עשוי לנסות לברוח מבידוד ולמקד משתמשים אחרים. כפי שהוסבר בדו"ח ה-PEACH שלנו, הצלחתם במאמץ זה תלויה לחלוטין במידת היעילות שבה הצרכן בודד את הממשקים מול הלקוחות שלו. אם התוקף נתקל בגבולות אבטחה מינימליים או ללא גבולות כלל, הוא עשוי להיות בעמדה לגשת לנתונים של משתמשים אחרים (כגון היסטוריית הנחיות ותגובות, הגדרות וכו'), לקרוא או לשנות את המודל המכוונן של הצרכן, לקרוא או לשנות אינדקסים, או לחטוף את פלט המודל כדי להציג תוכן זדוני למשתמשי הקצה.
המסגרת PEACH יכולה להיות שימושית לבניית מודל איומים כדי להבין טוב יותר כיצד ממשקים אלו עלולים להיות מנוצלים לרעה על ידי גורמים זדוניים וכיצד יש לאבטח אותם. הצעדים הראשונים המתוארים על ידי המסגרת הם (1) מיפוי ממשקים מול לקוחות ו-(2) הערכת מורכבותם. בהקשר של בידוד דיירים, אנו מגדירים מורכבות במשמעות של מידת השליטה המוענקת לתוקף לעתיד על אופן עיבוד הקלט שלו על ידי המערכת, כאשר ביצוע קוד שרירותי מורכב מאוד, ושדה נפתח הוא פשוט מאוד, למשל.
עבור שירותים GenAI-incorporating, אנו יכולים לזהות שלושה ממשקים כאלה מול לקוחות ולקבוע אילו גורמים עשויים לתרום למורכבותם בהתאם לאופן הטמעתם:
הסקה (טיפול בהנחיות)
במקרה הגרוע ביותר, ניתן להשוות קלט ועיבוד של הנחיות (prompts) לשאילתות המבוצעות על ידי מערכת ניהול מסד נתונים (DBMS) ב-Database-as-a-Service (DBaaS), או לקוד המבוצע על ידי פלטפורמת מחשוב אינטראקטיבית (למשל Jupyter Notebook). ניתן לראות דוגמאות ליישומים מסוכנים בכל שירות שמריץ קוד המבוסס על הנחיות משתמש קצה, או מאמת קוד הכלול בהנחיות או בתגובות. לכן, אם לא ידוע דבר על פרטי היישום, יש להניח כי קלט הנחיות הוא ממשק בעל מורכבות גבוהה שיש לבודד בהתאם.
עם זאת, מורכבות זו תלויה באופן שבו יושם השירות המשלב GenAI ובאופן שבו מטופלות הנחיות משתמשי הקצה באופן פנימי. מכיוון שמודלים הם immutable, בניגוד למסד נתונים ב-DBaaS טיפוסי, המורכבות האפקטיבית של קלט ההנחיות צריכה להיקבע לפי סוג האינטראקציה המותרת בין מודל ה-GenAI לרכיבים אחרים של אפליקציית הענן, כפי שמתאפשר על ידי ה-APIs שזמינים למנוע ההסקה. רכיבים כאלה עשויים לכלול רכיבי ליבה של GenAI כמו אינדקס ומסד נתונים של היסטוריית הנחיות, לצד רכיבים מסורתיים המעורבים בהעשרה (enrichment), כגון נקודות קצה של תוספי API ועומסי עבודה מחשוביים המריצים סביבות להרצת קוד.
במילים אחרות, ניתן לומר שהמורכבות של ממשק הסקה של מודל ללא גישה או עם גישת קריאה בלבד לסביבתו המקומית היא ברמה בינונית, ובוודאי נמוכה מזו של DBMS טיפוסי, פלטפורמת מחשוב אינטראקטיבית, או ממשק הסקה של מודל עם גישת כתיבה מלאה לרכיבים אחרים (מה שמדגים שוב את החשיבות של ארגז חול).