חזרה לפיד
articlesמקור: Wiz Blog4.4.2024

מחקר Wiz מצא סיכונים ארכיטקטוניים שעלולים לפגוע בספקי AI-as-a-Service

אמ;לק

חוקרי Wiz גילו סיכונים ארכיטקטוניים שעלולים לפגוע בספקי AI-as-a-Service ולסכן נתוני לקוחות. Wiz עבדה עם Hugging Face כדי למתן את הבעיה. מפתחים חייבים להיות מודעים לסיכונים אלו בעת פיתוח ופריסת מודלי AI.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Wiz Research finds architecture risks that may compromise AI-as-a-Service providers and consequently risk customer data; works with Hugging Face on mitigations

מחקר Wiz מצא סיכונים ארכיטקטוניים שעלולים לפגוע בספקי AI-as-a-Service

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

העולם מעולם לא ראה אימוץ טכנולוגי בקצב מהיר כל כך כמו ב-AI. ככל שיותר ארגונים ברחבי העולם מאמצים את AI-as-a-Service (הידוע גם כ-"AI בענן"), על התעשייה להכיר בסיכונים הקיימים בתשתית משותפת זו המאחסנת נתונים רגישים, ולאכוף רגולציה ונוהלי אבטחה בוגרים הדומים לאלו הנאכפים על ספקי שירותי ענן ציבוריים.

כשזזים מהר, שוברים דברים. בחודשים האחרונים, Wiz Research שיתפה פעולה עם חברות AI-as-a-Service כדי לחשוף סיכוני אבטחה נפוצים שעשויים להשפיע על התעשייה ובסופו של דבר לסכן את הנתונים והמודלים של המשתמשים. בדוח ה-State of AI in the Cloud שלנו, אנו מראים ששירותי AI כבר קיימים ביותר מ-70% מסביבות הענן, מה שמדגיש עד כמה ההשפעה של ממצאים אלו קריטית.

בבלוג זה אנו מתארים את העבודה המשותפת שלנו עם Hugging Face, אחד מספקי ה-AI-as-a-Service המוכרים ביותר. Hugging Face עברה עלייה מטאורית וגדלה בקצב חסר תקדים כדי לעמוד בביקוש הגובר. הממצאים שלנו לא רק הציגו הזדמנות עבור Hugging Face לחזק את אבטחת הפלטפורמה (דבר שהם ביצעו); הם גם נושאים תובנות רחבות יותר החלות על מערכות AI רבות ועל פלטפורמות AI-as-a-Service.

מודלי AI דורשים GPUs חזקים כדי לפעול, דבר שלרוב מועבר למיקור חוץ אצל ספקי שירותי AI. ב-Hugging Face, שירות זה נקרא Hugging Face Inference API. לצורך פישוט ההבנה, ניתן להשוות זאת ברמה גבוהה לצריכת תשתית ענן מ-AWS/GCP/Azure לצורך הרצת אפליקציות וקוד. Wiz Research הצליחה לסכן את השירות המריץ מודלים מותאמים אישית על ידי העלאת מודל זדוני משלנו ומינוף טכניקות של container escape כדי לפרוץ מחוץ ל-tenant שלנו ולסכן את השירות כולו. המשמעות היא ש-Wiz Research יכלה להשיג גישה חוצה-דיירים (cross-tenant) למודלים של לקוחות אחרים המאוחסנים ופועלים ב-Hugging Face.

אנו מאמינים שהממצאים הללו אינם ייחודיים ל-Hugging Face ומייצגים אתגרים של הפרדת דיירים (tenant separation) שחברות AI-as-a-Service רבות יתמודדו איתם, בהתחשב במודל שבו הן מריצות קוד של לקוחות ומטפלות בכמויות גדולות של נתונים תוך צמיחה מהירה יותר מכל ענף אחר. אנו בקהילת האבטחה צריכים לשתף פעולה הדוק עם חברות אלו כדי להבטיח שתשתיות בטוחות ומעקות בטיחות (guardrails) יוצבו מבלי לעכב את הצמיחה המהירה (והמדהימה באמת) הזו.

אנו רוצים להודות לצוות ⁦Hugging Face⁩ על שיתוף הפעולה והשותפות. הם פרסמו פוסט משלהם בבלוג בתגובה למחקר שלנו, תוך פירוט האירועים והתוצאות מנקודת המבט שלהם.

Hugging Face בולטת כפלטפורמה הפתוחה והשיתופית המובילה עבור מפתחי AI, עם משימה להנגיש Machine Learning איכותי. היא מספקת למשתמשים את התשתית הדרושה לאירוח, אימון ושיתוף פעולה בפיתוח מודלי AI בתוך הצוותים שלהם. מעבר ליכולות אלו, Hugging Face משמשת גם כאחד המרכזים הפופולריים ביותר שבהם משתמשים יכולים לחקור ולהשתמש במודלי AI שפותחו על ידי הקהילה, לגלות ולהשתמש במערכי נתונים (datasets), ולהתנסות בהדגמות. כחלק מהמשימה שלה, Hugging Face רואה לעצמה אחריות להישאר מעודכנת בסיכוני AI/ML.

בהיותה שחקן מרכזי באקו-סיסטם הרחב של פיתוח ה-AI, Hugging Face הפכה ליעד אטרקטיבי עבור תוקפים. אם גורם זדוני יצליח לסכן את הפלטפורמה של Hugging Face, הוא עלול להשיג גישה למודלי AI פרטיים, למערכי נתונים ולאפליקציות קריטיות, מה שיוביל לנזק נרחב ולסיכון פוטנציאלי לשרשרת האספקה.

מה מצאנו?

מודלים זדוניים מהווים סיכון משמעותי למערכות AI, במיוחד עבור ספקי AI-as-a-Service, מכיוון שתוקפים פוטנציאליים עלולים למנף מודלים אלו כדי לבצע התקפות חוצות-דיירים. ההשפעה הפוטנציאלית היא הרסנית, שכן תוקפים עשויים לקבל גישה למיליוני מודלי AI ואפליקציות פרטיות המאוחסנים אצל ספקי AI-as-a-Service. Wiz מצאה שני סיכונים קריטיים בסביבה של Hugging Face שיכולנו לנצל:

כשחושבים על אבטחה עבור ⁦AI/ML⁩, חשוב להבחין בין סוגים שונים של יישומים והיקפים. יישום ממוצע המשתמש ב-⁦AI/ML⁩ יהיה מורכב מהרכיבים הבאים:

• Model: מודלי ה-AI הנמצאים בשימוש (כגון LLaMA, Bert, Whisper וכו').

• Application: קוד האפליקציה המעביר קלט למודל ה-AI ועושה שימוש בתחזיות שהוא יוצר.

• Inference Infrastructure: התשתית המאפשרת את הרצת מודל ה-AI — בין אם "על הקצה" (כמו Transformers.js) או באמצעות API או Inference-as-a-Service (כמו Inference Endpoints של Hugging Face).

יריבים פוטנציאליים יכולים לבחור לתקוף כל אחד מהרכיבים לעיל בשיטות שונות. לדוגמה, כדי לתקוף את מודל ה-AI באופן ספציפי, תוקפים יכולים להשתמש בקלטים מסוימים שיגרמו למודל לייצר תחזיות שגויות (כמו adversarial.js). כדי לתקוף את האפליקציה שמשתמשת ב-AI/ML, תוקפים יכולים להשתמש בקלט שמייצר תחזית תקינה, אך נעשה בו שימוש לא בטוח בתוך האפליקציה (למשל, הפקת תחזית שתגרום להזרקת SQL למסד הנתונים, מאחר שהאפליקציה תתייחס לפלט המודל כקלט מהימן).

לבסוף, ניתן גם לתקוף את תשתית ההסקה (inference infrastructure) על ידי שימוש במודל זדוני שעבר סריאליזציה באמצעות pickle. מקובל מאוד להתייחס למודלי AI כאל "קופסה שחורה" ולהשתמש במודלים זמינים לציבור. נכון לעכשיו, ישנם מעט מאוד כלים שניתן להשתמש בהם כדי לבחון את תקינותו של מודל נתון ולוודא שהוא אינו זדוני (כגון Pickle Scanning של Hugging Face) — לכן מפתחים ומהנדסים חייבים להיות זהירים מאוד בהחלטה מאיפה להוריד מודלים. שימוש במודל AI לא מהימן עלול להכניס סיכוני שלמות ואבטחה לאפליקציה שלכם, וזה שווה ערך להכללת קוד לא מהימן בתוכה.

בפוסט זה בבלוג, נדגים כיצד ניתן לקבל גישה לתשתית של ⁦Hugging Face⁩ בעזרת ניצול מיוחד בעבודת יד של סדרה, ונפרט מה ניתן לעשות כדי למזער את הסיכון.

צוות המחקר של Wiz מתמקד מאוד בפגיעויות בידוד בסביבות ענן. כשראינו את עלייתן של חברות AI-as-a-Service, חששנו מההשלכות הפוטנציאליות של גורם זדוני שינצל אותן כדי להשיג גישה מועדפת בין דיירים, שכן מודלי AI הם בפועל קוד. בתכנונם, ספקי AI-as-a-Service בונים שירות מחשוב משותף עבור לקוחותיהם, מה שמעורר שאלה מיידית: האם מודל ה-AI פועל בסביבה מבודדת? האם הוא מבודד מספיק?

במחקר זה, התמקדנו בשלוש הצעות מפתח של הפלטפורמה:

• Inference API – המאפשר לקהילה לעיין ולהתנסות במודלים זמינים ב-hub, מבלי להתקין ספריות (dependencies) באופן מקומי. במקום זאת, משתמשים יכולים ליצור אינטראקציה עם מודלים אלו ו"לצפות בהם בתצוגה מקדימה" באמצעות מודל (modal) בפלטפורמה, המופעל על ידי Inference API.

• ⁦Inference Endpoints⁩ – שהיא הצעה מנוהלת במלואה על ידי ⁦Hugging Face⁩ המאפשרת למשתמשים לפרוס בקלות מודלים של ⁦AI⁩ על תשתית ייעודית למטרות ייצור (כלומר Inference-as-a-Service).

• Spaces – המציעה דרך פשוטה לארח אפליקציות AI/ML לצורך הצגת מודלי AI או עבודה משותפת על פיתוח אפליקציות מבוססות AI.

מחקר על Hugging Face Inference API ו-Inference Endpoints

כאשר בחנו כתוקפים את הצעות ה-Inference של Hugging Face (גם Inference API וגם Inference Endpoints), הבנו שכל משתמש יכול להעלות מודל משלו. מאחורי הקלעים, Hugging Face מקצה משאבים, עם הספריות והתשתית הנדרשות כדי שהמשתמשים יוכלו ליצור אינטראקציה עם המודל ולקבל תחזיות.

זה העלה שאלה מעניינת: האם אנחנו, כמשתמשי הפלטפורמה, יכולים להעלות מודל בעל מבנה מיוחד - אפשר לקרוא לזה זדוני - שיאפשר לנו לבצע קוד שרירותי בממשק הזה? ואם אכן היינו מצליחים לבצע קוד בתוך ⁦Inference⁩ ⁦API⁩, מה היינו מוצאים שם?

העלאת ⁦Malicious Model⁩ ל-⁦Hub⁩

הפלטפורמה של Hugging Face תומכת בפורמטים שונים של מודלי AI. מחיפוש מהיר ב-Hugging Face, ניתן לראות ששני פורמטים בולטים יותר מאחרים: PyTorch (Pickle) ו-Safetensors.

ידוע היטב שהפורמט של Python הנקרא Pickle אינו בטוח, וכי ניתן להשיג ביצוע קוד מרחוק (RCE) בעת דה-סריאליזציה של נתונים לא מהימנים בפורמט זה. הדבר אף מצוין בתיעוד הרשמי של Pickle:

מכיוון ש⁦Pickle⁩ הוא פורמט לא בטוח, ⁦Hugging Face⁩ מבצע ניתוח מסוים (⁦Pickle Scanning and Malware Scanning⁩ ) על ⁦Pickle⁩ קבצים שהועלו לפלטפורמה שלהם, ואפילו מדגיש את אלה שהם מחשיבים כמסוכנים.

Hugging Face עדיין תאפשר למשתמש להריץ את המודל מבוסס ה-Pickle שהועלה על תשתית הפלטפורמה, גם כאשר הוא מסומן כמסוכן. מכיוון שהקהילה עדיין משתמשת בפורמט ה-Pickle של PyTorch, Hugging Face נדרשת לתמוך בו.

כחוקרים, רצינו לגלות מה יקרה אם נעלה מודל זדוני מבוסס Pickle ל-Hugging Face וניצור איתו אינטראקציה באמצעות ה-Inference API. האם הקוד הזדוני שלנו יבוצע? האם הוא ירוץ בסביבת ארגז חול (sandbox)? האם המודלים שלנו חולקים את אותה תשתית כמו אלו של משתמשי Hugging Face אחרים? (במילים אחרות, האם Inference API הוא שירות מרובה-דיירים?)

ביצוע קוד מרחוק באמצעות קובץ ⁦Pickle⁩ בעל מבנה מיוחד

מבלי להיכנס ליותר מדי פרטים, ניתן לציין שזה פשוט יחסית ליצור מודל PyTorch (Pickle) שיבצע קוד שרירותי בעת טעינתו. כדי להשיג ביצוע קוד מרחוק, פשוט שיבטנו מודל לגיטימי (gpt2), הכולל כבר את כל הקבצים הדרושים המורים ל-Hugging Face כיצד להפעיל את המודל (כלומר config.json). לאחר מכן שינינו אותו כך שיריץ reverse-shell עם הטעינה. לאחר מכן, העלינו את המודל המותאם אישית שלנו ל-Hugging Face כמודל פרטי וניסינו ליצור איתו אינטראקציה באמצעות ה-Inference API — והנה, קיבלנו את ה-reverse shell שלנו!

מטעמי נוחות, במקום להפעיל reverse shell בכל פעם שהיינו צריכים לבדוק משהו, בחרנו ליצור גרסה של המודל הזדוני שלנו שיכולה לתפקד כמעטפת (shell). על ידי חיבור (hooking) של מספר פונקציות בקוד ה-Python של Hugging Face, המנהל את תוצאת ההסקה של המודל (בעקבות שלב ה-Pickle-deserialization והביצוע מרחוק), השגנו פונקציונליות דמוית shell. התוצאות הן כדלקמן:

הסלמה של הרשאות אמזון ⁦EKS⁩ באמצעות ⁦IMDS⁩

לאחר ביצוע קוד בתוך ה-Inference API של Hugging Face וקבלת ה-reverse shell, התחלנו לחקור את הסביבה שבה פעלנו. מהר מאוד ניכר היה שאנחנו רצים בתוך Pod באשכול Kubernetes שמתארח על Amazon EKS.

בשנה האחרונה, נתקלנו ב-⁦Amazon⁩ ⁦EKS⁩ מספר פעמים במהלך המחקר שלנו על בעיות אבטחה של ספקי שירות. למעשה, נתקלנו ב-⁦Amazon⁩ ⁦EKS⁩ מספיק פעמים כדי להנחות אותנו ליצור ספר הפעלה המתאר מה לחפש כאשר אנו רואים אשכול ⁦EKS⁩ (חלק מהדברים העיקריים הללו מתועדים בדוח 2023 ⁦Kubernetes Security⁩).

#ai-security#ai-as-a-service#hugging-face#architecture-risks
קרא במקור