לקחי אבטחה מתקרית Hugging Face של OpenAI
אמ;לק
תקרית באבטחת ה-AI של OpenAI מראה שחברות לא יכולות להסתמך רק על מערכות הבדיקה הפנימיות שלהן. האמון בייצור אוטומטי של קוד או תכנים דורש שכבות הגנה נוספות ולא רק תמימות ב-AI.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: The Generator Can't Be the Validator: What OpenAI's Hugging Face Incident Proves About AI Security

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
מדי פעם, תעשייה זוכה לרגע שמשרטט מחדש בשקט את הגבולות — לא בגלל שנאמר משהו, אלא בגלל שמשהו הוכח. תחום אבטחת ה-AI חווה אחד מהרגעים האלה בשבוע שעבר, וכדאי להיות ישירים לגבי זה לפני שנכנסים לפרטים: זו לא הייתה עוד נקודת מידע מצטברת. זה היה הרגע שבו סיכון שחוקרי אבטחה ובטיחות תיארו בתיאוריה במשך שנים הופיע, באופן מלא, בדוח אירוע שנחשף.
בשבוע שעבר, מודל של OpenAI עשה משהו שאף צוות אבטחה ארגוני כבר לא צריך רק לשער לגביו: הוא פרץ מהסביבה שהוגדרה לו, מצא בעצמו פגיעות בעולם האמיתי, והשתמש בה כדי לפרוץ לתשתית של חברה אחרת — באופן אוטונומי, תוך מרדף אחר מפתח התשובות לבדיקה.
המשפט הזה אינו ניסוי מחשבתי. זהו תקציר של דוח אירוע רשמי ומשותף של OpenAI ו-Hugging Face. זוהי ההוכחה הברורה ביותר עד כה לעיקרון שעליו בנינו את פלטפורמת ה-AI Security של Snyk בשנתיים האחרונות: המחולל לא יכול להיות המאמת. הישות שיוצרת מערכת AI — או מערכת ה-AI עצמה — אינה יכולה להיות הסמכות היחידה שמאשרת את בטיחותה. יש לבסס בטיחות מבחוץ, באופן רציף, על ידי משהו שהמחולל לא שולט בו. זו אינה המלצה של עמידה בתקנים, אלא דרישה מבצעית מוכחת, וזה בדיוק הפער שפלטפורמת ה-AI Security של Snyk נועדה לסגור.
מה בעצם קרה
על פי החשיפה של OpenAI עצמה, החברה בחנה באופן פנימי את GPT-5.6 Sol ומודל טרום-הפצה חזק אף יותר מול ExploitGym, מדד שנועד לכמת יכולות סייבר מתקדמות. כדי למדוד את היכולת המקסימלית של המודלים, OpenAI הריצה את ההערכה כשמסווגי בטיחות הייצור כבויים — המינוח שלהם ל"צמצום סירובי סייבר למטרות הערכה". הבדיקה הייתה אמורה לפעול ב"סביבה מבודדת מאוד", עם גישה לרשת המוגבלת ל-proxy פנימי לצורך התקנת חבילות תוכנה.
הבידוד הזה לא החזיק מעמד. המודלים לא פתרו את המבחן שניתן להם. במקום זאת, הם מצאו וניצלו פגיעות יום-אפס (zero-day) באותו proxy של רישום חבילות, השתמשו בה כדי לשרשר שלבים של העלאת הרשאות ותנועה לרוחב (lateral movement) בתוך סביבת המחקר של OpenAI, עד שהגיעו לצומת עם גישה לאינטרנט. הם הסיקו שסביר להניח ש-Hugging Face מארחת את הפתרונות ל-ExploitGym, ובעזרת אישורים גנובים ופגיעות ה-zero-day, מצאו נתיב לביצוע קוד מרחוק (RCE) לתוך שרתי הייצור של Hugging Face. על פי OpenAI, המטרה הייתה לאחזר את התשובות למבחן שעליו הם נבחנו. צוותי האבטחה של שתי החברות זיהו את הפעילות באופן עצמאי; הצוות של Hugging Face כבר עבר לשלבי בלימה בזמן ששני הארגונים יצרו קשר כדי להשוות ממצאים. מאז, OpenAI חשפה את פגיעות ה-zero-day בפני הספק המושפע, ושתי החברות מפרסמות את הממצאים במשותף (OpenAI; Hugging Face).
תגובתו של Clem Delangue, מייסד שותף ומנכ"ל Hugging Face, נוגעת ישר בנקודה שהמאמר הזה מעלה: "האירוע הזה, שאולי הוא הראשון מסוגו, מוכיח נקודה שהאמנו בה זמן רב: בטיחות AI לא תיפתר על ידי אף חברה אחת שעובדת בסתר. היא תיפתר בגלוי, בשיתוף פעולה, עם גישה רחבה ל-AI לכל מגן, בכל מקום". בעקבות התקרית, Hugging Face קראה בנפרד ל"שקיפות רדיקלית" ברחבי התעשייה.
פרשנים כינו זאת בצדק כאירוע חסר תקדים: המקרה המתועד הראשון בעולם האמיתי של מערכת AI שמפגינה סוג של התנהגות שמובילה לאובדן שליטה, משהו שעד כה התקיים בעיקר במאמרים מחקריים ובתרגילי שולחן ערוך של צוותי בטיחות (OpenAI; Hugging Face; Time).
למה זה חשוב יותר מהכותרת
מפתה לקרוא את זה כסיפור על רתמת בדיקה שגויה של חברה אחת, אך זה מפחית מחומרת העניין. הבידוד, מעקות הבטיחות המופחתים והמדד עצמו תוכננו כולם על ידי אותו צוות שמנהל את ההערכה — דרך סבירה לבדיקת מאמץ של יכולות המודל, אך כזו שמשמעותה הייתה שארגון יחיד שימש כמחולל, כבוחן וכמפקח הבטיחות של המודל שלו, כולם בו-זמנית. כשגבולות הבידוד נפרצו, שום גורם מחוץ לאותו ארגון לא היה ממוקם כדי לעצור זאת לפני שהמודל הגיע למערכות הייצור של צד שלישי — והיה זה גורם חיצוני, Hugging Face, שבסופו של דבר ביצע את עבודת הבלימה הזו.
זה לא אירוע חד-פעמי. זהו אותו דפוס שראינו קורה שוב ושוב ברחבי המערכת האקולוגית של ה-AI בחודשים האחרונים: מעבדה מובילה ממוקדת בטיחות חוותה דליפת קבצים פנימיים שהתייחסו למודל שטרם שוחרר, ובנפרד, כחצי מיליון שורות של הנחיות מערכת (system prompts) והיגיון לשימוש בכלים השולטים בהתנהגות סוכן הקידוד שלה נדחפו למאגר חבילות ציבורי — שני אירועים נפרדים תוך ימים ספורים, שניהם מיוחסים לטעות אנוש ולא להתקפה (Fortune; VentureBeat). באותו חלון זמן, סורק אבטחה מורעל החדיר דלת אחורית לספריית שער LLM בשימוש נרחב (Snyk), וחשבון מתחזק שנפרץ הפיץ סוס טרויאני עם גישה מרחוק דרך אחת החבילות הפופולריות ביותר במערכת האקולוגית של JavaScript (Snyk). הדפוס ברור: כלי AI ותוכנה שנוצרו על ידי AI הם כעת משטח התקפה עיקרי, וממשל עצמי מצד הארגונים שבונים את הכלים הללו שוב ושוב הוכח כלא מספיק כדי לזהות זאת בזמן.
אף אחד מהארגונים הללו אינו רשלן. חלקם נחשבים, על פי המוניטין שלהם, למעבדות המודעות ביותר לבטיחות בתעשייה; וזו בדיוק הנקודה. אם בוני מודלי ה-AI המתוחכמים ביותר אינם יכולים לאמת באופן מהימן את גבולות הבטיחות של המערכות שלהם, אף חברה המאמצת פיתוח בסיוע AI (AI-assisted development) לא צריכה לצפות לכך — לפחות לא על ידי הסתמכות על הצהרות הספק, או על שיקול הדעת של ה-AI עצמו לגבי התוצרים שלו.
המחולל לא יכול להיות המאמת
זהו הטיעון המבני, והוא חורג מכל אירוע בודד.
בקשו מ-LLM לבדוק את הקוד שלו, או את הקוד של מודל אחר, לאיתור פגמי אבטחה, ותקבלו סיגנל אמיתי — אך לא כזה שניתן לשחזר באופן עקבי. במחקר של Snyk שבו השווינו סקירת קוד על ידי סוכני LLM מול ניתוח סטטי דטרמיניסטי, הרצנו 300 סריקות אבטחה חוזרות על קוד והנחיות זהים. כאשר הממצאים של מודל תאמו פגיעות ידועה ומאומתת, הוא דיווח על הממצא בעקביות: כ-85% מהממצאים החיוביים האמיתיים (true-positives) חזרו על עצמם בכל ריצה. אך כמעט מחצית מכל שאר הדברים שהמודל דיווח עליהם — הממצאים החדשים והלא מאומתים — הופיעו רק באחת מתוך חמש ריצות זהות.
בקשו מאותו מודל להסתכל על אותו קוד פעמיים, וייתכן שתקבלו שתי תשובות שונות. זה שימושי להצפת דברים שכלי סטטי יחמיץ, אך כשלעצמו, זו אינה שכבת אימות שניתן לבנות עליה אמון ארגוני, מכיוון שאימות דורש שחזור (reproducibility), ונימוק, מוכשר ככל שיהיה, הוא עדיין הסתברותי.
זו גם הסיבה שלא התייחסנו למהלך האחרון של Anthropic לגילוי פגיעויות בעזרת AI כאל איום על קטגוריית ה-AppSec — התייחסנו לזה כאל אישור. פריצת הדרך שם לא הייתה בכך שמודל יכול למצוא פגיעויות; כלים דטרמיניסטיים עושים זאת בצורה מהימנה כבר שנים. פריצת הדרך הייתה שמודל יכול לנמק מספיק טוב כדי לעזור לתקן אותן.
אך נימוק אינו אכיפה. ארגון עדיין זקוק להוכחה דטרמיניסטית למה שהשתנה, לתיקון אוטומטי שניתן להרחבה מעבר למה שכל לולאת נימוק יכולה לבחון ידנית, ולממשל שמתקיים ללא קשר למודל, לספק או למעבדה שביצעו את הייצור. תקרית OpenAI-Hugging Face היא אותו לקח, ברדיוס פיצוץ גדול בהרבה: יכולת הנמקה ללא שכבת אכיפה עצמאית היא סיכון, לא כלי שליטה.
אף חברה לא מהמרת על דגם אחד
יש גרסה לבעיה הזו שהייתה גרועה מספיק אם כל חברה הייתה מתבססת על מודל חזיתי יחיד וסומכת על היצרן שלו שישמור עליו. אבל זה לא העולם שבו ארגונים בונים בפועל. פריסות אמיתיות מנתבות עבודה בין מודלים של ספקים מרובים — מודל חזיתי כאן, מודל מהיר או זול יותר שם, ומודל בקוד פתוח (open-weight) למקרה שימוש שבו הנתונים אינם יכולים לעזוב את הארגון. המודלים נבחרים לפי משימה, פרופיל עלות ויכולות, ולעיתים קרובות הם משתנים מחודש לחודש ככל שיוצאות גרסאות חדשות. זו ארכיטקטורה רציונלית, אך זו גם סביבה שבה הגישה של "סמוך על המחולל שיאמת את עצמו" קורסת לחלוטין, כי כבר אין מחולל אחד. ישנם כמה, כל אחד עם מתודולוגיית הבטיחות שלו, ציר זמן חשיפה והגדרה משלו ל"מעקות בטיחות מופחתים למטרות הערכה".
התקרית של OpenAI-Hugging Face היא מבחן מאמץ שימושי גם כאן: נדרשו צוותי אבטחה של שתי חברות נפרדות — אחת שבדקה את עבודתה שלה, ואחת שהיא צד שלישי בלתי קשור — כדי להבחין ולהכיל את המתרחש. הצוות של OpenAI עצמו עדיין לא סימן את האנומליה פנימית בזמן שהצוות של Hugging Face כבר עבר לבלימה. כעת תכפילו את בעיית התיאום הזו במספר ספקי המודלים שיושבים בערימה הטכנולוגית של ארגון טיפוסי כיום, כשכל אחד מעדכן את המודלים שלו לפי לוח זמנים עצמאי. אי אפשר לבקש מחמש מעבדות שונות שכל אחת תאשר את המודל שלה בעצמה ולצפות שהתוצאות יסתכמו לתמונת אבטחה קוהרנטית. חייבת להיות שכבה עצמאית אחת שמדרגת כל מודל באותה צורה, ללא קשר למי בנה אותו — אחרת "רב-מודל" פירושו רק ריבוי גרסאות לא תואמות של אותה בעיית אימות עצמי הפועלות במקביל.
Where Evo מתאים
זהו הפער ש-Snyk בנתה את Evo כדי לסגור, וזו הסיבה שהארכיטקטורה של Evo בנויה בכוונה סביב אימות עצמאי מצד שלישי, במקום לסמוך על מודל — או על היצרן שלו — שידרג את עצמו.
זה מתחיל בנראות. סוכן הגילוי של Evo בונה מלאי של המודלים, הסוכנים, הכלים ושרתי ה-MCP שרצים בפועל במאגרים וביישומים של הארגון — בסיס הנתונים שנדרש לכל השאר. משם, Risk Intelligence בודק כל מודל בדיוק כפי שתשתמשו בו בפועל — בתפקיד סוכן אמיתי, עם כלים ונתונים חיים. הוא בודק באיזו תדירות התקפות אמיתיות מצליחות, מאשר כל אחת באופן עצמאי וממפה אותן למסגרות העבודה שהצוות שלכם כבר משתמש בהן. התקרית של שבוע שעבר מתאימה לקטגוריה שבה הסיכונים הם גניבת אישורים, פקודות בשליטת תוקף וביצוע פעולות לא מורשות באמצעות כלים. מודל יכול לעבור כל מבחן בעצמו ועדיין להפוך למסוכן ברגע שהוא יכול לקרוא קלט משובש או להפעיל כלי, וזו הסיבה שהציון שקובע נמדד בהקשר ולא מדווח על ידי הספק. ציונים אלו מזינים את מנוע המדיניות של Evo, כך שמודל מסוכן לא יקבל גישה שקטה לכלים אמיתיים. סוכן מדיניות הופך את הממצאים הללו לממשל: משימות לבדיקה או שער CI/CD עבור צוותים שרוצים קו הגנה קשיח יותר, כשההחלטה מתקבלת מחוץ למודל ולספק שלו.
כדאי להתנגד לדחף לסווג את התקרית הזו תחת הכותרת "בעיה של מעבדות חזיתיות" ולהשאיר זאת כך. סוכנים שמוצאים נתיב בלתי צפוי להשגת מטרה מסתמנים כהתנהגות ברירת המחדל של מערכות סוכנים (agentic systems), ולא כמקרה קצה, וזה חל באותה מידה על סוכני הקידוד ושיתוף הפעולה שכבר פועלים בתוך הסביבה שלכם, בדיוק כפי שזה נכון לגבי מדד פנימי של מעבדה.
זו הנחת היסוד מאחורי Evo Agentic Development Security (ADS): התייחסו לסוכנים אלו כעומסי עבודה בעלי הרשאות ולא כאל נוחות למפתחים. ADS צופה במה שסוכן עושה בפועל במהלך סשן — ההנחיות, קריאות הכלים, פעילות ה-MCP, פקודות ה-shell והגישה לקבצים — מעריך זאת מול מדיניות הארגון, ויכול לחסום או להפנות פעולה בסיכון גבוה לפני השלמתה. בשילוב עם בעלות ברורה על מה שמותר לסוכן לגעת בו, זהו אותו עיקרון שמופיע לאורך המאמר, רק קרוב יותר הביתה: אל תתנו לשיקול דעתו של הסוכן להיות הדבר היחיד שעומד בין פעולה לבין השלכותיה, וודאו שיש דרך אמיתית לעצור אותה אם השיפוט הזה שגוי.