חזרה לפיד
articlesמקור: Snyk Blog16.8.2023

מהן 'הזיות AI' ומדוע מפתחים צריכים להתייחס אליהן?

אמ;לק

המאמר דן בהזיות בינה מלאכותית (AI hallucinations) ומנתח את יתרונותיהן וסיכוני האבטחה הפוטנציאליים שלהן. מפתחים צריכים להכיר תופעה זו כדי להבין טוב יותר את המגבלות וההשלכות של מודלי AI בפיתוח קוד ושימוש כוזב.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: What are AI hallucinations and why should developers care?

מהן 'הזיות AI' ומדוע מפתחים צריכים להתייחס אליהן?

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

ככל שה-GenerativeAI מרחיב את טווח ההגעה שלו, עולם פיתוח התוכנה לא נשאר מאחור. מודלים גנרטיביים — ובמיוחד מודלי שפה (Language Models או LMs), כגון GPT-3, וכאלה הנופלים תחת המטרייה של מודלי שפה גדולים (Large Language Models או LLMs) — הופכים מיומנים יותר ויותר ביצירת טקסט דמוי אדם. זה כולל גם כתיבת קוד.

אבולוציה זו מבשרת עידן חדש של פוטנציאל בפיתוח תוכנה, שבו כלים מבוססי AI יכולים לייעל את תהליך הכתיבה, לתקן באגים או ליצור תוכנה חדשה לגמרי. אך בעוד שהיתרונות של חדשנות זו מבטיחים להיות משני-משחק, הם גם מציגים אתגרי אבטחה חסרי תקדים. ניתן לתמרן את היכולות של GenerativeAI ו-LLMs כדי למצוא נקודות תורפה בתוכנות קיימות, לבצע הנדסה לאחור למערכות קנייניות או ליצור קוד זדוני. לפיכך, עלייתם של מודלי למידת מכונה מתקדמים אלו מביאה עמה פוטנציאל משמעותי לצד חששות חדשים לגבי אבטחת תוכנה ופגיעויות במערכות, כמו גם דרישה לכלי אבטחה חדשים להתמודדות עם איומים אלו.

הקדמה להזיות ⁦AI⁩

מהן הזיות (Hallucinations) של AI?

בהקשר של Large Language Models (LLMs), "הזיות" מתייחסות למקרים שבהם המודל מייצר מידע או נתונים שלא היו קיימים במפורש בנתוני האימון שלו. ניתן לחשוב על זה כעל מצב שבו ה-AI "מדמיין" דברים, מספק תשובות או יוצר תוכן ללא כל בסיס עובדתי או ביסוס בלמידה שקיבל. הזיות אלו מהוות היבט מסקרן של התנהגות ה-AI ומציעות אפשרויות מרתקות, אך עם זאת, הן מציגות גם דאגות אבטחה רבות.

שקלו את האינטראקציה הבאה בצ'אט עם ChatGPT, שבה אני מורה לו ליצור כל טקסט שהוא רוצה, עם אילוץ ספציפי — הטקסט שנוצר אינו יכול לכלול בתוכו את האות האנגלית "e".

הבה נבחן דוגמה נוספת. אבקש ממנו לפתור בעיה מתמטית פשוטה:

כפי שניתן לראות, אפילו ניסיתי להנחות אותו עם וריאציות של הטקסט, כמו הוספת הסמל "=" כדי לרמוז שמדובר בביטוי מתמטי שצריך לפתור. גם זה לא עזר, ו-216 אינה התשובה הנכונה.

מדוע ⁦AI⁩ ו-⁦ChatGPT⁩ הוזים?

בבסיסו, ChatGPT לא נבנה עם תנאי סיום כפי שאתם אולי מכירים ממבני תכנות כגון for-loops. באופן כללי, הוא תמיד ישאף להשלים את האסימון (token) הבא, גם אם התוצאה אינה הגיונית או שגויה לחלוטין.

ללא בקרה, נטייה זו של LLMs עלולה להוביל למידע מטעה, לתוצאות חיוביות שגויות (false positives), או אפילו לנתונים שעלולים להזיק — ובכך ליצור פרצות תוכנה וחורי אבטחה חדשים לניצול על ידי גורמים זדוניים.

יחסי הגומלין בין שיטות קידוד מאובטחות, תוכנת קוד פתוח ו-⁦LLMs⁩

בלב ליבה של פיתוח תוכנה טמון הפרקטיקה המכריעה של קידוד מאובטח - כתיבת תוכניות שאינן רק חזקות בפני באגים פונקציונליים אלא גם עמידות בפני איומי אבטחה. עם זאת, בסביבת הפיתוח הדינמית והמהירה של היום, מפתחים משתמשים לעתים קרובות בתוכנות קוד פתוח ובקטעי קוד מפורומים ציבוריים כמו ⁦StackOverflow⁩ כדי לזרז את תהליך הקידוד שלהם.

למרות שפרקטיקה זו עוזרת לחסוך זמן, היא עלולה להכניס ללא כוונה סיכוני אבטחה מהותיים ליישומי ייצור ולזרימות העבודה היומיומיות של המפתחים, כגון כתיבת קוד או יצירת תהליכי עבודה של CI/CD עבור GitHub Actions. בין אם מפתח מעתיק קוד מ-StackOverflow, מהערה ב-GitHub או מהשלמה אוטומטית של GitHub Copilot, אמון עיוור והיעדר בדיקה ואימות נאותים של הקוד שהועתק עלולים להוביל לבעיות אבטחת תוכנה.

אחת הדוגמאות הבולטות למצוקה זו הייתה פגיעות ה-ZipSlip שהתגלתה על ידי Snyk. מדובר היה בפגיעות אבטחה קריטית ונרחבת של דריסת קבצים שרירותית, שמשמעותה היא שתוקפים יכלו להחליף קבצי הפעלה ובכך להשתלט על המחשב של הקורבן על ידי שימוש בארכיון בעל מבנה מיוחד המכיל שמות קבצים מסוג directory traversal (למשל ../../evil.sh).

הדבר המפתיע במקרה זה היה שתשובה לא מאובטחת ב-StackOverflow, שזכתה להצבעות רבות, נמצאה כמספקת את הקוד שהיה פגיע למתקפה זו, מה שמצביע על סכנות האבטחה הנסתרות שבהעתקת קוד לא מאומת מפורומים פתוחים.

למצב זה מתווסף השימוש המתפתח בכלים מבוססי AI, כגון GitHub Copilot ו-ChatGPT. GitHub Copilot הוא עוזר AI המשולב ב-VS Code IDE ומציע שורות או בלוקים של קוד תוך כדי הקלדת המפתח. הקלט שעליו התבססה הלמידה שלו היה, במהותו, כל מאגרי הקוד הציבוריים ש-GitHub יכול לגשת אליהם. באופן דומה, מפתחים משתמשים כעת ב-ChatGPT כדי ליצור קטעי קוד. עם זאת, האימוץ הנרחב של כלי AI אלה מעלה גם שאלות אבטחה חדשות. בהתחשב בכך ש-LLMs אלה מאומנים על מאגרים ציבוריים וקוד קוד פתוח אחר שלא עבר אימות, הם עלולים להפיץ נוהלי קידוד לא מאובטחים ונקודות תורפה.

התמודדות עם פגיעויות של חציית נתיב (Path Traversal) בקוד שנוצר על ידי LLM

קבענו כי כלי פיתוח תוכנה רבים ממנפים מערכות AI מתוחכמות הידועות בשם מודלי שפה גדולים (LLMs). מודלים אלו מייצרים קוד שלמרות יעילותו, מכניס מדי פעם בעיות אבטחה כמו פגיעויות של חציית נתיב (path traversal) לתוכנת הייצור.

פגיעויות של חציית נתיב, המכונה גם מעבר ספריות, יכולות לאפשר לתוקפים לקרוא קבצים שרירותיים במערכת הקבצים של השרת, ועלולה לקבל גישה למידע רגיש. נניח שמפתח מבקש ממודל ⁦AI⁩ כמו ⁦ChatGPT⁩ ליצור פונקציה לתמרן או להביא קבצים מספרייה עם נתיב יחסי, תוך טיפול בקלט של המשתמש. בואו נסתכל על דוגמה של הקוד ⁦Node.js⁩ שנוצר:

⁦1 const fs = require ( 'fs' ); 2 const path = require ( 'path' ); 3 4 function getFile ( fileName ) { 5 const filePath = path . join ( __dirname , fileName ); 6 return fs . readFileSync ( filePath , 'utf-8' ); 7 }⁩

האמור לעיל הוא בעצם האופן שבו קבצים סטטיים מוצגים במסגרות כמו ⁦Nuxt⁩ ו-⁦Next.js⁩ או אם הפעלת שרת מקומי ⁦Vite⁩ כדי להגיש קבצים שנוצרו באופן סטטי דרך מסגרת אינטרנט כמו ⁦Astro⁩.

בעוד שהפונקציה שלעיל ⁦getFile⁩ עשויה להיראות בלתי מזיקה לחלוטין, היא למעשה מסתירה פגיעות קריטית של מעבר נתיב. אם משתמש זדוני מספק שם קובץ כמו '../../etc/passwd' , זה יאפשר גישה לקבצי מערכת רגישים מחוץ לספרייה המיועדת - דוגמה קלאסית להתקפת חציית נתיב.

שקול את הוכחת המושג הבאה:

⁦console . log ( getFile ( '../../etc/passwd' ));⁩

מודלי AI חסרים את היכולת האנושית לזהות השלכות אבטחה בהקשרים שונים. לכן, שימוש בקוד שנוצר על ידי AI ללא בדיקה ושינוי מדוקדקים עלול להוביל לסיכוני אבטחה קריטיים ביישומי תוכנה. חיוני לבצע סניטציה (sanitize) לקלט המשתמשים כראוי או להשתמש בהפשטות בטוחות המוצעות על ידי השפה, הספריות או המסגרות כדי להתגונן מפני חציית נתיבים ופגיעויות פוטנציאליות אחרות. עבור דוגמת ה-Node.js שלנו, גישה בטוחה יותר יכולה להיות:

⁦1 function getFileSafe ( fileName ) { 2 if ( fileName . includes ( '..' )) { 3 throw new Error ( 'Security alert: illegal file path' ); 4 } 5 const filePath = path . join ( __dirname , fileName ); 6 return fs . readFileSync ( filePath , 'utf-8' ); 7 }⁩

האמור לעיל, עם זאת, עדיין פגיע לוקטורי תקיפה אחרים. אתה יודע מה אלה יכולים להיות? אם הבנת את זה או רוצה לנחש, אנו ממליצים לך לשלוח לנו פינג ב-⁦Twitter⁩ עם הרעיונות שלך ב-@snyksec.

להלן דוגמה אמיתית שבה ביקשתי מ-ChatGPT ליישם תכונה הקשורה להגשת קבצים סטטיים באמצעות מסגרת יישומי האינטרנט המצוינת Fastify על Node.js. אני מקווה שבשלב זה, לאחר שלמדתם על הסכנות של פגיעויות חציית נתיב, תוכלו לזהות את בעיית האבטחה ש-ChatGPT כללה בהצעת הקוד שלה:

כדי לכתוב קוד מאובטח, מפתחים חייבים להישאר מודעים לפוטנציאל של קוד ⁦AI-generated⁩ להפיץ נקודות תורפה. בעוד ⁦LLMs⁩ כמו ⁦ChatGPT⁩ מציעים הבטחה לפיתוח מואץ, פיקוח אנושי עדיין חיוני כדי להבטיח בסיסי קוד חזקים ומאובטחים. הנטל מוטלת יותר ויותר עלינו, המפתחים והמהנדסים, להבין ולנהל את השלכות האבטחה בעת אימוץ קוד ממקורות לא מהימנים.

דגמי שפה גדולים והאתגר בזיהוי קוד מאובטח

למרות ההתקדמות המהפכנית במודלי שפה גדולים (LLMs) והשילוב של AI בפרקטיקות קידוד, נותר אתגר משמעותי — חוסר היכולת של LLMs לזהות קוד עם פרצות אבטחה מובנות. Luke Hinds, הידוע בתרומתו לאבטחת שרשרת האספקה, שפך אור על סוגיה זו באמצעות דוגמאות שונות ליצירת קוד עם מודלי AI כמו ChatGPT, והדגים כיצד מודלים אלו לא הצליחו לזהות פגיעויות אבטחה פוטנציאליות בשפות תכנות וסוגי פגיעות שונים.

דוגמאות של ⁦Luke Hinds⁩' הדגימו את הפערים ביכולת של ⁦ChatGPT⁩ לזהות ולהימנע ממלכודות אבטחה פוטנציאליות בקוד שהוא מייצר. בין אם מדובר בפרצות אימות קלט ב-⁦Python⁩, יישום מסוכן של מחוללי מספרים פסאודו-אקראיים ב-⁦Go⁩, או חוסר טיפול נכון בשגיאות בקוד ⁦JavaScript⁩ - אף אחד מהסיכונים הללו לא נתפס על ידי המודל.

לדוגמה, כאשר התבקש לספק תובנה על בלוק קוד שסבל מבעיית אבטחה מסוג TOCTOU (Time-of-check to time-of-use), המודל לא הצליח להזכיר זאת כלל או להסב את תשומת הלב לשימוש בספרייה הזמנית של מערכת ההפעלה, שהיא בעיית אבטחה בולטת ביישומים בעולם האמיתי בשל נתיבי הספרייה המוגדרים מראש על ידי מערכות הפעלה. דוגמאות אלו ממחישות את הסכנה שבהסתמכות על AI בלבד כדי ליצור או לזהות קוד באיכות ייצור, מבלי להבין את מלוא השלכות האבטחה.

סוגיית הליבה טמונה באופן שבו ⁦AI⁩ ⁦LLMs⁩ מאומנים. הם לומדים מכמויות אדירות של נתונים מהאינטרנט, הכוללים גם קוד מאובטח וגם לא מאובטח. הם אינם מבינים מטבעם את ההקשר, עקרונות האבטחה או ההשלכות סביב הקוד שהם יוצרים. זה מדגיש את החשיבות של תהליך סקירה אנושי זהיר ומתודי, ללא קשר לאופי הקוד - נכתב על ידי אדם או ⁦AI-generated⁩.

התובנות הללו ששותפו ל⁦Luke Hinds⁩ מאירות זרקור הכרחי על הסיכונים הטמונים בשימוש ב-⁦AI⁩ בפיתוח תוכנה. בעוד ⁦AI⁩ ו-⁦LLMs⁩ מספקים הזדמנויות חסרות תקדים להאצת יצירת קוד ואף לאוטומציה של היבטים של פיתוח תוכנה, חובה על המפתחים לבדוק, לאמת, ולוודא שהקוד המתקבל עומד בהנחיות קידוד מאובטח.

⁦AI⁩ סיכוני אבטחה והדרך למערכות ⁦AI⁩ גמישות

בינה מלאכותית (AI) שינתה את האופן שבו אנו פועלים, אך כמו בכל התקדמות טכנולוגית, היא נתקלת באתגרי אבטחה ייחודיים. במסמך המאיר עיניים שלהם, "Securing the Future of AI and Machine Learning", חברת Microsoft שופכת אור על חלק מהסיכונים הללו ומציעה תובנות חשובות לעבודה לקראת מערכות AI גמישות.

הבה נחקור שלוש נקודות מבט על סיכוני אבטחה ⁦AI⁩ אלה:

• נקודה מרתקת שהם מעלים היא הפגיעות הנוצרת עקב האופי הפתוח של מערכי הנתונים המשמשים ב-AI ובלמידת מכונה (ML). במקום צורך לפרוץ למערכי נתונים, תוקפים יכולים לתרום להם ישירות. עם הזמן, נתונים זדוניים, אם הם מוסווים בצורה חכמה ומובנים היטב, יכולים לעבור מנתונים בעלי ביטחון נמוך לנתונים מהימנים בעלי ביטחון גבוה. סיכון מובנה זה מציב אתגר משמעותי לאבטחת פיתוח מונחה נתונים ב-AI.

• מצוקה נוספת קיימת בערפול של מסווגים נסתרים בתוך מודלים של למידה עמוקה. מכיוון שמודלי ML הם "קופסאות שחורות" ידועות לשמצה, חוסר היכולת שלהם להסביר את תהליך ההיגיון שלהם מעכב את היכולת להגן באופן מוכח על ממצאי ה-AI/ML כאשר הם נבחנים תחת ביקורת. מאפיין זה של מערכות AI, המכונה לעתים קרובות חוסר יכולת הסבר (lack of explainability), מעלה סוגיות של אמון וקבלה, במיוחד בתחומים בעלי סיכון גבוה.

#ai-hallucinations#ai-security#llm-risks#developer-awareness
קרא במקור