10 מאמרי אבטחת ה-AI המובילים שחובה לקרוא בשנת 2024
אמ;לק
אוסף של עשרה מאמרי אבטחת AI המתמקדים באיומים חדשים על מודלי AI ובאסטרטגיות הגנה למפתחים. הבנת התוכן הזה חיונית לפיתוח ויישום מאובטחים של מערכות AI. המאמרים מציעים דרכים יצירתיות להתמודד עם אתגרי אבטחה ייחודיים.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: The top 10 AI security articles you must read in 2024

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
Large Language Models (LLMs) כגון ChatGPT הפכו ללהיט של ממש. המצב הזה מעלה חששות בנושא אבטחת AI. בפרט, מהן הפגיעויות הנפוצות והאיומים המתהווים בתחום ה-AI? בנוסף, כיצד מפתחים יכולים לשמור על אבטחת המודלים שלהם, ובאילו דרכים מומחי אבטחה יכולים להשתמש ב-AI כדי לבצע משימות אבטחה?
כדי לשפוך אור על שאלות אלו, אספנו עבורכם אוסף של 10 מאמרי אבטחת AI לקריאה. כתבות אלו מציעות תובנות לגבי המגמות, האתגרים והאיומים העדכניים בתחום אבטחת ה-AI.
1. ניתן לחשוף את נתוני האימונים של ChatGPT באמצעות "התקפת סטייה"
https://stackdiary.com/chatgpts-training-data-can-be-exposed-via-a-divergence-attack/
חוקרים (Nasr וחב') ביקשו מ-ChatGPT לחזור על המילה "poem" לנצח. התוצאה: ChatGPT חשף את נתוני האימון שלו, שכללו מידע מזהה אישי (PII) כגון מספרי טלפון, כתובות אימייל וכתובות פיזיות.
מאמר זה מאת Alex Ivanovs מספק סיכום ברמה גבוהה של עבודת המחקר. הוא מכסה גם חלק מהפרטים הטכניים בצורה קריאה ומדגיש את הצורך באבטחה ל-ChatGPT.
2. Adversarial Machine Learning ואבטחת סייבר: סיכונים, אתגרים והשלכות משפטיות
https://cset.georgetown.edu/publication/adversarial-machine-learning-and-cybersecurity/
בדיוק כמו עם אבטחת סייבר מסורתית, מודלים של למידת מכונה מועדים לפגיעות.
ביולי 2022, המרכז לאבטחה וטכנולוגיות מתפתחות (CSET) של אוניברסיטת ג'ורג'טאון ותוכנית המדיניות הגיאופוליטית, הטכנולוגית והממשל של מרכז המדיניות לסייבר של סטנפורד ארגנו סדנה בנושא אבטחת AI. התוצר היה דוח סדנה שדן בפגיעויות AI וסיפק המלצות אבטחה. לפי תקציר המנהלים, הנושאים שנדונו כללו:
• המידה שבה ניתן לטפל בפגיעויות AI במסגרת תהליכי אבטחת סייבר סטנדרטיים
• החסמים המונעים כיום שיתוף מדויק של מידע על פגיעויות AI
• בעיות משפטיות הקשורות להתקפות יריבות על מערכות AI
• תחומים פוטנציאליים שבהם תמיכה ממשלתית יכולה לשפר את ניהול הפגיעויות ב-AI ואת צעדי ההפחתה שלהן
3. Llama Guard: הגנה מבוססת LLM לקלט-פלט בשיחות אדם-AI
https://ai.meta.com/research/publications/llama-guard-llm-based-input-output-safeguard-for-human-ai-conversations/
כיצד מגנים על Large Language Models (LLMs) מפני הנחיות מזיקות? יתרה מכך, כיצד מוודאים ש-LLMs לא יגיבו בצורה מזיקה? חוקרים ב-Meta (Inan וחב') פרסמו לאחרונה מודל — Llama Guard — שיכול לזהות אם הנחיה או תגובה אינן בטוחות. ניתן להחיל אותו הן על משתמשים (הנחיות) והן על סוכנים (תגובות); משקולות המודל פומביות; וניתן להתאים אותו לכל טקסונומיה בטיחותית.
4. ניתוח האבטחה של קוד מחקר למידת מכונה
https://developer.nvidia.com/blog/analyzing-the-security-of-machine-learning-research-code/
AI אינו חשוף רק לפגיעויות AI; קוד למידת מכונה יכול להכיל גם בעיות מסורתיות. בניתוח מאגר נתונים של קוד מחקר למידת מכונה, ה-NVIDIA AI Red Team מצאו פגיעויות שונות, כולל Insecure Deserialization, XML Injection, Mishandled Sensitive Information ועוד. בסך הכל, הם סקרו 3.5 מיליון קבצי Python ו-Jupyter Notebooks, באמצעות Semgrep לניתוח סטטי ו-TruffleHog לסריקת סודות.
5. חוקרים מגלים פגיעות חדשה במודלים של שפות גדולות
https://www.cylab.cmu.edu/news/2023/07/24-research-find-vulnerability-in-llms.html
מודלים של שפה גדולה (LLMs) עוברים כוונון עדין (Fine-tuning) כדי לדחות הנחיות זדוניות או מסוכנות. עם זאת, אחת ההתקפות המוקדמות ביותר נגד LLMs הייתה פריצת כלא (Jailbreaking): על ידי יצירת הנחיה מיוחדת, תוקף יכול לבקש מ-LLM לעבד הנחיות זדוניות או מסוכנות.
כעת ניתן ליצור את פריצות הכלא הללו באופן אלגוריתמי. המאמר של Ryan Noone מסכם מתקפת סיומת פריצת כלא חדשה שהוצגה במאמר של Zou וחב', "Universal and Transferable Adversarial Attacks on Aligned Language Models." החלק הטוב ביותר: המתקפה אוניברסלית ופועלת על כל ה-LLMs.
כלי אבטחת ה-AI המובילים לענן וכיצד לאבטח עומסי עבודה של AI
6. 10 המובילים של OWASP עבור יישומי LLM
https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1.pdf
בדומה לרשימת ה-Top 10 Web Application Security Risks שלה, OWASP פרסמה רשימת 10 המובילים עבור יישומי Large Language Model. הרשימה כוללת התקפות כגון Prompt Injection, Insecure Output Handling, Training Data Poisoning ועוד. יתר על כן, המסמך דן בכל התקפה ומספק תיאורים, דוגמאות נפוצות, אסטרטגיות הפחתה ותרחישי תקיפה.
7. הסבר על ניצול תוספי ChatGPT: מהזרקת הנחיות (Prompt Injection) ועד לגישה לנתונים פרטיים
https://embracethered.com/blog/posts/2023/chatgpt-cross-plugin-request-forgery-and-prompt-injection./
האם שמעתם על Cross Plugin Request Forgery? במאמרו, Johann Rehberger מציג את מתקפת ה-Cross Plugin Request Forgery נגד תוספי ChatGPT. הנחיה זדונית (המוזרקת דרך אתר אינטרנט, למשל) יכולה להפעיל תוספי ChatGPT מאומתים ולבצע פעולות מורשות בשם המשתמש. למעשה, מדובר במתקפת Cross-Site Request Forgery (CSRF) נגד Large Language Models (LLMs).
(Johann Rehberger גם נשא הרצאה מצוינת על הזרקת הנחיות ב-Ekoparty 2023 — צפו בה כאן).
8. הצו המבצעי של ביידן בנושא AI: מה הוא אומר, ומה המשמעות עבור צוותי אבטחה
https://www.wiz.io/blog/bidens-ai-executive-order-what-it-means-for-security-teams
ב-30 באוקטובר 2023, ג'ו ביידן הוציא צו מבצעי בנושא פיתוח ושימוש בטוח, מאובטח ומהימן בבינה מלאכותית. לרבות מנקודות הצו היו השלכות על צוותי פרטיות ואבטחה.
בבלוג של Wiz, ג'וזף תאקר (Joseph Thacker) בוחן את הצו המבצעי של ביידן בנושא AI ומסביר את נקודות המפתח והנושאים המרכזיים שבו. הוא גם דן בהשלכות הצו על צוותי אבטחה ובצעדים שהם יצטרכו לנקוט.
9. הכירו את Fuzzomatic: שימוש ב-AI כדי לבצע Fuzzing אוטומטי לפרויקטי Rust מאפס
https://research.kudelskisecurity.com/2023/12/07/introducing-fuzzomatic-using-ai-to-automatically-fuzz-rust-projects-from-scratch/ (הוצג לאחרונה בניוזלטר tl;dr sec).
ניתן להשתמש ב-Large Language Models (LLMs) לגילוי פגיעויות. חוקרים ב-Kudelski Security תשאלו את ה-API של ChatGPT כדי ליצור יעדי Fuzzing — פונקציות שמקבלות נתונים ובודקות API כלשהו — לצורך ביצוע Fuzzing לתוכניות Rust. הם מצאו 14 באגים ב-37 מתוך 50 הפרויקטים המובילים ב-GitHub שנכתבו ב-Rust. בולט במיוחד הוא הגילוי של 4 פגיעויות של הצפת מספרים שלמים (Integer Overflow).
10. WormGPT: מה לדעת על בן דודו הזדוני של ChatGPT
https://www.zdnet.com/article/wormgpt-what-to-know-about-chatgpts-malicious-cousin/
שחקנים זדוניים משתמשים ב-WormGPT וב-FraudGPT כחלופות ללא מגבלות ל-ChatGPT. בעזרת הנחיות למודלים אלו, תוקפים יכולים לייצר קוד זדוני, לכתוב הודעות דיוג (Phishing) או לחשוף פגיעויות. מדובר בבעיה חדשה שרק תהפוך לנפוצה יותר: צ'אטבוטים עבור שחקנים זדוניים. קראו עוד במאמר לעיל מאת צ'רלי אוסבורן (Charlie Osborne).
למידע נוסף!
התחילו את השנה עם יתרון בבניית המומחיות שלכם ב-AI: למדו כיצד Wiz היה כלי ה-CNAP הראשון שסיפק ניהול אבטחה ל-AI (AI-SPM) וכיצד אנו מייעצים לבחור כלי AI-SPM. שנה טובה ולמידה מהנה!
המשך לקרוא
בחירת כלי AI-SPM: ארבע השאלות שכל ארגון אבטחה צריך לשאול
וודאו שאתם נשארים מאובטחים כשהארגון שלכם מאמץ AI על ידי מענה על ארבע השאלות המנחות הללו
הגדרת ברירות מחדל מאובטחות ב-AWS והימנעות מהגדרות שגויות
חוקר אבטחת ענן של Wiz, Scott Piper, מציע אמצעים שארגונים יכולים לנקוט כדי להבטיח ברירות מחדל מאובטחות ב-AWS ולשפר את עמדת האבטחה שלהם.
כיצד למנף אבטחה מבוססת AI בארגון שלך
אבטחה מבוססת AI עוזרת לארגונים לשפר את היעילות ולהגדיל את צוות האבטחה שלהם. עקבו אחר מסגרת עבודה זו כדי למנף ביעילות AI בארגון האבטחה שלכם