אבטחת AI גנרטיבי: האם מפתחים חושפים סודות למודלי שפה גדולים?
אמ;לק
פוסט זה דן באתגרי אבטחת מידע באבטחת בינה מלאכותית גנרטיבית. הוא מתמקד בסכנה שבה מפתחים עשויים להזין בטעות מידע רגיש או סודות לא מודעים למודלי שפה גדולים (LLMs). הבנת סיכונים אלה חיונית להגנה על קוד ונתונים ארגוניים בסביבת פיתוח מונעת AI.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Generative AI Security: Are Your Developers Pasting Secrets Into LLMs?

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
TL;DR
• זינוק של 81% בהדלפות משירותי AI: GitGuardian זיהתה למעלה מ-1.27 מיליון סודות דלוּפים הקשורים לשירותי AI בשנת 2025, זינוק של 81% לעומת השנה הקודמת, כאשר קוד שנוצר בעזרת AI הדליף סודות בקצב הגבוה בערך פי שניים מהממוצע ב-GitHub.
• מאות תקריות בתוך שבועות: לקוח אחד הטמיע את GitGuardian מאחורי ה-AI gateway הפנימי שלו וחשף מאות תקריות של חשיפת סודות בתוך שבועות; חלק משמעותי מהממצאים היו תקפים בעת הזיהוי, ואף אחד מהם לא הגיע מעולם למאגר git.
• סריקה בארבעה שלבים באמצעות Custom Source: ה-AI gateway מעביר כל מטען (payload) ל-Scan API של GitGuardian, מתויג עם Custom Source UUID, סורק אותו בזיכרון באמצעות למעלה מ-600 גלאים, ויוצר תקריות מבלי לאחסן את התוכן.
• בדיקה של שבועיים ללא חסימה: מצב ללא חסימה מאפשר לבקשה לעבור ומתעד את התקרית, כך שניתן לבטל ממצאים תקפים ולמדוד את החשיפה בפועל לאורך שבועיים. לעומת זאת, מצב חסימה דוחה את הבקשה לפני שהיא מגיעה לספק, ובכך מונע את הצורך בסיבוב (rotation) של הסודות.
לקוח אחד הטמיע את GitGuardian מאחורי ה-AI gateway הפנימי שלו. בתוך שבועות זיהינו מאות תקריות שבהן דלפו סודות דרך השער, כאשר חלק ניכר מהם היו תקפים בזמן הגילוי.
אף אחד מהם לא נגע מעולם במאגר git. הסודות עברו ישירות מהמסוף של המפתח או מה-IDE לתוך הנחיה (prompt) או קריאת כלי (tool call), ומשם החוצה לספק מודלים צד-שלישי.
זה תואם למה שאנחנו רואים בהיקפים רחבים. במהלך 2025, סודות דלפו מקוד שנוצר בעזרת AI בקצב הגבוה בערך פי שניים מהממוצע ב-GitHub, ו-GitGuardian זיהתה למעלה מ-1.27 מיליון סודות דלופים הקשורים לשירותי AI, זינוק של 81% מהשנה הקודמת. הנתונים הללו מגיעים מקוד שאנחנו יכולים לראות; תעבורת ההנחיות (prompts) היא החלק שאף אחד לא סופר.
הערוץ שאף אחד לא סורק
ההתנהגות שיוצרת את החשיפה היא יומיומית. מפתח שמנפה באגים בבקשה שכשלה, מדביק את פקודת ה-curl המלאה, כולל כותרות. מישהו גורר קובץ .env לחלון צ'אט ומבקש מהמודל להסביר משתנה מסוים. סוכן (agent) קורא קובץ הגדרות ומעביר אותו כהקשר (context) בקריאת כלי. אף אחד לא מתרשל בכוונה; הם מדביקים מאה שורות ולא קוראים את כולן.
זיהוי סודות הגיע לבשלות סביב קוד: מאגרים, יומני CI, תמונות של קונטיינרים וכלי ניהול משימות. הנחיות (prompts) הן קרקע חדשה יותר, והכיסוי בהן אינו אחיד.
חלק מהבעיה כבר נפתר במקור: ה-AI Hooks של ggshield סורקים הנחיות, קריאות כלים ופלט של כלים בתוך Cursor, Claude Code, Codex ו-VS Code עם Copilot, וחוסמים את הפעולה לפני שהיא מגיעה למודל. פרוס אותם לאורך כל הארגון שלך; זה המקום המוקדם והנקי ביותר לתפוס סוד.
לשני אמצעי הבקרה יש תפקידים שונים, וההקבלה ל-git תהיה מוכרת: ה-AI Hooks הם ה-pre-commit שלך – הכי קרוב למקום שבו מתרחשת הטעות, עם חוויית תיקון מיטבית, והם מוגבלים לכלים ולמכונות שבהן התקנת אותם. ה-AI gateway הוא ה-pre-receive שלך – הוא רחוק יותר מהמפתח, אך הוא רואה כל בקשה שעוברת דרכו: סוכן שרץ ב-CI, עבודות אצווה (batch jobs) שקוראות ל-API של מודלים, או אפליקציות פנימיות שאיש לא סיווג ככלי AI – הטריטוריה הקלאסית של ה-shadow AI. אתה רוצה את שניהם.
שלושה דברים הופכים את זה לגרוע יותר מהדבקה המקבילה לשרשור Slack:
• התוכן עוזב את ההיקף שלך מיד. זה עובר לצד שלישי, תחת תנאי השמירה של אותו ספק, לא שלך.
• כברירת מחדל, שום דבר לא נשמר בצד שלך. Commit יושב במאגר שבבעלותך וניתן לסריקה רטרואקטיבית. תעבורת הנחיות נעלמת ברגע שהיא נשלחת, אלא אם כן אתה לוכד אותה בזמן אמת.
• תעבורת סוכנים נושאת יותר מידע. סוכן מעביר לעיתים קבצים שלמים כהקשר, בעוד ששאלה אנושית מסתכמת בדרך כלל במשפט.
מדוע השער AI שלך הוא המקום הנכון לתפוס אותו
מספר גדל והולך של ארגוני הנדסה כבר מנתבים את תעבורת ה-LLM דרך שער AI פנימי אחד, שלעיתים מכונה LLM proxy או LLM gateway. הם עושים זאת לצורכי ייחוס עלויות, הגבלת קצב (rate limiting), ניתוב מודלים, וכדי להימנע ממסירת מפתחות API של ספקים לכל מפתח בנפרד. ה-AI gateway מעניק למפתחים שירות אחד עם בסיס URL אחיד, ללא קשר לאיזה ספק משרת את הבקשה.
השער AI הזה רואה גם כל הנחיה, כל קריאת כלי וכל תגובה. זה המקום שבו התנועה הזו כבר נמצאת בטקסט ברור וכבר שלך.
פרט אחד הופך את הרעיון למעשי: השהיה (latency) חשובה הרבה פחות כאן. קריאה למודל כבר אורכת שניות, לכן סריקה נוספת היא זניחה לעומת זמן הבסיס הזה. אם תיישם גישה דומה על פרוקסי רשת סטנדרטי, העיכוב יהפוך לבלתי נסבל. ב-AI gateway, התקציב לזמן הזה כבר קיים.
איך זה עובד
• ה-AI gateway שלך מקבל בקשה המיועדת לספק מודלים.
• השער AI מעביר את המטען לסריקה API של GitGuardian, מתויג עם Custom Source UUID שלך. אנחנו סורקים בזיכרון ומחזירים ממצאים. התוכן אינו מאוחסן.
• GitGuardian מריץ אותו דרך 600+ גלאים ויוצר תקריות בלוח המחוונים שלך.
• השער AI מעביר את הבקשה או חוסם אותה, בהתאם למצב שתבחר.
חסימה או אי חסימה
שניהם עובדים. הפשרה היא אמיתית, אז החליטו בכוונה.
ללא חסימה: הבקשה עוברת, ואתה מקבל את התרעת התקרית. מכיוון שהאישור הגיע לספק, עליך לבטל את כל הממצאים התקפים. בתמורה, אתה מקבל מדידה: שבועיים יספקו לך נתונים על היקף הדליפות האמיתי שלך.
חסימה: ה-AI gateway דוחה את הבקשה ולעולם לא קורא לספק. המפתח מסיר את האישורים ומנסה שוב. זה עולה דקה של עבודה וחוסך לך סיבוב של הסודות. קבע מראש דבר אחד: כיצד מפתח מדווח על חיובי שגוי (false positive).
התחל ללא חסימה כדי להתאים את הבעיה, ולאחר מכן החלף ברגע שאתה סומך על האות.
יישום
דרישות מוקדמות
• חשבון GitGuardian עם Custom Sources (BYOS) מופעל
• חשבון שירות עם הרשאות סריקה ו-scan:create-incidents
שלב 1: צור את Custom Source
בלוח המחוונים של GitGuardian, עבור אל Settings → Integrations → Sources, ולאחר מכן ל-Secrets scanning → Add Custom Source. תן לזה שם כמו "AI Gateway" והעתק את ה-UUID שנוצר.
שלב 2: צור חשבון שירות
צור חשבון שירות ייעודי עם הרשאות scan ו-scan:create-incidents. אחסן את האסימון ב-secrets manager שלך, לא בהגדרות ה-AI gateway.
שלב 3: שלח את המטען אל GitGuardian
פרסם את התוכן ב-/v1/scan/create-incidents . הגוף לוקח את המקור שלך UUID ורשימת מסמכים:
{ "source_uuid" : "YOUR_SOURCE_UUID" , "documents" : [ { "filename" : "prompt.txt" , "document" : "<content to scan>" , "location" : { "url" : "https://ai-gateway.internal/v1/models/<model>/invoke" } } ] }
השדה location.url הוא אופציונלי אך כדאי להגדירו. הוא מצביע בחזרה לערך ביומן ה-AI gateway שלך, כך שמי שמטפל בתקרית יוכל למצוא את הבקשה שיצרה אותה.
מתוך השער AI, זו שיחה אחת:
import requests response = requests.post( f"{GITGUARDIAN_API_URL}/v1/scan/create-incidents" , headers={ "Authorization" : f"Bearer {GITGUARDIAN_API_KEY}" }, json={ "source_uuid" : GITGUARDIAN_SOURCE_UUID, "documents" : [ { "filename" : "prompt.txt" , "document" : prompt_payload, "location" : { "url" : request_log_url}, } ], }, timeout= 5 , )
• https://api.eu1.gitguardian.com עבור SaaS EU
• https://gitguardian.example.com/ חשוף אם אתה מארח בעצמך.
שתי מגבלות מעצבות את פעולת ה-batching שלך: עד 20 מסמכים לכל קריאה, וגודל סריקה מקסימלי שתלוי בתוכנית שלך.
שלב 4: החלט מה לשלוח
התחל עם הבקשה: ההנחיה עצמה, בתוספת הטיעונים של כל קריאת כלי. שם מופיעות האישורים.
כדאי לסרוק גם תגובות של מודלים, מכיוון שסוכן שקורא קובץ הגדרות ומסכם אותו עלול בטעות לחשוף את האישורים שוב. זה רלוונטי רק במצב ללא חסימה. אם אתה חוסם, אתה דוחה את הבקשה לפני שהספק נקרא בכלל, כך שאין תגובה לסרוק.
שלב 5: נתב את האירועים
סנן את לוח המחוונים שלך לפי השם Custom Source כדי לבודד ממצאי שער AI והגדר כלל ייעודי להודעות.
התיקון כאן הוא מוגבל יותר. אין חפץ (artifact) משלך לנקות, כי העותק החשוב נמצא כעת אצל צד שלישי. הערך תחילה את רדיוס הפיצוץ של האישור, ולאחר מכן בצע לו סיבוב (rotation), או בטל אותו והנפק אחד חדש אם הספק אינו תומך בסיבוב בשלב אחד.
מה זה עולה לך
צריך להיות כנים לגבי החלק הקשה: הטמעת הסריקה היא עבודה של כמה שעות, אך הניתוב של כל תעבורת ה-LLM דרך ה-AI gateway הוא פרויקט רשת ו-IT משמעותי.
עליך לוודא שנקודות הקצה של הספק נפתרות דרך השער שלך, ושהדבר נאכף על כל הארגון באמצעות מדיניות MDM או VPN. עליך לקבל את העובדה שמפתח שמתנתק מה-VPN עלול לעקוף את כל המערכת. זהו כיסוי, לא בלימה מוחלטת, אך זה עדיין עדיף על חוסר ראות מוחלט.
הדפוס מכליל
שער AI הוא דוגמה אחת לרעיון רחב יותר. בכל מקום שבו תוכן עובר דרך נקודת חנק (chokepoint) שבבעלותך בדרכו ליעד שאינך שולט בו, באפשרותך לסרוק אותו. שירותי שיתוף קבצים יכולים לסרוק העלאה לפני יצירת הקישור הציבורי; שערי דואר יוצא יכולים לעצור הודעה המכילה אישור ולהחזירה לשולח; מחוללי חבילות אבחון יכולים לסמן סודות לפני שהקובץ מגיע לכרטיס תמיכה.
אותה תבנית בכל פעם: נקודת חנק, תקציב זמני השהיה מקובל, ותוכן שיוצא משליטתך. נרחיב על כך בפוסט עתידי.
איפה להתחיל
בחר נקודת חנק שכבר בבעלותך שבה טקסט יוצא לצד שלישי. עבור רוב ארגוני ההנדסה כיום, ה-AI gateway הוא המקום הברור ביותר. צור Custom Source, חבר אותו במצב ללא חסימה, והפעל אותו במשך שבועיים כדי להעריך את היקף הבעיה. לאחר מכן, הפעל את מצב החסימה.
זהו הפוסט החמישי בסדרת "Bring Your Own Source" שלנו. הקודמים כיסו n8n שילוב זרימת עבודה , Salesforce, GitLab CI ו-GitHub Gists .
מאמר זה נכתב על ידי Romain Jouhannet, Product Manager ב-GitGuardian.
FAQ
שער AI (AI gateway) הוא פרוקסי פנימי או שכבת בקרה שצוותי הנדסה מציבים בין היישומים שלהם לבין ספקי מודלי AI. במקום שכל אפליקציה תקרא ישירות ל-OpenAI, Anthropic או ספק אחר, תעבורת המודלים יכולה לזרום דרך נקודת קצה משותפת. צוותים משתמשים בשערי AI עבור יכולות כגון ניהול אישורים מרכזי, ייחוס עלויות, הגבלת תעריפים, יכולות ניטור (observability) וניתוב מודלים. בפוסט זה, אנו משתמשים במונחים AI gateway ו-LLM proxy באופן נרחב כדי לתאר את אותה תבנית ארכיטקטונית, אף שפלטפורמות מסוימות מבחינות בין פרוקסי קל-משקל לבין שער עשיר יותר בתכונות.
פרוקסי LLM הוא נקודת קצה שיושבת בין יישומים, סוכנים או משרות CI לבין ספקי המודלים שהם קוראים להם. כאשר תעבורת המודל עוברת דרך הפרוקסי, ניתן לבדוק את ההנחיות והתגובות לפני העברתן ליעד, מה שהופך את הפרוקסי לנקודת אכיפה מעשית לזיהוי סודות חשופים. ניתן להשתמש באינטגרציית Bring Your Own Source של GitGuardian כדי לשלוח תעבורה זו למנוע זיהוי הסודות של GitGuardian לצורך סריקה.
אבטחת בינה מלאכותית גנרטיבית כוללת הגנה על אישורים ונתונים רגישים אחרים מפני דליפה דרך הדרכים שבהן מפתחים, יישומים וסוכנים מקיימים אינטראקציה עם מערכות בינה מלאכותית, למשל באמצעות פקודות מודבקות, קבצי הגדרות, הנחיות או קריאות API של מודלים. בקרות משלימות יכולות לפעול בנקודות שונות בזרימה זו: הגנות בצד המפתח יכולות לתפוס סודות לפני שהן מגיעות למודל, בעוד ששער AI או פרוקסי LLM יכולים לבדוק את תעבורת המודל בהמשך הדרך, עבור יישומים, סוכנים וזרימות עבודה אוטומטיות.