רזה ויעיל: כך כיילנו מודל שפה קטן לזיהוי סודות בקוד
אמ;לק
המאמר מתאר את התהליך לבניית מודל שפה קטן ויעיל לאבטחת סייבר, החל מהכנת הנתונים ועד לפריסה. הוא מתמקד באופטימיזציה של המודל לזיהוי סודות (secrets) בקוד, דבר חיוני להפחתת סיכוני אבטחה ביישומי תוכנה.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Lean and Mean: How We Fine-Tuned a Small Language Model for Secret Detection in Code

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
ביצענו כוונון עדין למודל שפה קטן (Llama 3.2 1B) לצורך איתור סודות בקוד, והשגנו 86% דיוק ו-82% זכירה (recall) – ביצועים שעולים משמעותית על שיטות מסורתיות מבוססות regex. הגישה שלנו מתמודדת עם המגבלות של דפוסי regex (הבנת הקשר מוגבלת) ושל מודלי שפה גדולים (עלויות חישוב גבוהות וחששות פרטיות) באמצעות יצירת מודל רזה ויעיל שיכול לפעול על מעבדי CPU סטנדרטיים. פוסט זה מפרט את המסע שלנו מהכנת הנתונים ועד לאימון ופריסת המודלים, ומדגים כיצד מודלי שפה קטנים (SLMs) יכולים לפתור אתגרי אבטחת סייבר ספציפיים ללא התקורה של LLMs מסיביים. מחקר זה הוא כעת אחד ממאמצי הליבה ב-Secret Security של Wiz, ומוסיף זיהוי סודות מהיר ומדויק כחלק מהפתרון שלנו.
בתחום אבטחת הסייבר, אישורים גנובים מייצגים את אחד מוקטורי התקיפה הנפוצים ביותר, המופיעים בכמעט שליש (31%) מכלל הפרצות. תוקפים מתמקדים לעתים קרובות בסודות ממקורות שונים, כולל מאגרים ציבוריים, משאבי ענן שעברו הגדרה שגויה ותחנות עבודה שנפגעו.
שיטות זיהוי סודות מסורתיות מסתמכות במידה רבה על דפוסי regex, הסובלים מכמה מגבלות קריטיות: הבנת הקשר מוגבלת המונעת הבחנה בין סודות ממשיים לבין מחרוזות בעלות מראה דומה; שיעור חיובי כוזב (false positive) גבוה המוביל לעייפות מהתראות; תחזוקת חוקים ידנית הדורשת עדכונים מתמידים עבור פורמטים סודיים חדשים; וכיסוי צר שלפי המחקר שלנו לוכד רק כ-60% מהדליפות הפוטנציאליות, וגם זאת עם שיעורי חיובי כוזב גבוהים.
בעוד שמודלים של שפה גדולים (LLMs) הוכיחו יכולות מרשימות להבנת הקשר קוד וזיהוי סודות לא טריוויאליים, פריסתם בקנה מידה מציגה אתגרים משמעותיים הקשורים לדרישות חישוביות, עלויות ודאגות לפרטיות הנתונים.
זה הוביל אותנו לשאול: האם נוכל לכוונן מודל שפה קטן יותר כדי להשיג את הטוב משני העולמות - ההבנה ההקשרית של LLMs עם היעילות של שיטות מסורתיות?
בעוד שדגמי שפה גדולים כמו GPT-4o ו-Claude Sonnet 4 הפגינו יכולות מרשימות בהבנת הקשר קוד וזיהוי סודות, הם מציגים אתגרים משמעותיים כאשר הם נפרסים בקנה מידה ארגוני, במיוחד בהקשר של אבטחת סייבר כמו שלנו ב-Wiz.
קנה מידה: Million-File Problem
Wiz סורקת מיליוני קובצי קוד מדי יום בסביבות הלקוחות שלנו. שימוש במודל שפה גדול למשימה זו ידרוש משאבי חישוב אדירים, תשתית מורכבת לעיבוד מקביל, ויכניס עיכובים משמעותיים שעלולים להשפיע על זיהוי פגיעויות קריטיות. שקלו את המתמטיקה: אם סריקת קובץ בודד נמשכת 2-3 שניות באמצעות LLM מבוסס API, עיבוד של 5 מיליון קבצים ייקח בערך 174 ימים בשרשור בודד. גם אם נתעלם ממגבלות קצב הבקשות ב-API ונשתמש בהקבלה מסיבית, זה נותר אתגר מורכב.
עלות: ה-Financial Equation
ההשלכות הכספיות של שימוש מסחרי ב-LLM APIs בקנה מידה רחב הן מדהימות. עלויות ה-API עבור מודלים גדולים נעות בדרך כלל בין 0.005$ ל-0.10$ לקובץ, תלוי בגודלו. בהיקף של מיליוני קבצים, מדובר במאות אלפי דולרים מדי חודש – מה שהופך סריקה מקיפה לבלתי כדאית מבחינה כלכלית.
פרטיות: Non-Negotiable Requirement
אולי החשוב מכל: קוד ארגוני מכיל מידע רגיש ביותר. לקוחות אינם מוכנים לשתף קוד קנייני עם שירותי LLM חיצוניים, ותקנות הגנת מידע בתעשיות ובאזורים שונים עשויות לאסור שליחת קוד למעבדי צד שלישי.
המחקר שלנו מייצג שינוי פרדיגמה המתרחק מהמנטליות של "גדול יותר זה טוב יותר" ששלטה בדיוני ה-AI. על ידי כוונון עדין של מודל קטן ומיוחד עבור משימת אבטחה ספציפית, הוכחנו שמודלי שפה קטנים יכולים להפיק תוצאות דומות לאלו של מודלי בסיס במשימות ספציפיות כאשר הם מאומנים כראוי. פריסה מקומית (On-premises) הופכת לאפשרית כדי לטפל בדאגות הפרטיות, יעילות העלות משתפרת באופן דרמטי ומאפשרת סריקה אמיתית בקנה מידה ארגוני, והשהייה (latency) מצטמצמת לרמות מקובלות עבור יישומים קריטיים לאבטחה.
גישה זו משנה את האופן שבו אנו חושבים על יישום AI על אתגרי אבטחה - במקום להסתמך על LLMs, אנו יכולים לפתח פתרונות ממוקדים ויעילים המותאמים לצרכי אבטחה ספציפיים.
גישה מרובת-סוכנים (Multi-Agent) לתיוג נתונים
כדי ליצור מערך נתונים לאימון באיכות גבוהה, הטמענו תהליך עבודה מיוחד מרובת-סוכנים (multi-agent) שמינפה LLMs גדולים יותר כדי לסייע בתיוג הנתונים. השתמשנו במודלים כמו Sonnet 3.7 כדי לזהות סודות פוטנציאליים בקובצי קוד מהמאגרים הציבוריים העצומים של GitHub. מודלים אלה יצרו מטא-נתונים מובנים עבור כל סוד פוטנציאלי, כולל ערך סודי, שם משתנה, קטגוריה וציון ביטחון. התמקדנו במיוחד בסודות לא ברורים המוסתרים בהערות, במחרוזות (string literals) ובהצהרות לוגים – אזורים שבהם regex נכשל לעתים קרובות – ויישמנו חידוד הנחיות איטרטיבי עם אימות מומחה כדי להבטיח תוויות באיכות גבוהה.
השתמשנו ב-Sonnet כמודל התיוג הבסיסי, וב-LLMs אחר כמאמת (LLM כשופט) עבור התוצאות.
Ensuring Dataset Balance and Quality
בניית מערך נתונים מאוזן ומייצג הייתה חיונית לביצועי המודל. שילבנו התאמת דפוסים (רגקס) עם ניתוח אנטרופיה כדי לזהות סודות פוטנציאליים. מערך הנתונים שלנו הבטיח ייצוג על פני שפות תכנות ופורמטים שונים של קבצים (XML, C, Java, Python וכו'), תהליך זה הניב מערך נתונים המכיל אלפי קובצי קוד.
Strategic Data Filtration
כדי למקסם את יעילות האימון, הטמענו צנרת (pipeline) מקיפה לסינון נתונים. החל ממערך הנתונים הראשוני שלנו מ-GitHub, עיבדנו את הנתונים דרך Sonnet 3.7. לאחר מכן יישמנו טכניקות אשכול (clustering) באמצעות אלגוריתמי MinHash ו-LSH כדי לקבץ קובצי קוד דומים. בתוך אשכולות אלו, הקבצים אורגנו לפי הסודות שזיהה ה-LLM, ובחרנו קובץ מייצג אחד מכל קבוצה כדי להבטיח גיוון ללא יתירות. שלב הסינון הסופי שלנו יישם קריטריונים ממוקדי איכות: חיסול שיטתי של קבצים עם סודות קצרים (חסרי הקשר מספיק), קבצים שבהם סודות המצוינים בקוד לא הופיעו בפועל, קבצים המכילים יותר מדי סודות (שעלולים לבלבל את המודל), קבצים עם סודות פלייסלדר נפוצים, וקבצים כפולים עם נתיבים ותבניות סודיות זהות. גישה שיטתית זו שיפרה משמעותית את איכות נתוני האימון שלנו תוך שמירה על הגיוון הדרוש לביצועי מודל חזקים על פני סוגים שונים של סודות והקשרי תכנות.
Setting Clear Targets
קבענו יעדים קונקרטיים למודל המכוונן שלנו: השגת הסקה (inference) תוך כ-10 שניות במכונת ARM CPU בעלת שרשור בודד; פלט נקודות נתונים מרובות בהסקה אחת (ערך סודי, קטגוריה וציון ביטחון); וביצועים שעולים על שיטות זיהוי מסורתיות מבוססות regex.
בחירת ה-Right Base Model
לאחר הערכת מספר מודלים של שפה קטנים, בחרנו ב-LLAMA-3.2-1B כמודל הבסיס שלנו לכוונון עדין, בשל מספר הפרמטרים הניתן לניהול (מיליארד פרמטרים בלבד), הבנת הבסיס המוצקה שלו של מבני קוד למרות גודלו, והארכיטקטורה שלו שהפכה אותו למתאים במיוחד להתאמה באמצעות LoRA. בדקנו גם חלופות כולל Phi 1.5 ו-QWEN CODE 2.5 0.5B, אך גילינו ש-LLAMA-3.2-1B סיפק את האיזון הטוב ביותר בין מהירות, דיוק ואבטחה למקרה השימוש שלנו.
Training Techniques
כדי לייעל את המודל שלנו הן לביצועים והן ליעילות, השתמשנו במספר טכניקות כוונון עדין מתקדמות:
Low-Rank Adaptation (LoRA): הוספת "Smart Filters" ל-Model שלנו
LoRA מייצג את אחת ההתקדמויות המשמעותיות ביותר בכוונון יעיל של מודלים והיה חיוני לגישה שלנו. האתגר המסורתי בכוונון מלא של מודל רשת עצבית דורש בדרך כלל עדכון של כל המשקולות בכל השכבות – מיליארדי פרמטרים שצורכים משאבי חישוב וזיכרון אדירים. פתרון ה-LoRA, במקום לשנות את המשקולות המקוריות שאומנו מראש, מוסיף מטריצות "מתאם" (adapter) קטנות לשכבות טרנספורמציה מרכזיות בתוך המודל. מתאמים אלה הם בדרגה נמוכה (low-rank, בדרך כלל בין 4-64), מה שהופך אותם ליעילים מאוד מבחינת כמות הפרמטרים.
מנקודת מבט מתמטית, אם למודל יש מטריצת משקולות W, LoRA מפרק את העדכון ל: W + ΔW = W + BA, כאשר B ו-A הן מטריצות בדרגה נמוכה. במקום לאחסן ולחשב גרדיאנטים עבור כל מטריצת W, עלינו לאמן רק את המטריצות הקטנות בהרבה B ו-A.
כמטאפורה חזותית, דמיינו את המודל שהוכשר מראש כמערכת עדשות מורכבת המעבדת מידע. כוונון עדין מסורתי ידרוש עיצוב מחדש של כל העדשות. LoRA במקום זאת מוסיף "שכבות סינון" קטנות בנקודות אסטרטגיות שמפנות את הפוקוס בעדינות לכיוון המשימה הספציפית שלנו, מבלי לשנות את המערכת האופטית הראשית.
קוונטיזציה: Compressing Without Compromising
קוונטיזציה (כימות) הייתה טכניקה חיונית נוספת שאפשרה לנו להפעיל את המודל ביעילות על חומרת CPU. מודלי שפה מסורתיים משתמשים בדיוק נקודה צפה (FP32) של 32 סיביות למשקולות ולהפעלות, תוך צריכת זיכרון רב. באמצעות קוונטיזציה, הפחתנו את הדיוק הזה תוך שמירה על רמת הדיוק של המודל.
השתמשנו באסטרטגיית כימות באמצעות קוונטיזציה לאחר אימון כדי להפחית את משקלי המודל למספרים שלמים של 8 סיביות (INT8), תוך שמירה על דיוק של 16 סיביות עבור שכבות קשב קריטיות שבהן צפינו בירידה ברמת הדיוק.
מבחינה טכנית, השתמשנו במסגרת llama-cpp, יישמנו כיול קפדני באמצעות מערך נתונים מייצג לקביעת פרמטרי קוונטיזציה אופטימליים, ויישמנו חיתוך משקל כדי להפחית חריגים שגורמים לשגיאות קוונטיזציה.
התוצאות היו מרשימות: טביעת רגל קטנה ב-75% בהשוואה לדיוק FP32 מלא, עיבוד מהיר פי 2.3 בחומרת CPU, וירידה של פחות מ-1% במדדי הדיוק והזכירה. יצרנו גרסאות קוונטיזציה מרובות של המודל עם פשרות שונות בביצועים, מה שמאפשר גמישות בפריסה בהתבסס על אילוצי חומרה ודרישות דיוק.
השילוב הזה של LoRA כוונון עדין וכימות אסטרטגית אפשרו לנו ליצור מודל ששמר על יכולות ההבנה ההקשריות הדרושות לזיהוי סודי תוך שהוא רזה מספיק כדי לפעול ביעילות בקנה מידה על חומרה CPU סטנדרטית.
Validation Methodology
פיתחנו תהליך אימות מקיף כדי למדוד במדויק את ביצועי המודל שלנו. הערכנו אותו על סמך דיוק, זכירה (recall) וביצועי זמן ריצה, תוך התחשבות הן בהתאמות ברמת הקובץ (האם הקובץ הזה מכיל סודות?) והן בהתאמות ברמת הסוד (אילו סודות ספציפיים זוהו?). מכיוון שמודלי שפה יכולים לפעמים לייצר פלטים "כמעט נכונים",
הגדרנו ספי ביטחון עבור שמות משתנים וערכים סודיים והטמענו מערכת ניקוד התאמה שמקפידה על שינויים קלים בתפוקה.
Performance Results
הדגם המכוונן שלנו השיג תוצאות מרשימות:
תוצאות אלו מוכיחות שהמודל המכוונן שלנו עולה משמעותית על גישות מסורתיות מבוססות regex (המשיגות בדרך כלל ~60% זכירה עם שיעורי חיובי כוזב גבוהים) תוך שהוא נשאר יעיל מספיק כדי לרוץ על חומרה סטנדרטית.
Optimizing Inference
כדי לעמוד ביעד זמן הריצה שלנו של כ-10 שניות לקובץ בחומרה CPU, הטמענו מספר אופטימיזציות. יצרנו "משפך חיזוי" שמסנן תחילה קבצים לפי אורך, שם ודפוסי regex בסיסיים, ומבטיח שרק קבצים שעוברים את המסננים הראשוניים יעובדו על ידי המודל. עבור קבצים גדולים, אנו מחלצים רק קטעים רלוונטיים ומשליכים בלוקי תיעוד ארוכים ודוגמאות, מה שמפחית באופן דרמטי את ספירת האסימונים (tokens) לעיבוד. הטמענו גם טעינה יעילה של מודלים ושמירת מטמון כדי להפחית את זמן האתחול, מה שמאפשר עיבוד אצווה מהיר יותר של קבצים.