חזרה לפיד
articlesמקור: Snyk Blog29.6.2026

Snyk VulnBench JS 1.0: האם LLMs מוצאים את אותן פגיעויות פעמיים?

אמ;לק

מחקר חדש של Snyk VulnBench JS 1.0 מראה כי ממצאי אבטחה של LLMs משתנים בין הרצות חוזרות, בעוד שכלי SAST ו-LLMs מזהים סוגי פגיעויות שונים. ממצאים אלו חושפים את חוסר העקביות של LLMs בזיהוי פגיעויות ומצביעים על הצורך בגישה משלימה לאבטחת קוד.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Snyk VulnBench JS 1.0: Can LLMs Find the Same Bugs Twice?

Snyk VulnBench JS 1.0: האם LLMs מוצאים את אותן פגיעויות פעמיים?

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

הרצנו 300 סריקות לאיתור נקודות תורפה כדי למדוד את מידת החזרתיות של סקירת אבטחה מבוססת סוכני LLM על גבי אותו קוד, הנחיה (prompt) ורתמת בדיקה (harness). השורה התחתונה אינה שסורק אחד "מנצח" בלוח תוצאות של הפניה עצמית. השורה התחתונה היא שממצאי אבטחה של LLM ניתנים לשחזור באופן לא אחיד: ממצאים התואמים לרשימת הייחוס היו יציבים, אך דוחות שלא תאמו למודל הראו שונות רבה מהרצה להרצה.

במילים פשוטות, כאשר Claude דיווח על באגים מחוץ לרשימת הייחוס של Snyk Code, הדוחות הנוספים הללו היו לרוב לא עקביים. מתוך 250 הרצות מודל, 80 מתוך 161 ממצאים ייחודיים שלא תאמו לרשימה הופיעו רק באחת מתוך חמש חזרות זהות, בעוד שרק 22 הופיעו בכל חמש החזרות. אך כאשר Claude תאם ממצא ייחוס, ההתנהגות הייתה יציבה הרבה יותר: 134 מתוך 158 ממצאים ייחודיים שתאמו לייחוס הופיעו בכל חמש החזרות. הפיצול הזה הוא התוצאה המרכזית של Snyk VulnBench JS 1.0.

ה-benchmark מראה גם יכולת השלמה הדדית. המודלים זיהו באופן עקבי צורות ניצול מוכרות בעלות אות גבוה (high-signal), ובמקרה אחד, חשפו פער סביר בממצאים של Snyk Code. ה-SAST של Snyk Code היה דטרמיניסטי וטוב יותר בספירה שיטתית של נקודות זרימת נתונים חוזרות, וכן בשמירה על זמני ריצה מהירים משמעותית עבור סריקת פגיעויות. אף אחת מהתוצאות אינה תומכת בהחלפת טכניקה אחת באחרת; הנתונים תומכים בשילוב ביניהן.

• תצורת ה-LLM עם ה-Recall הגבוה ביותר מצאה רק 81% מנקודות התורפה ברשימת הייחוס של Snyk Code.

• תצורת ה-LLM בעלת הניקוד הטוב ביותר הגיעה ל-75.4% Snyk-reference F1, והותירה פער של 24.6 נקודות מול שיחזור הייחוס הדטרמיניסטי של ה-SAST.

• כמעט 50% מדוחות הפגיעות שהגיעו מה-LLM בלבד הופיעו רק באחת מתוך 5 סריקות זהות.

• ל-LLM בעל ה-Recall הגבוה ביותר היה גם התור ה

• במיזם הגדול ביותר דמוי האפליקציה, הדגם הטוב ביותר קיבל ציון של 40.0% בלבד ב-Snyk-reference F1 ופספס שוב ושוב פגיעויות מסוג path traversal ו-resource-limit.

מדוע סקירת אבטחה של LLM זקוקה לחזרתיות (repeatability)

סוכני קידוד הם כעת חלק מלולאת הפיתוח. הם כותבים קוד, משנים בקשות משיכה (pull requests), מסבירים שינויים, ומשמשים יותר ויותר לביצוע סקירות אבטחה לקוד ולאפליקציות לפני שאדם קורא את ה-diff. זה הופך את המהימנות לשאלת מוצר: אם אותו סוכן רואה את אותו קוד פגיע פעמיים, האם הוא מדווח על אותן בעיות אבטחה פעמיים?

כלי SAST מסורתיים בנויים להיות דטרמיניסטיים. אם הקוד והכללים אינם משתנים, הפלט צריך להיות ללא שינוי. LLMs הם שונים. הם יכולים להסיק מסקנות על קוד לא מוכר, לתאר סיכונים בשפה טבעית, ולפעמים לזהות בעיות שמנתח סטטי מפספס. אך הם יכולים גם להשתנות בין הרצות, לדווח דיווחי יתר על חששות דומים, או להפסיק לאחר מציאת דוגמה מייצגת אחת לדפוס חוזר.

Snyk VulnBench JS 1.0 תוכנן לכמת התנהגות זו. ה-benchmark משתמש ביישומי JavaScript ו-Express קטנים, כך שכל הרצה ניתנת לבדיקה. המטרה אינה לדמות Monorepo שלם, אלא להפוך את התנהגות המודל לניתנת למדידה בתנאים חוזרים ומבוקרים.

עיצוב ה-benchmark: 300 הרצות אבטחה חוזרות

ה-benchmark מכיל 10 פרויקטים של JavaScript עם 44 ממצאי ייחוס של Snyk Code. כל פרויקט הוא יישום קטן מבוסס Express, החל מקטעי קוד קומפקטיים בקובץ בודד ועד לאפליקציית מטלות (todo app) גדולה יותר עם נתיבי שרת, מצב מסד נתונים, העלאות קבצים ו-frontend ב-JavaScript.

כל תצורה הריצה כל משימה חמש פעמים: 10 משימות x 6 תצורות x 5 חזרות = 300 הרצות. תצורות המודל השתמשו באותה הנחיית ביקורת ישירה (direct audit prompt) והחזירו ממצאים כמבנה JSON. המודל יכול היה לקרוא את קבצי הפרויקט, אך לא את קובץ הייחוס findings.json.

Snyk Code מגדיר את קבוצת הייחוס עבור מדד זה. המשמעות היא שהציון של 100% שלו אינו טענת דיוק לגבי כל נקודות התורפה האפשריות בפרויקטים, אלא ש-Snyk Code שיחזר את ממצאי הייחוס שלו באופן דטרמיניסטי לאורך הרצות חוזרות. אנו משתמשים בקבוצת ייחוס זו כדי למדוד הסכמה של המודל, שונות המודל, ומקומות שבהם התנהגות המודל חורגת.

המערכת מתוכננת להיות מקלה: ממצא של מודל נחשב לזכותו אם הוא מדווח על סוג פגיעות זהה לממצא ייחוס. אין צורך בהתאמה לאותו קובץ, שורה, רמת חומרה או נתיב (source-to-sink). אנו מדווחים על Snyk-reference F1: הממוצע ההרמוני של דיוק (precision) ו-Recall כאשר ממצאי Snyk Code משמשים כקבוצת הייחוס. זהו מדד הסכמה שימושי, אך אינו הסיפור המרכזי.

מכיוון שה-benchmark אינו משתמש בקבוצת אמת (ground truth) חיצונית שנבדקה באופן ממצה, אין לקרוא ל-Snyk-reference F1 כאל דיוק אמיתי בזיהוי פגיעות. מודל עם הסכמה נמוכה יותר מול קבוצת הייחוס של Snyk Code עדיין יכול לקבל ציון טוב יותר מול אמת יסוד עצמאית אם חלק מהממצאים שאינם תואמים הם תקפים, או אם הוא נמנע מבעיות שקבוצת הייחוס מגזימה בהן. בדוח זה, Snyk-reference F1 עונה על שאלה צרה יותר: באיזו מידה ובאיזו רמת עקביות ממצאי המודל תואמים את ממצאי הייחוס של Snyk Code?

תוצאה 1: החזרתיות של ה-LLM משתנה לפי תצורת המודל

ברמת התצורה, החזרתיות מופיעה כקשר בין ניקוד לשונות. התוצאה החזקה יותר נמצאת בפינה השמאלית העליונה: הסכמה גבוהה עם קבוצת הייחוס ושונות נמוכה בריצות חוזרות. ה-SAST של Snyk Code נמצא בפינה זו עם 100.0% ב-Snyk-reference F1 ו-0.0 סטיית תקן, מכיוון ששיחזר את קבוצת הייחוס שלו באופן דטרמיניסטי. תצורות המודל של Claude מתפשטות כלפי מטה וימינה, כאשר Claude Sonnet 4.6 High מציג את השונות הגדולה ביותר (3.5 נקודות אחוז).

איור 1: גרף Snyk-reference F1 אל מול סטיית התקן של Snyk-reference F1. נקודות טובות יותר נעות לעבר הפינה השמאלית העליונה: ציון הסכמה גבוה יותר עם שונות נמוכה יותר בהרצות חוזרות. ה-SAST של Snyk Code מודגש בסגול באפס שונות.

הפיזור בגרף מבהיר שני דברים: ראשית, תפקידו של Snyk Code ב-benchmark הזה הוא שיחזור ייחוס דטרמיניסטי, לא סקירה הסתברותית. שנית, תצורות המודל אינן מסתדרות לפי עלות או עדכניות: Claude Opus 4.6 Medium ו-High קרובים זה לזה עם שונות נמוכה וציון F1 חזק, בעוד Claude Opus 4.7 Max ו-Claude Sonnet 4.6 High מרוחקים יותר ימינה, מה שמעיד על כך שהרצותיהם החוזרות נעו יותר.

תצורת ה-LLM בעלת הניקוד הטוב ביותר הגיעה ל-75.4% Snyk-reference F1, והותירה פער של 24.6 נקודות מול שיחזור הייחוס הדטרמיניסטי של ה-SAST.

בכל תצורות המודלים, 80 מתוך 161 חתימות של ממצאים ייחודיים שלא תאמו לרשימה הופיעו רק באחת מתוך חמש הרצות חוזרות. נתון מצטבר זה מסביר חלק מסיפור השונות, אך אנו בוחנים גם את התצוגה השימושית יותר, שהיא הפיצול לפי מודל:

איור 2: חלקן של חתימות ממצאים ייחודיות שלא תאמו לרשימה, עבור כל תצורת מודל, שהופיעו רק באחת מתוך חמש הרצות חוזרות. חתימה = משימה + סוג פגיעות + קובץ + שורה, מקובצים לפי תצורת מודל.

הטבלה שלהלן מספקת ערכים מדויקים עבור התרשים הקודם, בתוספת שני מוני היציבות החשובים ביותר.

ממצאים תואמי ייחוס שנראו בכל 5 ההרצות

חוסר היציבות אינו מתחלק באופן שווה בין המודלים. Claude Sonnet 4.6 Medium הציג את שטח הממצאים הגדול ביותר ללא התאמה (60 חתימות ייחודיות), כאשר 37 מהן הופיעו רק באחת מתוך חמש הרצות. Claude Sonnet 4.6 High ו-Claude Opus 4.7 Max הראו דפוס דומה: דוחות נוספים רבים הופיעו פעם אחת ולא חזרו על עצמם. לעומת זאת, Claude Opus 4.6 Medium עם 0.0% בתרשים מעיד על יציבות גבוהה ומיעוט ממצאים חד-פעמיים; כל הדיווחים הנוספים שלו נמצאו בשתי הרצות או יותר, ואף אחד לא הופיע רק פעם אחת מתוך 5 ההרצות.

Claude Sonnet 4.6 Medium הפיק את כמות דוחות הפגיעות הנוספים החד-פעמיים הגדולה ביותר: 61.7% מדוחות ה-LLM-only שלו הופיעו רק באחת מתוך חמש הרצות.

תצורות Opus 4.6 התנהגו אחרת. הן הפיקו הרבה פחות ממצאים ללא התאמה, והדיווחים הנוספים שלהן היו יציבים יותר. זה לא הופך כל דיווח נוסף לנכון, אך משנה את הפרשנות התפעולית: פחות ממצאים מפתיעים, פחות טענות חד-פעמיות ופחות עומס על תהליך המיון (triage).

התרשים שלהלן מדגיש כיצד רוב התצורות שאינן Opus-4.6 נאבקו ביציבות הממצאים הנוספים (שלא תאמו) שלהן לאורך הרצות חוזרות. גם Claude Sonnet 4.6 Medium ו-High הפגינו חזרתיות ירודה, כאשר רק 8.3% ו-9.3% מהממצאים ללא התאמה נמשכו בכל חמש ההרצות. גם Claude Opus 4.7 Max הצליחה פחות, עם יציבות של 16.7% בלבד. לעומת זאת, Opus 4.6 Medium ו-High הפגינו יציבות גבוהה בהרבה בממצאים הבלתי תואמים שלהם (60.0% ו-50.0% בהתאמה), מה שמדגיש את האופי הפחות צפוי והרועש יותר של ממצאים מתצורת Sonnet ומ-Claude Opus 4.7 Max החדש יותר.

איור 3: חלקן של חתימות ממצא ייחודיות שלא תאמו לרשימה, שהופיעו בכל חמש ההרצות עבור כל תצורת מודל.

הצד התואם מספר סיפור שונה. כאשר מודל מצא ממצא ייחוס של Snyk Code, הוא בדרך כלל מצא אותו שוב ושוב. Claude Opus 4.6 Medium תאם 25 ממצאי ייחוס ייחודיים וחזר על כל 25 ב-5 הרצות. Claude Opus 4.6 High חזר על 25 מתוך 26. אפילו תצורות Sonnet הרועשות יותר חזרו על 29 מתוך 36 ממצאים תואמי ייחוס.

איור 4: חלקן של ממצאי ייחוס ייחודיים של Snyk Code שתאמו בכל חמש ההרצות עבור כל תצורת מודל.

איור 4 מציג את הצד התואם של סיפור החזרתיות. בכל תצורות המודל, 134 מתוך 158 ממצאים ייחודיים התואמים לייחוס הופיעו בכל חמש החזרות (84.8%). משמעות הדבר היא שכאשר מודל זיהה ממצא ייחוס ידוע של Snyk Code, הוא לרוב עשה זאת בצורה מהימנה. הניגוד לאיור 5 הוא התוצאה העיקרית: תוצאות חיוביות אמיתיות היו לרוב יציבות, בעוד שדיווחים נוספים שלא היו חלק מרשימת הייחוס היו רועשים הרבה יותר.

מתוך פגיעויות הייחוס של Snyk Code שנמצאו על ידי LLMs, 85% דווחו באופן עקבי בכל חמש הסריקות הזהות.

איור 5: התפלגות ממצאי מודל ייחודיים ללא התאמה, לפי התדירות שבה אותה חתימת ממצא הופיעה בחמש חזרות של אותה משימה ותצורת מודל. חתימה = משימה + תצורה + סוג פגיעות + קובץ + שורה.

כמעט מחצית מממצאי המודל הייחודיים שלא תאמו לרשימה הופיעו רק באחת מתוך חמש הרצות זהות. זו בעיית אמינות מעשית: מפתח עלול לקבל תור סקירה שונה מהותית בהתאם להרצה שתתבצע בפועל.

רק 14% מדוחות הפגיעות הנוספים של ה-LLM הופיעו בכל הרצה, מה שהופך את תור הסקירה מחוץ לרשימת הייחוס לפחות בר-חזרה משמעותית.

ההתפלגות המדויקת מאחורי הנתונים הללו היא:

תוצאה 2: סוכני LLM ו-SAST מצאו פערי אבטחה שונים

הפרשנות השימושית ביותר אינה "LLM לעומת SAST", אלא "LLM בתוספת SAST תופסים מצבי כשל שונים".

הדרך הברורה ביותר לראות זאת היא לפי סיווג הפגיעות. מפת החום שלהלן מציגה את ה-Recall הממוצע מול קבוצת הייחוס של Snyk Code לפי סוג הפגיעות והתצורה. Snyk Code מופיע כ-100% כי הוא מגדיר ומשחזר את קבוצת הייחוס. שורות המודל מראות היכן סקירה מבוססת סוכנים מסכימה עם קבוצת ייחוס זו והיכן היא מפספסת.

איור 6: Recall ממוצע כנגד קבוצת הייחוס של Snyk Code לפי סוג פגיעות ותצורה. Snyk Code מוצג כשיחזור ייחוס דטרמיניסטי; שורות המודל מראות היכן הסקירה הסוכנת מסכימה או מפספסת לפי סיווג.

תצורות המודל היו החזקות ביותר בזיהוי צורות ניצול מוכרות ובעלות אות גבוה: הזרקת פקודות (command injection), הזרקת קוד, הרשאות מקודדות (hardcoded credentials), הזרקת SQL, SSRF, הפניה פתוחה (open redirect), זיהום אב-טיפוס (prototype pollution) ו-ReDoS נמצאו לעתים קרובות בצורה נקייה. הן היו חלשות יותר בזיהוי פגיעויות מסוג הגבלת משאבים (resource-limit), חיטוי (sanitization) לקוי, אימות סוגים (type validation), תעבורה לא מאובטחת, חשיפת מידע של תשתית וזרימות נתונים מסוג חציית נתיב (path traversal).

מודלי LLM היו חלשים יותר במחלקות SAST שיטתיות: ממצאי מגבלת משאבים, חשיפת מידע של תשתית, תעבורה לא מאובטחת, בעיות בחיטוי ואימות סוגים, וזרימות של חציית נתיבים.

#llm-security#sast#vulnerability-detection#code-security
קרא במקור