VulnBump: האם סוכני AI יכולים לתקן תלויות פגיעות מבלי לשבור את ה-build?
אמ;לק
מאמר זה בוחן את היכולת של סוכני AI אוטונומיים לטפל בפגיעויות בתלויות קוד חיצוניות (dependencies) מבלי לפגוע ביציבות תהליך ה-build. הוא דן באתגרים הטכניים והתפעוליים הכרוכים בשילוב פתרונות אלו בשרשרת אספקת התוכנה. המטרה היא להבין עד כמה סוכני AI יכולים לשפר את אבטחת שרשרת האספקה באופן אוטומטי.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: VulnBump: Can AI Agents Fix Vulnerable Dependencies Without Breaking the Build?

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
האם סוכני AI יכולים לתקן ספריות פגיעות מבלי לשבור את ה-build? התיקון עצמו הוא לעיתים רחוקות העניין המורכב. במשך שישה חודשים בשנת 2026, Snyk Open Source תיעד 459 מיליון ממצאי פגיעות בכ-300,000 ארגונים. ל-94% מהחולשות הללו הייתה גרסה מתוקנת ידועה, אך רק כ-10% נפתרו.
זה קורה בגלל שהחלק הקשה הוא שדרוג בטוח: רוב החבילות הפגיעות מיובאות באופן טרנזיטיבי, כרבע מהתיקונים דורשים שדרוג גרסה מרכזי (major version), ואפילו מהדורות מינוריות וטלאי אבטחה, שאמורות להיות תואמות לאחור, מכילות לעיתים קרובות שינויים שוברים.
VulnBump, מחקר חדש שפרסמנו ב-Snyk, מעמיד סוכני AI למבחן על 307 שדרוגים אמיתיים של ספריות פגיעות. שדרוג נחשב כ-PASS רק אם הפגיעויות הוסרו והפרויקט עדיין מצליח לבצע התקנה, build, ועובר את הבדיקות שלו.
מה חדש: למיטב ידיעתנו, VulnBump הוא המדד הראשון עבור סוכני AI שנבנה סביב שדרוגים מוכווני אבטחה: כל משימה מתחילה מחולשות אמיתיות ש-Snyk מצא בפרויקט אמיתי, על פני שישה מנהלי חבילות. מדדי שדרוג קודמים בודקים רק אם יש שבר, לא אם הפגיעות אכן הוסרה.
אז, האם סוכני AI יכולים לתקן ספריות פגיעות מבלי לשבור את ה-build? לרוב כן, אבל המודל לבדו לא קובע זאת. באותו מודל, Claude Sonnet 5.5, ה-Evo Remediation Agent של Snyk עבר 90.2% מהשדרוגים. Claude Code של Anthropic עבר 77.5% כאשר קיבל את השדרוג והסריקה המומלצים של Snyk (Claude Code + Snyk scan), ו-59.6% ללא נתוני Snyk (Claude Code ללא סיוע). זהו פער של יותר מ-30 נקודות אחוז. לעיון, שדרוג מנהל החבילות (package manager bump), קו בסיס ללא AI שמחיל רק את הגרסה המומלצת של Snyk, עבר 46.9%.
שמירה על ה-build ירוק לא הייתה החלק הקשה: כל שלושת הסוכנים עשו זאת בערך ב-93% מהמקרים. הסרת הפגיעות הייתה האתגר. ב-70 מתוך 124 הכשלים שלו, Claude Code, ללא סיוע, טען שתיקן פגיעויות שסריקה חוזרת עדיין מצאה.
הממצאים שלנו מהדהדים את VulnBench, המדד שלנו מיוני לבחינת אבטחה מבוססת AI, שמצא כי Claude ו-Snyk Code מחמיצים פגיעויות שונות והגיע למסקנה שהשניים עובדים בצורה הטובה ביותר בשילוב. VulnBump בודק משימה אחרת – שדרוג ספריות קוד פתוח פגיעות – ומצביע על אותה מסקנה: עם הגרסה והסריקה המומלצות של Snyk, שיעור ה-PASS של Claude Code עלה ב-17.9 נקודות. Evo Remediation Agent מראה כמה רחוק יכול להגיע סוכן שנבנה למטרה ספציפית: 12.7 נקודות מעבר ל-Claude Code עם אותה סריקת Snyk. VulnBump גם ממשיך לעקוב אחר תוצאות התיקון שחלקנו במאי, כעת עם מודל חדש יותר ושישה מנהלי חבילות.
איך בנינו VulnBump
התחלנו מפרויקטים אמיתיים, המותאמים לייצור. אספנו 767 פרויקטים מועמדים מ-GitHub, כולל פרויקטי קוד פתוח פופולריים ומאגרים המשתמשים בחבילות עם פגיעות ידועה. כל פרויקט היה צריך להתקין, לבנות ולעבור יותר מ-85% מהבדיקות שלו לפני כל שינוי, ו-Snyk היה צריך למצוא בו לפחות פגיעות אחת. מתוך ה-99 שהתאימו, בחרנו 43 התואמים לנתוני הייצור של Snyk מבחינת אקו-סיסטם, חומרת הפגיעות, תלות ישירה לעומת טרנזיטיבית וגודל קפיצת הגרסה.
השוואת מערך הנתונים של VulnBump עם נתוני הייצור של Snyk Open Source
הפכנו כל שדרוג מומלץ למשימה. כל משימה מבקשת מהסוכן להחיל שדרוג אחד ש-Snyk ממליץ עליו: חבילה אחת, ששודרגה לגרסה שמתקנת את הפגיעויות שלה. כל משימה מתחילה מעותק נקי של הפרויקט ומקבלת ניקוד באופן עצמאי. 43 המאגרים הניבו 307 משימות המכסות 2,066 פגיעויות ניתנות לתיקון, על פני Maven, Gradle, npm, Yarn, pip ו-Poetry – ששת מנהלי החבילות שמאחורי כ-92% מממצאי הייצור.
הוספנו מאמת (verifier) שאינו מסתמך על הסוכן. כשהסוכן סיים, העתקנו את השינויים שלו לתוך קונטיינר נקי ובדקנו אותם מאפס. שם, ניסיון נחשב כ-PASS רק אם עבר את כל ארבעת השערים:
• הספריות מותקנות בהצלחה באמצעות הפקודה שבה משתמש ה-CI.
• סריקת Snyk חדשה מאשרת שהפגיעויות הוסרו.
• כל מבחן שעבר קודם לכן, עדיין עובר.
סביבות העבודה שבדקנו. כל שלושת הסוכנים פעלו על Claude Sonnet 5.5, עם הגבלה של 110 מהלכים לכל שדרוג, באותו קונטיינר עבור כל שפה:
• Evo Remediation Agent הוא מנוע השיקום הסוכני של Snyk. הוא משתמש במודיעין של Snyk ויכול להריץ סריקה, בנייה ובדיקות משלו, ולתקן שגיאות לפני סיום. הרצנו אותו במצב אישור אוטומטי, כך שהוא החיל כל תיקון, כולל שדרוגים ש-Snyk מעריך ככאלו שעלולים לשבור את ה-build.
• Claude Code Snyk scan הוא סוכן קידוד למטרות כלליות של Anthropic, שקיבל את המלצת Snyk לשדרוג: החבילה שיש לשדרג, גרסת היעד והפגיעויות שהיא מתקנת. הוא יכול גם להריץ סריקת Snyk Open Source בעצמו כדי לבדוק את עבודתו.
• Claude Code ללא סיוע מקבל את אותה משימה ללא גרסת היעד וללא גישה ל-Snyk. הוא צריך לקבוע בעצמו איזו גרסה מתקנת את הפגיעות, למשל, על ידי חיפוש במסדי נתונים של פגיעויות ברשת.
• שדרוג מנהל החבילות (package manager bump) הוא קו הבסיס הלא-סוכני: הוא מיישם את הגרסה המומלצת של Snyk באמצעות מנהל החבילות של הפרויקט עצמו ולא משנה דבר אחר.
כיצד נבחרו המאגרים, ההנחיות והכלים המדויקים שהיו לכל סוכן, ובקרות הדליפה – כולם מפורטים במאמר המחקר: VulnBump: A Benchmark for Fixing Vulnerable Dependencies in Real Projects While Keeping the Build and Tests Green. שם גם מפורטות המגבלות: בדקנו מודל אחד, הרצנו כל שדרוג פעם אחת, והשתמשנו ב-Snyk Open Source כשופט, דבר שיכול להטות את התוצאות לרעת Claude Code ללא סיוע, מכיוון ששני הסוכנים האחרים עובדים על בסיס ממצאי Snyk. כמו כן, לא קנסנו הופעת פגיעויות חדשות ששדרוג עלול היה להכניס.
תוצאה 1: אותו מודל, עם שלוש תוצאות שונות
Evo Remediation Agent עבר את כל השערים ב-90.2% מהשדרוגים (ותיקן 95.9% מתוך 2,066 מקרי הפגיעות). זהו שיעור גבוה ב-12.7 נקודות מסריקת Claude Code + Snyk, שווה ערך לתיקון עובד נוסף בכל שמונה שדרוגים, וגבוה ב-30.6 נקודות מ-Claude Code ללא סיוע.
הדירוג אינו תלוי רק בכמה מאגרים גדולים: בממוצע למאגר, שיעורי ה-PASS היו 93.1% עבור Evo Remediation Agent, 80.1% עבור Claude Code + Snyk scan, 68.0% עבור Claude Code ללא סיוע, ו-51.3% עבור שדרוג מנהל החבילות.
ממצא מרכזי:
Evo Remediation Agent מתקן 9 מתוך 10 שדרוגים מונעי פגיעות מקצה לקצה.
תוצאה 2: סוכנים צריכים לדעת איזו גרסה בטוחה למעשה
על גבי אותו מודל, מתן הסריקה והשדרוג המומלץ של Snyk ל-Claude Code העלה את שיעור ה-PASS שלו ב-17.9 נקודות, מ-59.6% ל-77.5%.
ההבדל הברור ביותר הוא באיזו גרסה הסוכן בוחר. ללא סיוע, Claude Code בחר בגרסה ש-Snyk עדיין מסמן כפגיעה ב-64 מקרים. עם הסריקה של Snyk, מספר זה ירד ל-13. מסדי נתונים של פגיעויות לא תמיד מסכימים על איזו גרסה מתקנת פגיעות, כך שגרסה שנראית בטוחה במקור אחד, יכולה עדיין להיות מסומנת במקור אחר.
ההנחיה של Snyk חשובה ביותר עבור פגיעויות טרנזיטיביות, בחבילות שהפרויקט לא מצהיר עליהן ישירות. אם סופרים רק שדרוגים שעברו את כל השערים, ההנחיה הכפילה את שיעור התיקונים של Claude Code, מ-28% ל-59%.
ממצא מרכזי:
הסריקה וגרסת היעד של Snyk העלו את שיעור ה-PASS של Claude Code ב-17.9 נקודות ויותר מהכפילו את כמות הפגיעויות הטרנזיטיביות שתוקנו.
תוצאה 3: העצה של סניק לבדה פותרת בערך חצי, ואז הסוכנים נפרדים לגבי השאר
שדרוג מנהל החבילות מפצל את 307 השדרוגים לשניים: ב-144 המקרים שבהם הוא עובר, הגרסה המומלצת של Snyk היא כל מה שצריך, וסוכן יכול רק לשמר או לאבד תיקון פשוט. 163 המקרים האחרים דורשים יותר מאשר רק שדרוג גרסה, כגון התאמת קוד לשינויים שוברים או פתרון התנגשויות תלויות.
ביצועי הסוכנים על 144 השדרוגים שהעצות של Snyk פותרות, לעומת 163 הנותרים
עם ההנחיות של Snyk, סוכנים רק לעיתים רחוקות שוברים את מה שהשדרוג הפשוט פותר, בעוד ש-Claude Code ללא סיוע נכשל ב-20 מתוך 144 המקרים הללו, כאשר ב-15 מהם הכשל נבע מבחירת גרסה ש-Snyk עדיין מסמן. ההבדל האמיתי מתגלה במחצית הקשה של המשימות: עם 163 השדרוגים האחרים, Evo Remediation Agent עבר 82.2%, Claude Code + Snyk scan עבר 61.3%, ו-Claude Code לבדו עבר 36.2%.
ממצא מרכזי:
מתוך 163 השדרוגים שצריכים יותר מבליטת גרסה, Evo Remediation Agent עבר 82.2%, לעומת 61.3% לסריקה של Claude Code + Snyk ו-36.2% עבור Claude Code ללא סיוע.
תוצאה 4: מבנה ירוק יכול להסתיר פגיעות לא מתוקנת
הדרך הקלה ביותר לשמור על build ירוק היא להשאיר את הפגיעות במקומה, וזה בעיקר המקום שבו ראינו את Claude Code נכשל. הסריקה החוזרת הייתה השער הראשון שנכשל ב-107 מתוך 124 הכשלים של Claude Code ללא סיוע, וב-48 מתוך 69 הכשלים של Claude Code + Snyk scan, לעומת 9 בלבד מתוך 30 הכשלים של Evo Remediation Agent.
שער אימות כושל ראשון לכל ניסיון כושל
הכשלים של Evo Remediation Agent הם גלויים (וזה לא דבר רע). 21 מתוך 30 הכשלים שלו שברו את ה-build או את הבדיקות, בעיקר בשדרוגים גדולים שסוכנים אחרים נמנעו מהם לעיתים קרובות. כשל רועש הוא הרבה יותר בטוח מכשל שקט: כאשר שדרוג אכן משתבש, ה-build והבדיקות של הפרויקט עצמו מראים זאת, המפתח יכול לראות זאת בפועל, וסופו של דבר לפעול בהתאם.
ממצא מרכזי:
סוכנים למטרות כלליות נכשלים בשקט; Evo Remediation Agent נכשל במקום שבו ה-CI תופס זאת.
תוצאה 5: הכרת גרסת היעד אינה מספיקה
הסריקה של Snyk עוזרת ל-Claude Code מאוד, אבל ביצוע שדרוג נכון דורש יותר מכך: עם ממצאים ויעדים זהים, Evo Remediation Agent עבר 39 שדרוגים נוספים בהשוואה ל-Claude Code עם סריקת Snyk, מתוכם 23 קפיצות גרסה מרכזיות.
Evo Remediation Agent משלב את המודיעין של Snyk עם לולאה שבה הוא מבצע build, בדיקות ותיקון של הפרויקט לפני שהוא מסיים. למרות שההגדרה שלנו לא יכולה לבודד איזה רכיב בדיוק יוצר את ההבדל, היא אכן מראה עד כמה המערכת שעוטפת מודל יכולה להשפיע על התוצאה, עובדה העולה בקנה אחד עם DepBench, שם שינוי הרתמה (harness) בלבד שינה את התוצאות בעד 16.3 נקודות.
ממצא מרכזי:
אותו מודל, אותם ממצאי Snyk: Evo Remediation Agent עדיין משיג תוצאה טובה ב-12.7 נקודות.
תוצאה 6: קפיצות גדולות ותלות מעברית נותרו המשימות הקשות ביותר
כל הסוכנים עדיין נאבקים בהעברות של Frameworks גדולים: 23 שדרוגים, בעיקר העברות של Spring, Spring Boot ו-Dropwizard, הביסו את כל שלושת הסוכנים.
שיעורי ה-PASS עבור שדרוגים מרכזיים (major) לעומת לא-מרכזיים ירדו מ-96% ל-81% עבור Evo Remediation Agent, מ-88% ל-61% עבור Claude Code + Snyk scan, ומ-70% ל-42% עבור Claude Code ללא סיוע, בהתאמה. שדרוגים מרכזיים הם גם המקום שבו הקוד חייב להשתנות: כמחצית משדרוגי ה-major שעברו בהצלחה על ידי Evo Remediation Agent ערכו את קוד המקור של האפליקציה, בהשוואה ל-5% בלבד בשדרוגים הלא-מרכזיים שלו.
שדרוגים עוברים כל שער, לפי גודל קפיצת הגרסה
פגיעויות טרנזיטיביות, שבהן החבילה הפגיעה אינה מוצהרת במניפסט, מהוות 70% מהמקרים הניתנים לתיקון והן קשות יותר עבור כל סביבת עבודה שנבדקה. בחישוב המבוסס רק על תיקונים מניסיונות שעברו את כל השערים, Evo Remediation Agent תיקן 73% מהמקרים הטרנזיטיביים, Claude Code + Snyk scan תיקן 59%, ו-Claude Code ללא סיוע תיקן 28%, לעומת 91%, 71% ו-62% בהתאמה במקרים של תלויות ישירות.
שיעור PASS לפי סוג תלות (ישיר לעומת טרנזיטיבי)
ממצא מרכזי:
Evo Remediation Agent מוביל בשדרוגים הקשים ביותר – שדרוגי major ותלויות טרנזיטיביות – אך העברות של Frameworks גדולים עדיין מאתגרות את כל הסוכנים.
איך VulnBump משתלב עם VulnBench?
VulnBench מעריכה כיצד סוכני קידוד AI מוצאים פגיעויות בקוד שאתה כותב: באיזו עקביות הם מזהים את אותן בעיות בריצות חוזרות, ועד כמה הממצאים שלהם תואמים קו בסיס דטרמיניסטי של SAST. VulnBump מודד אם הם יכולים לתקן פגיעויות בקוד שאתה תלוי בו: שדרוג ספריות קוד פתוח פגיעות מבלי לשבור את ה-build או את הבדיקות.
כשקוראים את שני המדדים יחד, הם מצביעים על אותה מסקנה: מודלים מביאים יכולת הסקה שלכלים דטרמיניסטיים פשוט אין. לבדם, הם מדווחים על ממצאים שונים בריצות שונות ולעיתים קרובות נעצרים לפני הגעה לתיקון מלא. ברחבי הפלטפורמה, סיכמנו את השיעור המשותף בצורה פשוטה: המחולל אינו יכול להיות המאמת.