חזרה לפיד
articlesמקור: Snyk Blog19.11.2026

חשיבות ה-Harness באבטחת קוד מבוסס AI

אמ;לק

מבחנים ראשוניים של כלי סריקת הקוד Evo מראים ששכבת ה-Harness (מנגנון בקרה והנחיה) משפרת משמעותית את זיהוי חולשות האבטחה בקוד שנוצר על ידי AI. זהו צעד קריטי לארגונים שרוצים לשלב כתיבת קוד אוטומטית מבלי להתפשר על בטיחות האפליקציה.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Why the Harness Matters: Early Lessons From the Evo Code Scanning Agent Preview

חשיבות ה-Harness באבטחת קוד מבוסס AI

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

Evo Code Scanning Agent נמצא כעת בתצוגה מקדימה ניסיונית עבור לקוחות נבחרים של Snyk. אנו בונים אותו כדי לשלב הסקה (reasoning) מבוססת AI, מודלים מיוחדים, ניתוח דטרמיניסטי, ידע באבטחה ושכבת הקשר הנשענת על תובנות מכלל מוצרי Snyk, וזאת כדי לזהות נקודות תורפה שקשה לאתר באמצעות גישה אחת בלבד. המערכת מורכבת מרכיבים רבים; אנו בוחנים מקרוב את אחד מאבני הבניין שלה: ה-security harness (רתמת האבטחה), שמנחה כיצד מודל ה-AI חוקר את הקוד, בוחן נקודות תורפה פוטנציאליות ומדווח על ממצאים.

כדי לבדוק מה הרתמה תורמת בפני עצמה, השווינו אותה עם דגמי המדף המשמשים את Claude Security ו-Codex Security. באותו תקציב חישוב, Evo Code Scanning Agent מצא יותר נקודות תורפה ידועות מהם, אם כי שני הכלים האחרים השיגו דיוק גבוה יותר. אלו הן תוצאות ראשוניות, והסוכן עודנו מתפתח. אם אתם לקוחות Snyk ומעוניינים לנסות זאת, הצטרפו לתצוגה המקדימה או פנו לצוות ה-Account שלכם ב-Snyk.

לבדיקה זו, הרצנו שני זוגות, כל אחד על דגם בודד:

• ⁦Evo Code Scanning Agent and Claude Security⁩, שניהם ב-⁦Claude Sonnet⁩ 5.5

• ⁦Evo Code Scanning Agent and Codex Security⁩ במצב עמוק, שניהם ב-⁦GPT-6.1⁩ Sol

כל סורק נבדק מול אותם 14 יישומים, לפחות שלוש פעמים לכל יישום, וקיבל ניקוד בהתבסס על 1,426 נקודות תורפה ידועות.

ממצאים נוספים באותו תקציב חישוב

היכולת להגיע לתוצאות מלאות באמצעות סורק AI תלויה בתקציב החישוב המוקצה לו. כדי להשוות בין כלים דומים, הקצינו ל-Evo Code Scanning Agent תקציב חישוב זהה לזה של כלי המעבדה, בממוצע על פני 14 היישומים. מול Claude Security, הוא מצא 57% מנקודות התורפה הידועות, לעומת 32%. מול Codex Security, הוא מצא 66%, לעומת 43%. הוא זיהה יותר ממצאים מכלי המעבדה המקביל בכל אחד מ-14 היישומים.

מציאת נקודות תורפה נוספות, הבנת השפעתן

שני כלי המעבדה היו מדויקים יותר מ-Evo Code Scanning Agent. Claude Security בודק כל מועמד באמצעות פאנל אימות הבוחן נגישות (reachability), הגנות והשפעה, בעוד שה-deep mode של Codex Security מריץ סבבי בדיקה לפני הגשת הדיווח. אנו פועלים כעת לשיפור הדיוק של הרתמה שלנו ומשכללים את נתוני ה-ground truth שבהם אנו משתמשים לצורך המדידה.

דיוק באותו תקציב חישוב: (נקודות תורפה מובהקות שנמצאו) חלקי (נקודות תורפה מובהקות שנמצאו + תוצאות חיוביות שגויות מובהקות).

בעבור תקציב חישוב שווה, Evo Code Scanning Agent מצא יותר נקודות תורפה ידועות מכל כלי מעבדה, עם פשרות שונות בדיוק עבור שני המודלים. על GPT-6.1 Sol, הוא מצא 66% מנקודות התורפה הידועות לעומת 43% של Codex Security, ברמת דיוק של 90% לעומת 97.5%. על Claude Sonnet 5.5, הוא מצא 57% לעומת 32% של Claude Security, עם פער דיוק גדול יותר: 65% לעומת 94%. אנו מתעדפים בכוונה גילוי רחב יותר של נקודות תורפה תוך המשך שיפור הדיוק.

אנו גם בוחנים כיצד הקשר מכל המוצרים של ⁦Snyk⁩ יכול לעזור לצוותים להבין את המשמעות של כל ממצא, כולל האם חולשות שנראות פחות דחופות בפני עצמן יכולות להשתלב להתקפה חמורה יותר. ככל ש-⁦AI⁩ משנה את האופן שבו תוקפים חוקרים ומחברים נקודות תורפה, ההקשר הרחב יהפוך ליותר ויותר בעל ערך.

אותו דגם, ממצאים שונים

שמירה על מודל קבוע מאפשרת לראות בקלות את השפעת הרתמה. באותו תקציב חישוב על Claude Sonnet 5.5, Evo Code Scanning Agent מצא כשלושה מתוך ארבעה ממצאים ש-Claude Security מצא, ובנוסף זיהה כ-470 ממצאים נוספים בכל 14 היישומים. על GPT-6.1 Sol, הוא מצא כשישה מתוך שבעה ממה ש-Codex Security (במצב deep) מצא, ובנוסף זיהה כ-420 ממצאים נוספים. עם זאת, כל כלי מעבדה זיהה נקודות תורפה ש-Evo Code Scanning Agent החמיץ: 111 ב-Claude Security ו-84 ב-Codex Security (במצב deep).

נקודות תורפה ידועות שנמצאו על ידי כל כלי על גבי Claude Sonnet 5.5 באותו תקציב חישוב, בממוצע של ריצות ומסוכם על פני 14 יישומים. ה-314 שנמצאו על ידי שניהם נספרים בסך הכולל של כל כלי, כך שביחד השניים מצאו 893 מתוך 1,426. אף אחד מהם לא מצא את 533 הממצאים הנותרים.

נקודות תורפה ידועות שנמצאו על ידי כל כלי על גבי GPT-6.1 Sol באותו תקציב חישוב, בממוצע של ריצות ומסוכם על פני 14 יישומים. ה-478 שנמצאו על ידי שניהם נספרים בסך הכולל של כל כלי, כך שביחד השניים מצאו 982 מתוך 1,426. אף אחד מהם לא מצא את 444 הממצאים הנותרים.

מאחר שהמודל היה זהה בתוך כל זוג, ההבדל נובע מכל מה שסובב אותו: כיצד הרתמה מתכננת את העבודה, מפצלת את הקוד, חוקרת מועמדים ומחליטה מה לשמור.

סוכן קידוד למטרות כלליות אינו מספיק

בתור נקודת ייחוס (baseline), הרצנו את OpenHands, סוכן קידוד בקוד פתוח הנמצא בשימוש נרחב, עם המודל בעל המשקולות הפתוחות GLM-5.3 ופרומפט יחיד שביקש רשימה של ממצאי אבטחה. הוא מצא 13% מנקודות התורפה הידועות, ורק כשלושה מתוך חמישה ניסיונות ראשונים הניבו תוצאה שמישה. השוואה זו משנה גם את המודל וגם את הרתמה, לכן היא אינה מבודדת אף אחד מהם. היא כן קובעת נקודת התחלה: סוכן קידוד מוכשר עם פרומפט סביר מוצא רק חלק קטן ממה שמצאו הכלים הייעודיים.

היקף ומגבלות של תוצאות אלו

אלו הן תוצאות מוקדמות ממבחן השוואה (benchmark) ש-Snyk בנתה והריצה באופן פנימי. 14 היישומים משלבים פרויקטי קוד פתוח עם אפליקציות benchmark ייעודיות, ואנו מדווחים על התוצאות במצטבר בלבד. Evo Code Scanning Agent נמצא ב-Experimental Preview ועדיין מתפתח, ובדיקה זו מדדה רק חלק אחד שלו – ה-AI harness – בפני עצמו.

אף כלי בבדיקה לא מצא את כל נקודות התורפה הידועות. התוצאה הטובה ביותר, 66% על GPT-6.1 Sol, עדיין הותירה כשליש מהממצאים ללא זיהוי. מסיבה זו, אנו רואים בסוכני אבטחה מבוססי AI שכבה אחת בתוך תוכנית AppSec רחבה. הם עובדים לצד כלי SAST, SCA וסקירת קוד, כאשר כל אחד מהם תופס בעיות שהאחרים עשויים לפספס.

מֵתוֹדוֹלוֹגִיָה

כל התוצאות מגיעות מהמבחן הפנימי של Snyk הכולל 14 יישומים, שילוב של פרויקטי קוד פתוח ואפליקציות benchmark ייעודיות, שקיבלו ציון מול 1,426 נקודות תורפה ידועות. כל סורק סרק את אותו עץ מקור עבור כל יישום לפחות שלוש פעמים, וריצות חלקיות נספרו כריצות מלאות.

תוסף Claude Security גרסה 0.12.0 עבור Claude Code

מאמץ חשיבה גבוה; חיפוש אינטרנט וגישה לרשת כבויים

הנחיה אחת שביקשה ממצאי אבטחה; ללא כלי אבטחה נוספים

כיצד מדדנו

• Recall (יכולת זיהוי): שיעור נקודות התורפה הידועות באפליקציה שזוהו בתוצאות, ממוצע על פני 14 היישומים. שני דיווחים על אותה נקודת תורפה נספרים פעם אחת בלבד.

• חישוב שווה: אפשרנו ל-Evo Code Scanning Agent לפעול עד שהוצאות המחשוב שלו הגיעו, מבלי לחרוג, לעלות הממוצעת של סריקה אחת על ידי כלי המעבדה המבוסס על אותו מודל. כלי המעבדה מדורגים לפי הסריקה הממוצעת שלהם.

• Precision (דיוק): (נקודות תורפה מובהקות שנמצאו) חלקי (נקודות תורפה מובהקות שנמצאו + תוצאות חיוביות שגויות מובהקות), נמדד על סמך אותן תוצאות כמו ה-Recall באותו תקציב חישוב. הנתון של Evo Code Scanning Agent על Claude Sonnet 5.5 הוא גבול תחתון, מכיוון שלא ניתן היה למזג חלק מהתוצאות החיוביות השגויות הכפולות.

איך ניקדנו ממצאים

• תוויות: שני סוקרי AI בלתי תלויים בחנו כל ממצא אל מול נקודות התורפה הידועות, כאשר סוקר שלישי הכריע במקרה של אי-הסכמה. אף ממצא לא נבדק על ידי אדם. ממצאים שהסוקרים לא הצליחו להגיע לגביהם להכרעה אינם נספרים ב-Recall או ב-Precision.

• מפתח תשובה (answer key): 1,426 נקודות התורפה הידועות כוללות כל נקודת תורפה שאושרה מממצאי סורק כלשהו, וכל סריקה נבדקה מחדש מול כל רשומה.

מעבר לרתמה

שמירה על מודל קבוע הראתה עד כמה הרתמה לבדה מעצבת את מה שסורק ה-AI מוצא. הרתמה היא אבן בניין אחת של Evo Code Scanning Agent, ופוסטים עתידיים יכסו את האחרים: כיצד אנו הופכים ממצאים לעקביים מריצה אחת לאחרת, כיצד ניתוח סטטי וניתוח AI פועלים יחד, כיצד אנו מתכננים לאמן מודלים לאבטחה, וכיצד הקשר מכלל מוצרי Snyk עוזר לצוותים להבין ולתעדף את מה שהסוכן מוצא.

רוצים לראות מה הוא מוצא באחד היישומים הקריטיים לעסק שלכם? פנו לצוות ה-Account שלכם ב-Snyk לגבי הצטרפות ל-Experimental Preview.

Evo Code Scanning Agent נמצא כעת בתצוגה מקדימה ניסיונית עבור לקוחות נבחרים. אם ברצונכם לראות מה הוא מוצא באחד היישומים הקריטיים לעסק שלכם, הצטרפו לתצוגה המקדימה או פנו לצוות ה-Account שלכם ב-Snyk.

אימוץ ⁦AI⁩ מאובטח בקנה מידה עם ⁦Evo⁩

קבלו חבילה של פתרונות אבטחה מקוריים מבוססי סוכנים (agent-native), המאבטחים, מגנים ומשליטים סדר בפיתוח מבוסס AI בשלושה מעגלים: תוצרי הקוד (artifacts), כוח העבודה מבוסס ה-AI, והיישומים המבוססים על AI שצוותים בונים.

קרא עוד

⁦Say Yes To⁩ ⁦MCP⁩, ⁦Safely A Guide For Governing⁩ ⁦AI⁩ ⁦Coding Agents With Evo⁩ ⁦ADS⁩

למד כיצד לבצע מלאי של שרתי ⁦MCP⁩, להעריך סיכונים, לנטר את השפעת המדיניות ולחסום חיבורים בסיכון גבוה מבלי להפריע למפתחים. Evo ⁦ADS⁩ עוזרת לצוותים לשלוט בסוכני קידוד ⁦AI⁩ בביטחון.

⁦Snyk Named⁩ a ⁦Leader⁩ ב-⁦Forrester Wave⁩™: ⁦Agentic Development Security Tools⁩, ⁦Q4⁩ 2026

Snyk הוא ⁦Leader⁩ ב-⁦Forrester Wave⁩™: ⁦Agentic Development Security Tools⁩, ⁦Q4⁩ 2026, עם הציון הגבוה ביותר בקטגוריית האסטרטגיה.

PHP2Shell לא יהיה האחרון. הנה איפה שהדבר הבא יופיע תחילה.

PHP2Shell הראה באיזו מהירות פגם ברמת המנוע יכול לסכן אפליקציות הפונות לאינטרנט. למדו מדוע מלאי (inventory) חיצוני, בדיקות מהירות ובדיקות חוזרות הם קריטיים לפני החשיפה הבאה.

#ai-coding#devsecops#code-scanning
קרא במקור