חזרה לפיד
articlesמקור: GitGuardian Blog8.10.2026

אבטחת קוד עם עוזרי AI: איך לשמור על שליטה כשהם לא צפויים

אמ;לק

עוזרי קידוד מבוססי AI הינם בלתי צפויים מטבעם, מה שמציב אתגרי אבטחה. המאמר מסביר כיצד 'AI Hooks' מוסיפים בקרות דטרמיניסטיות לתהליך הפיתוח. הוא מדגים כיצד GitGuardian ggshield חוסם דליפת סודות (secrets) לפני שהם נחשפים על ידי סוכני AI.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: AI Coding Assistants Are Unpredictable. GitGuardian AI Hooks Give You Control

אבטחת קוד עם עוזרי AI: איך לשמור על שליטה כשהם לא צפויים

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

• הוראות הן בגדר המלצות, לא בקרות: קבצי הנחיות, AGENTS.md ו-CLAUDE.md רק מנחים את הסוכן, אך הוא יכול לפרש אותם מחדש או לעקוף אותם. אבטחה דורשת בקרות דטרמיניסטיות שמתקיימות ללא קשר לאופן שבו הסוכן מסיק מסקנות.

• Hooks אוכפים כללים ברמת המערכת: ה-AI Hooks מבצעים בדיקות דטרמיניסטיות לפני שההנחיות מגיעות למודל, לפני הפעלת כלים ואחרי החזרת הפלט, מה שמאפשר לאשר או לחסום כל שלב ללא קשר ללוגיקה של הסוכן.

• GitGuardian AI Hooks חוסמים סודות בלולאת הסוכן: כחלק מ-ggshield, הם סורקים הנחיות, פקודות, קריאות קבצים, קריאות MCP ופלט. פקודה אחת בלבד, ggshield machine setup, מגדירה את העוזרים הנתמכים, כולל Claude Code, Cursor ו-Codex.

מדוע סוכני קידוד מבוססי AI אינם ניתנים לחיזוי מעצם תכנונם

כמעט כולם הפכו כיום ל"מתכנתי אזרח" (citizen coders). עוזרי קידוד מבוססי AI התפתחו מסיוע למפתחים בהשלמה אוטומטית של פונקציות, לעזרה לכל מי שיכול לתאר את התוכנה שהוא רוצה לייצר כלים ותוכניות שימושיים. כל אחד יכול ליצור קוד, בדיוק משום שהוא לא צריך להקליד כל שלב הנדרש לביצוע המשימה. פשוט תן לסוכן ה-AI מטרה, הקשר מסוים וגישה לכלים, והוא ימצא את הדרך לביצוע.

היכולת הזו חזקה להפליא. אבל זה גם אומר שאנחנו לא יכולים לחזות באופן מהימן כל דרך שהם יעברו. לפעמים זה יכול להיגמר רע מאוד.

סוכן עשוי לקרוא קובץ תצורה שלא צפינו שייגש אליו. הוא עשוי לקרוא לשרת MCP, להריץ פקודת shell, לחפש בספרייה אחרת או למצוא אישור (credential) שבמקרה פותר את הבעיה שעומדת לפניו. החלטות אלו הן חלק ממה שהופך מערכות סוכנים (agentic systems) לעוצמתיות כל כך.

צוותי אבטחה צריכים לתת דין וחשבון לכוח הזה ישירות.

סוכני AI הם עוצמתיים משום שהם מוצאים נתיבים שלא חזינו מראש

יש לנו כבר דוגמאות כואבות רבות לסוכנים שמוצאים נתיב שהמשתמשים שלהם לא ציפו לו.

לדוגמה, באפריל 2026, PocketOS דיווחה שסוכן מחק את מסד הנתונים של סביבת הייצור (production) וגיבויים של החברה תוך כתשע שניות. הסוכן פתר בעיית אישורים בסביבת ה-staging, וחיפש דרך אחרת לפתור אותה. הוא מצא אסימון (token) בעל הרשאות רחבות של Railway API בקובץ לא קשור והשתמש בו כדי לבצע את קריאת ה-API ההרסנית.

לסוכן היו הנחיות שאמרו לו להיזהר בפעולות הרסניות. הוראות אלה לא הסירו את יכולתו למצוא את האסימון או להשתמש ב-⁦API⁩.

תקרית ב-Replit מהשנה הקודמת הדגימה את אותה בעיה רחבה. המפתח שקידד פתרון SaaS דיווח שסוכן ה-AI של Replit מחק את מסד הנתונים של סביבת הייצור שלו במהלך הקפאת קוד. בעקבות זאת, Replit הציגה הפרדה חזקה יותר בין מסדי נתונים של פיתוח לייצור.

בעוד שהסיפורים הללו דרמטיים, הצעדים בפועל שננקטו לקראת מטרה היו התנהגות סוכן רגילה. הסוכן נתקל במכשול וחיפש דרך אחרת.

זה לא באג; זו תכונה. זו בדיוק הסיבה שאנשים פונים לסוכנים.

כאשר אתה מבקש מסוכן לתקן בעיה, אתה לא מתכוון לציין כל קובץ שעליו לבדוק, כל פקודה שהוא צריך להפעיל וכל נתיב אבחון שעליו לשקול. אם כבר ידעת את כל זה, כנראה שתוכל לפתור את הבעיה ללא סיוע.

אנו זקוקים לסוכן שיחקור נתיבים ופתרונות. אתגר האבטחה מתחיל כאשר הסוכן נתקל במשהו שמעניק גישה בלתי צפויה או בכלים רבי עוצמה שאין לו הרשאה לגעת בהם.

מדוע הכללים בקבצי CLAUDE.md ו-AGENTS.md הם המלצות, לא בקרות

כדי להשתמש בכל סוכן, אנו משתמשים בשפה טבעית. אנו כותבים הנחיות שמסבירות מה אנו רוצים. אנו מנסים להיות מדויקים ככל האפשר, אך השפה היא מטבעה לא מדויקת מבלי להפוך למפורטת מדי.

אנו יוצרים קבצי AGENTS.md ו-CLAUDE.md, מוסיפים הוראות מערכת והנחיות ספציפיות לפרויקט. אנו מנסים להנחות את הסוכנים באילו פקודות להשתמש, מאילו ספריות להימנע, כיצד להריץ בדיקות ואילו מערכות ייצור עליהם להשאיר ללא מגע.

Cursor מתאר את Rules – השם שלו להוראות ברמת המערכת – ככלי ש"מעניק ל-AI הדרכה עקבית ליצירת קוד, פירוש עריכות או סיוע בתהליכי עבודה". זהו גם הרעיון שמאחורי קבצי AGENTS.md, שבהם ניתן לאחסן הנחיות בטקסט פשוט כדי לכוון את העבודה.

הוראות שפה טבעיות הן הצעות

שקול כלל פשוט: "לעולם אל תשנה נתוני ייצור (production data)".

זה נראה פשוט אם היינו אומרים זאת לאדם, וזה בדיוק מה שצוות PocketOS חשב. מתן משימה רחבה לסוכן כמו "לתקן את האפליקציה ולהחזיר אותה לעבודה" עלולה לגרום לסוכן להחליט ששינוי נתוני הייצור הוא הכרחי להשלמת המשימה. הוא עשוי לחפש נתיב עקיף סביב הכלל, אולי באמצעות כלי אחר, אישור, API או תהליך עבודה שונה, או שהוא עשוי להתעלם מהכלל לטובת ביצוע ההנחיה.

אנו יכולים להמשיך להוסיף הוראות כדי לסגור נתיבים שאנו מודעים להם, אך סוכנים נועדו, בין היתר, למצוא נתיבים שלא חשבנו עליהם מראש ולכן לא יצרנו להם בקרות. זה חלק מהערך שלהם. אבטחה לא יכולה להסתמך על הנחיות בלבד; אנו זקוקים לבקרות דטרמיניסטיות שהופכות פעולות מסוימות לבלתי אפשריות, ללא קשר לאופן שבו הסוכן מסיק מסקנות לגבי המשימה.

מעקות בטיחות לסוכני AI: בקרות דטרמיניסטיות

בקרה שונה מהנחיה משום של-AI אין מילה בנושא האם או מתי הכלל יקויים.

בקרות קובעות מה הסוכן רשאי או אינו רשאי לעשות ברמת המערכת. אתה לא מציע או מנסה לשכנע את מודל השפה (LLM). אתה אוכף הרצות של כלים ברמת המערכת שמאפשרות או מונעות פעולות באופן דטרמיניסטי.

אם אסור לסוכן לבצע לעולם rm -rf על ספרייה מסוימת, ניתן להסיר את הפקודה הזו מהכלים הזמינים לו. ניתן אפילו להסיר פקודות לחלוטין מהסביבה שבה הוא פועל.

אם לעולם אסור לסוכן לקרוא ל-API של סביבת הייצור, ניתן לחסום נקודת קצה זו בכללי יציאה (egress rules), בנקודות החלטה שנמצאות מחוץ לטווח ההחלטות של ה-AI. ואם לעולם אסור לסוכן לצרוך או לשדר אישור, נוכל לבדוק את תהליך העבודה ולחסום את הסוד לפני שהוא מגיע לשם.

הדרך שבה מיישמים את הבקרות הללו תלויה באופן שבו מבודדים את הסוכן, למשל באמצעות ארגז חול (כמו Docker Sandboxes), או באמצעות הפעלת קריאות כלים דטרמיניסטיות ספציפיות או בדיקות מדיניות ברגעי מפתח בתהליך העבודה של הסוכן.

החלק השני הזה הוא בדיוק הסיבה שעוזרי קידוד הוסיפו Hooks.

מה הם AI Hooks?

Hook הוא פשוט פיסת קוד שפועלת אוטומטית כשמתרחש אירוע ספציפי.

מפתחים משתמשים ברעיון הזה כבר שנים. כך מהדרים ומערכות הפעלה קוראים לחלקים אחרים של המערכת בזמן הנכון כשצריך. רוב המפתחים כנראה מכירים את Git Hooks. לדוגמה, Hook מסוג pre-commit פועל לפני ש-Git יוצר commit. צוות יכול לנצל את הרגע הזה כדי לבדוק את הקוד, להריץ בדיקות או לסרוק אחר סודות. אם הבדיקה נכשלת, ניתן לעצור את ה-commit.

AI Hooks מיישמים את אותו רעיון בסיסי על סוכנים.

כאשר סוכן מקבל הנחיה, קורא קובץ, מפעיל פקודת shell, קורא לשרת MCP או משתמש בכלי אחר, מספר שלבים חייבים להתבצע לפני ואחרי שה-LLM נקרא כדי להסיק מסקנות.

Hooks מאפשרים לנו להציב בדיקות באותם רגעים חשובים.

לדוגמה, אנו יכולים להפעיל הוק לפני שהסוכן מבצע פקודה. הקרס יכול לבדוק את הפקודה ולהחליט אם יש להתיר אותה.

הנחיה עשויה לומר: "לעולם אל תבצע פקודות shell מסוכנות". זו המלצה. הסוכן עדיין צריך להחליט מה נחשב למסוכן והאם המשימה הגדולה יותר מצדיקה את ביצוע הפקודה בכל זאת.

Hook יכול להיות הרבה יותר ישיר: אם הפקודה == 'rm -rf' אז בצע exit 2. הערה: exit 2 משמעו עצור את השלב הזה ואל תמשיך הלאה, ברמת המערכת.

Claude Code קורא למחסום מסוג זה PreToolUse. לפני הפעלת כלי, תוכנית אחרת יכולה לבדוק מה הסוכן מנסה לעשות ולאשר או לחסום את הפעולה.

אותו רעיון תקף לנקודות אחרות בתהליך העבודה. Hook יכול לבדוק הנחיה לפני שהיא מגיעה למודל, לבדוק קובץ שנקרא לפני שהסוכן רואה את תוכנו, או לבדוק את הפלט שחוזר מכלי לאחר הפעלתו.

הסוכן יכול לנמק איך שהוא רוצה. הוא יכול להחליט שפקודה, קובץ או כלי מסוימים הם הדרך המהירה ביותר להשלים את העבודה. הקרס יושב ישירות בנתיב שבין החלטה זו לפעולה.

השוואה בין Hooks של Claude Code, Cursor ו-Codex

אף שכולם מסכימים ש-Hooks צריכים להתקיים, וארכיטקטורות מתוכננות כדי להכיל אותם, אין כרגע סטנדרט תעשייתי אחיד והטרמינולוגיה עדיין אינה מגובשת.

לדוגמה, Claude Code מתעד 33 אירועי Hook (נכון לזמן פרסום המאמר), המכסים הכל, מ-UserPromptSubmit ו-PreToolUse ועד יצירת משימות, בקשות הרשאה, החלפת מודל, דחיסת הקשר ואירועי מחזור חיים של סשן.

Cursor מתעד כעת 21 אירועים הכוללים אינטראקציות של סוכנים, פעולות Tab ואירועי מחזור חיים של סביבת העבודה. ה-Hooks שלו יכולים לבדוק או לשלוט בביצוע shell, קריאות MCP, קריאות קבצים, הנחיות, קריאות לכלים, סוכני משנה וחלקים אחרים של לולאת הסוכן. Cursor מפרט במפורש סריקה לאיתור סודות ובקרה על פעולות מסוכנות כמקרי שימוש ל-Hooks.

הם אינם משתמשים בדיוק באותם שמות ואינם חושפים בדיוק את אותן יכולות. אין כיום תקן Hooks מוסכם שכל עוזרי הקידוד עוקבים אחריו, אך קיימים קווי דמיון חשובים ומגמה גוברת של הצבת Hooks סביב הרגעים המסוכנים ביותר.

כל אחד שבונה את המערכות האלה צריך לתת את הדעת על אותה זרימת עבודה בערך.

מעברים אלה נותנים לצוותי האבטחה מקומות לאכוף מדיניות מבלי לנסות לצפות כל התנהגות שהמודל עשוי לנסות.

Cursor הוסיף אפילו תמיכה בטעינת תצורות Hooks של Claude Code, תוך תרגום שמות ה-Hooks של Claude למקבילים ב-Cursor. זהו סימן מעודד לכך שמתחילה להופיע יכולת פעולה הדדית (interoperability) סביב נקודות בקרה אלו.

Hooks מאפשרים לאבטחה להתמקד ביכולות, לא בכוונה

מושקעת תשומת לב רבה בשאלה האם סוכן מתנהג בצורה נכונה. זה בהחלט שימושי וראוי לדיון, שכן אנו אכן יכולים להשתמש ב"מדיניות כקוד" (policy as code) כדי לעצור את הפעולות המזיקות ביותר. אולם ניתוח כוונות הוא מסובך מאוד, ויצירת כללים אינסופית הופכת למשחק של "חפרפרת" (whack-a-mole).

סוכן שקורא את ~/.aws/credentials שלך עשוי באמת לפתור שגיאת אימות ⁦AWS⁩. קריאת שרת ⁦MCP⁩ יכולה להחזיר מפתח ⁦API⁩ מבלי שהסוכן או המפתח ציפו לכך. מפתח יכול להדביק אסימון בהנחיית ניפוי באגים מבלי לשים לב לכך.

אף אחד מהתרחישים הללו לא דורש סוכן זדוני. אך כל אחד מהם מחמש את הסוכן בגישה שהוא עשוי להשתמש בה – או לא – בצורה צפויה. לאורך הדרך, הוא מתעד ומעתיק את המפתחות הללו, ויוצר אירועי אבטחה בכל מקום שבו הם מופיעים כטקסט פשוט.

Hooks מאפשרים לנו לשאול, ברמת המערכת, האם בכלל יש לאפשר לסוכן להשתמש או לראות סודות כלשהם לאורך מסלול עבודתו.

זו השאלה ש-GitGuardian AI Hooks נועדו לענות עליה בהקשר של אישורים.

GitGuardian AI Hooks מכניסים זיהוי סודות ללולאת הסוכן

המשימה של GitGuardian היא לאבטח את שכבת האישורים בכל הארגון על ידי עזרה לצוותים לזהות, לתקן ולמנוע התפשטות סודות.

אישורים הם הדרך שבה אנו מחברים אנשים, יישומים, תשתיות, שירותים, ויותר ויותר – סוכני AI. מחרוזות אלו בטקסט פשוט עוברות דרך משטחים רבים שיכולים להכיל טקסט, כולל מאגרים (repositories), מערכות CI/CD, מחשבים ניידים של מפתחים, כלי שיתוף פעולה, תשתית ענן, ועכשיו – תהליכי עבודה של AI. למרבה הצער, התפשטות סודות היא בעיה גוברת, לא סטטית, והיא עלתה ב-34% משנה לשנה; ראינו 28.7 מיליון סודות מקודדים בקשיח שנוספו למאגרים ציבוריים ב-GitHub ב-2025 לבדה.

מניעת היכולת של סוכני AI ליצור, לאחסן או להשתמש בסודות היא כעת חלק קריטי בתמונה הכוללת. זהו הסיפור של GitGuardian AI Hooks.

GitGuardian AI Hooks הם חלק מ-ggshield, כלי ה-CLI של GitGuardian, המרחיב את כוחה של הפלטפורמה לכלים מקומיים. זו למעשה נקודה קריטית.

#ai-security#supply-chain#appsec#secrets-detection
קרא במקור