חזרה לפיד
articlesמקור: MongoDB Official Blog (general)11.8.2026

מה מתרחש מאחורי הקלעים בהרצת סוכני AI?

אמ;לק

כדי להריץ סוכני AI בבטחה, צריך להבין את מנגנון ההרצה (Runtime Loop). הפוסט מנתח את מרכיבי הליבה של 'סוכן מאובטח' הכוללים ניהול הקשר (Context) וממשקי כלים.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Agent Orchestration and Tool Use: The Machinery Underneath

$cat article.txt

>כדי להריץ סוכני AI בבטחה, צריך להבין את מנגנון ההרצה (Runtime Loop). הפוסט מנתח את מרכיבי הליבה של 'סוכן מאובטח' הכוללים ניהול הקשר…

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

הבלוג של MongoDB עסק באוטונומיה מוגבלת 1, וקטלג את דפוסי העיצוב המייצרים סוכנים בטוחים 2. ערכים מוקדמים יותר בסדרה זו הציגו את ה-harness, שכבת הקוד והתצורה סביב המודל שקובעת אם סוכן עובד בסביבת ייצור (production). הגדרה פורמלית עדכנית של ה-agent harness 3 מונה ארבעה אלמנטים: לולאת סוכן, ממשק כלי, ניהול הקשר ומנגנוני בקרה. מנגנוני הבקרה הם המקום שבו נוגע הפוסט הזה. ערך זה מכסה את השכבה שעליה יושבים דפוסי העיצוב הללו — לולאת זמן הריצה עצמה, והמנגנון הקובע אם הלולאה שורדת מגע עם סביבת הייצור. Framework, harness, orchestration ופלטפורמה הם שמות לארבע שכבות נפרדות, והפוסט הזה עוסק בשלישית. ארכיטקטים ובוני פלטפורמות שמעריכים את השכבה הזו ימצאו בסוף הפוסט ארבע שאלות לביקורת של מערכת קיימת.

הלולאה היא החלק של מערכת הסוכנים שמפעילה את המודל במחזוריות. הסוכן מקבל מטרה, המודל מחליט מה לעשות, כלי מופעל, התוצאה חוזרת, והמודל מחליט שוב — לחשוב, לפעול, להתבונן, לחזור על עצמו — עד לסיום המשימה או עד שהלולאה מוותרת. השמות משתנים (לולאת סוכן, לולאת ReAct, לולאת בקרה), אך הצורה זהה. Orchestration (תזמור) הוא הקוד שמפעיל את הלולאה הזו: הוא מפעיל את הכלי שהמודל ביקש, מנתח את התוצאה, מחליט אם להמשיך, ומטפל במקרים שבהם משהו משתבש.

ספרות דפוסי העיצוב מטשטשת כאן הבחנה מסוימת. דפוס עיצובי — כמו supervisor-and-workers, plan-and-execute, או reflection — מתאר את צורת ההיגיון של הסוכן. Orchestration הוא הקוד שמבצע את הצורה הזו. הוא מספק את הלולאה, את הפעלת הכלי, וארבעה סוגי מכניקות העטופים סביבם: לוגיקת ניסיון חוזר (retry) למקרה ששלב נכשל, לוגיקת פסק זמן (timeout) למקרה ששלב נמשך זמן רב מדי, לוגיקת הרשאות למקרה ששלב מנסה לבצע פעולה אסורה, ולוגיקת שחזור (recovery) למקרה שהלולאה צריכה לחזור ממצב חלקי.

Orchestration שונה גם מניתוב (routing), אם כי השניים מתערבבים לעתים קרובות. Routing מחליט באיזה מודל או כלי להשתמש עבור שלב נתון. Orchestration מחליט אם השלב יבוצע בכלל, מה צריך לקרות לפניו — שליפת או צבירת זיכרון, בדיקת הרשאה — ומה לעשות עם התוצאה. כל אחד מהם יכול להיות פשוט או מתוחכם, אך הם עונים על שאלות שונות, והמתזמר הוא המקום שבו מצטבר ההקשר הדרוש לצפייה וניפוי באגים בריצה.

איור 1. לולאת זמן הריצה וארבעת מוקדי הדאגה שלה.

רוב הכשלים בסוכני ייצור קשורים למכניקה הזו. סוכן שבוחר את הכלי הנכון בהדגמה נקייה עדיין עלול להיכשל באיטרציה החמישית בייצור כאשר כלי נתקל בפסק זמן, מחזיר פלט שגוי, או מופעל עם הרשאות משתמש שגויות — והשאלה האם הסוכן יתאושש או יקרוס תלויה בקוד ה-orchestration, שהוא בדרך כלל החלק הכי פחות מתוכנן במערכת.

כיצד לולאת התזמור שולחת ומשחזרת קריאות לכלים

ה-orchestration מתחיל בשיגור (dispatch) הכלים. כשהמודל מחליט לקרוא לכלי, הוא לא מריץ דבר בעצמו — הוא פולט בקשה מובנית, ושכבת ה-orchestration הופכת את הבקשה הזו לקריאה ממשית, ממתינה לתוצאה ומזינה אותה בחזרה להקשר של המודל. שיגור הכלים הוא התפר שבין ההיגיון של המודל לעולם החיצון, ורוב התקלות בסוכן מתרחשות בתפר הזה. קל יותר לנתח כשלי שיגור ברגע שהלולאה מתייחסת לקריאת כלי כאל שלב בזרימת עבודה מבוזרת ולא כקריאת פונקציה רגילה: קריאה כזו יכולה להסתיים בפסק זמן, להצליח באופן חלקי, או להצליח בזמן שהתגובה אובדת, והלולאה צריכה לתת את הדעת לכל אחד מהמצבים הללו.

ארבעה מוקדי דאגה עוטפים את השיגור, וכל אחד מהם מניח שקודמו קיים.

ניסיון חוזר (retry) מטפל בשלב שנכשל אך יכול היה להצליח בביצוע נוסף. למשל, כשכלי מחזיר תגובה שגויה, כשמגיעים למגבלת תעריף של API, או כששירות במורד הזרם אינו זמין זמנית. שכבת ה-orchestration מחליטה אם לנסות שוב, כמה פעמים, באיזה backoff, והאם ניסיון חוזר הוא בכלל בטוח, שכן ניסיון חוזר של קריאה שכבר חויבה בכרטיס אשראי הוא החלטה שונה מניסיון חוזר של קריאת נתונים. לוגיקת ניסיון חוזר שאינה מבדילה בין קריאות אידמפוטנטיות לבין כאלו שאינן, היא מקור נפוץ לתופעות לוואי משוכפלות.

פסק זמן (timeout) מטפל בשלב שלא חוזר. כלי נתקע, קריאת מודל נעצרת, או שעבודה חיצונית לעולם לא מסתיימת. ללא פסק זמן, הלולאה ממתינה ללא הגבלת זמן והסוכן נראה קפוא; עם פסק זמן נאיבי, הלולאה עלולה להרוג ולנסות שוב קריאה איטית אך תקינה, מה שיוצר את בעיית כפילות תופעות הלוואי שניסיון חוזר היה אמור למנוע. Timeouts וניסיונות חוזרים כרוכים זה בזה, וה-orchestration הוא שפותר את הצימוד הזה.

הרשאה (permission) מטפלת בשלב שלא אמור לפעול. המודל מחליט לקרוא לכלי שהמשתמש הנוכחי אינו מורשה להשתמש בו, או לפעול על רשומה מחוץ להרשאות המשתמש. הבדיקה צריכה לרוץ לאחר שהמודל בוחר את הכלי אך לפני ביצוע הקריאה, מה שאומר ששכבת ה-orchestration צריכה מקום ליירט את הקריאה ולאכוף מדיניות. הפצת זהות (identity propagation) והגדרת היקף הרשאות מוסדרים במקומות אחרים בערימה, אך הלולאה אוכפת אותם מכיוון שקריאת הכלי היא נקודת היירוט. זהו פער עקבי בפריסות ארגוניות: לצוותים יש סוכנים עובדים ואינטגרציות כלים, אך אין דרך נקייה להעביר זהות מוגבלת עד לקריאת הכלי כדי שהסוכן יוכל להוכיח שהוא פועל במסגרת ההרשאות של משתמש ספציפי.

שחזור (recovery) מטפל בלולאה שכבר רצה חלקית. סוכן נמצא בשלב שישי מתוך זרימת עבודה כאשר התהליך מתחיל מחדש, או שהוא מושהה בהמתנה לאישור אנושי שלוקח יומיים. שחזור הוא הלוגיקה המאפשרת ללולאה להתחדש מהמקום שבו נעצרה במקום להתחיל מההתחלה, דבר התלוי בכך שמצב הסוכן נשמר (persisted) במקום כלשהו. ה-orchestration צורך את המצב שנשמר מבלי להחזיק בו בעצמו. הוא מחליט מתי לבצע checkpoint וכיצד לחדש את הפעולה.

איור 2. הנתיב שעוברת קריאת כלי בודד.

ניסיון חוזר, פסק זמן, הרשאה ושחזור נעשים קשים יותר ככל שמשטח הכלים (tool surface) גדל. צמצום משטח הכלים מעלה את אחוזי ההצלחה: פחות כלים וטובים יותר פירושם פחות סיכויים שהמודל יבחר בכלי הלא נכון. בחירת כלים היא המנגנון: המודל בוחר מבין הכלים המתוארים בהקשר שלו, וככל שהמספר עולה, דיוק הבחירה יורד. קטלוג כלים גדול אחד יכול לצרוך חלק משמעותי מחלון ההקשר עוד לפני שהסוכן עשה משהו; מדידות שפורסמו עבור השרת הרשמי של MCP מ-GitHub 15, אשר חושף בערך תשעים כלים, נעות בין כ-17,600 אסימונים (tokens) של הגדרות כלים ליותר מ-40,000 בהתאם לגרסת השרת ושיטת הספירה. צוותים מדווחים לעתים קרובות על אותו דפוס: הדיוק פוחת ככל שהמשטח גדל.

ה-Model Context Protocol (MCP) מתקנן את הדרך שבה כלי מתאר את עצמו לסוכן ואת הדרך שבה הסוכן מפעיל אותו — פרימיטיב קישוריות, או כפי שהתיעוד שלו מגדיר זאת, ה-"USB-C port" לכלים. הסטנדרטיזציה הזו אמיתית ושימושית. עם זאת, היא לא מגיעה להחלטה איזה מבין מספר כלים חופפים על הסוכן להפעיל, מטעמו של מי הסוכן רשאי להפעיל אותם, או מה קורה כאשר קריאה נכשלת. אלו נותרו בעיות של שכבת ה-orchestration.

איור 3. מה ⁦MCP⁩ מכסה, ומה הוא משאיר פתוח.

MCP משאיר את מכניקת ארבעת מוקדי הדאגה לשכבת ה-orchestration. הכתיבה של Anthropic על סוכנים מנוהלים 5 מתארת ניתוב קריאות כלים דרך proxy של אישורים, כך שהסודות והזהות מטופלים על ידי הפלטפורמה ולא על ידי הסוכן — הכרה בכך שהפרוטוקול מחבר את הכלי אך אינו מנהל את הקריאה. כאשר סוכנים מעבירים סמכות לסוכנים אחרים, הפער מתרחב: כל העברה כזו היא נקודה נוספת שבה יש להגדיר מחדש ניסיון חוזר, פסק זמן, הרשאה ושחזור, ויש לקבוע מחדש את גבולות הזהות בכל שלב. גבול שמדלג על השלב הזה מעביר את היקף ההרשאות של הקורא למטה ללא שינוי. סוכן הפועל במורד הזרם עם הרשאות שגויות הוא מצב כשל שצוותים ממעיטים בחשיבותו בעקביות, עד לדליפת ההרשאות הראשונה בין סוכנים.

איור 4. מסירת סוכן לסוכן כקריאת כלי.

כשלים אלו אינם אקראיים. הטקסונומיה ⁦MAST⁩ 6, הבנויה מיותר מ-1,600 עקבות ביצוע מוערות על פני שבע מסגרות, ממיינת כשלים של סוכן לשלוש קבוצות: בעיות בתכנון מערכת, חוסר התאמה בין סוכנים ואימות משימות.

המחקר של Meta על מסלולי סוכן קידוד 7 ממיין התנהגויות שגויות לסחיפה של מפרט, בעיות חשיבה וכשלים בקריאת כלים. הקטגוריות חופפות, והן ממפות את ארבעת החששות:

איור 5. מצבי כשל מתועדים, ממופים לארבעת החששות.

השורה האחרונה היא המקום שבו צוותים לרוב מאבחנים שגוי. כשל שמוצג כ-"הסוכן בחר בכלי הלא נכון בסיבוב החמישי" נובע בדרך כלל לא מהיגיון השיגור, אלא ממה שהיה בהקשר של המודל ברגע הבחירה. אם ההקשר בסיבוב החמישי שגוי, קריאת הכלי תיראה כמו כשל ב-orchestration גם כשהיגיון השיגור תקין. צוותים מתארים זאת בעקביות: ככל שהסשן מתמשך, ההקשר מטשטש יותר, ושם מתחילות קריאות כלים שגויות והזיות. אך לא כל כשל בלולאה הוא כשל בהקשר. ניסיונות חוזרים לא אימפוטנטיים, התנהגות פסק זמן, סחיפת סכימה, תנאי מרוץ (race conditions), באגי הרשאות ומצב שמעולם לא נשמר לפני העברה — כולם מייצרים תוצאה שגויה גם עם הקשר מושלם מול המודל. קריאת חלון ההקשר בסיבוב הכושל מפרידה בין השניים: אם המידע הנכון היה שם, התקלה היא במכניקה של המערכת.

מדוע כשלי סוכן הייצור מקורם בשכבת התזמור

הדיווח של OpenAI על בניית הסוכן Codex 8 מציג את המקרה בצורה ברורה. צוות של שלושה מהנדסים הוציא בערך מיליון שורות קוד ביותר מ-1,500 בקשות משיכה (pull requests) בחמישה חודשים, כאשר הסוכן כתב כמעט את הכל. עיקרון הפעולה שלהם היה להתייחס לכל כשל בסוכן כשאלה על ה-harness ולא על המודל: כשהסוכן נכשל, הם שאלו איזו יכולת חסרה ואיך להפוך אותה לקריאה וניתנת לאכיפה עבור הסוכן — ולא איך לשנות את ה-prompt של המודל. רווחי האמינות הגיעו מהמכניקה סביב הלולאה.

הניתוח של Meta על התנהגות שגויה של סוכני קידוד 7 מצביע על אותו כיוון מצד הכשלים. מתוך יותר מעשרת אלפים מסלולי הרצה, כ-30% הכילו התנהגות שגויה, והרוב הגדול של התנהגויות שגויות בשלב בודד ניתן היה לפתרון באמצעות התערבות מתקנת אחת בנקודה הנכונה בלולאה. כשלים רבים של סוכנים ניתנים לתיקון, אך רק אם שכבת ה-orchestration תופסת ומתקנת אותם.

התמונה הזו נשמרת גם כאשר ה-harness משתנה והמודל נשאר קבוע. מחקר שמחזיק מודל קבוע ומשפר רק את ה-harness 9 מעלה את ציון ה-Terminal-Bench 2 pass@1 בערך בשבע נקודות על פני עשר איטרציות, מעבר לקו בסיס שתוכנן על ידי אדם, וה-harness הקפוא עובר למשפחות מודלים אחרות בעלות סמלית נמוכה יותר.

סוכנים מופנים כעת למשימות קשות יותר. מדידות אופק הזמן של METR 10 מבטאות קושי במשימה בשעות של אדם-מומחה: משך המשימה, כפי שתוזמן על ידי אדם, שמודל גבול (frontier model) מסיים בשיעור הצלחה של 50%. נכון לתחילת 2026, הנתון הזה הגיע לכ-12 שעות עבור המודלים החזקים ביותר, והכפיל את עצמו בערך בכל ארבעה עד שבעה חודשים, אם כי ההערכות נושאות רווחי סמך רחבים. המדד הוא קושי במשימה ולא זמן ריצה של סוכן, אך משימות קשות יותר משמעותן יותר איטרציות לולאה, וכל איטרציה היא עוד החלטה של ניסיון חוזר, פסק זמן, הרשאה ושחזור שיכולה להישאר ללא טיפול.

#mongodb#ai-agents#security-engineering#devops
קרא במקור

קריאה וכלים קשורים

אבטחת MongoDBמונחי אבטחה והסברים בעברית