ניטור סוכני AI: מעקב אחר החלטות ולא רק בקשות
אמ;לק
הקמת יכולות ניטור (Observability) לאפליקציות AI על ידי תיעוד תהליך קבלת ההחלטות של הסוכן. ניטור כזה חיוני כדי להבין התנהגויות חריגות ולמנוע מניפולציות של מודלי AI.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Agent Observability: Monitoring Decisions, Not Requests
.png)
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
תצפיות (Observability) היא הפרקטיקה של הפיכת ההתנהגות הפנימית של מערכת לקריאה מבחוץ – לכידת מספיק נתונים כדי שמהנדס יוכל לשחזר מה קרה ומדוע. עבור שירות אינטרנט, הנתונים הללו הם הבקשות (requests): קוד סטטוס, ערך השהיה (latency), ומעקב מחסנית (stack trace) כאשר מתרחשת שגיאה. עבור סוכן (agent), יחידת ההתנהגות היא החלטה: הבחירה שהוא מבצע בין קריאה אחת לבאה אחריה. הסוכן קורא את ההקשר, בוחר פעולה, מפעיל כלי או מודל, בוחן את התוצאה ובוחר שוב.
תצפיות סוכנים (Agent observability) היא הפרקטיקה של לכידת רצף החלטות זה והפיכתו לקריא. זהו חלק 6 מתוך סדרה על עיצוב פלטפורמה מבוססת סוכנים (agentic platform), והוא עוסק במה שזה דורש: מה להטמיע, אילו מדדים באמת חשובים, ומדוע שכבת התפעול סביב סוכנים עדיין נמצאת בשלבי פיתוח ולא באימוץ נרחב.
מדוע ניטור, צפייה והערכה הן שלוש עבודות שונות
לעתים קרובות מערבבים בין שלוש עבודות שונות. ניטור (Monitoring) עוקב אחר תקינות המערכת. תצפיות (Observability) משחזרות מה הסוכן עשה ומדוע. הערכה (Evaluation) שופטת האם מה שהסוכן עשה היה טוב. בלוג המפתחים של MongoDB כבר סיקר את הראשון עבור מסדי נתונים, בסדרה בת שלושה חלקים[1] על ביצועי שאילתות, זמן השהיה וניצול משאבים באשכול; פוסט זה עוסק בשני, וחלק 7 בסדרה זו יעסוק בשלישי.
תצפיות סוכנים היא בעיה שונה מניטור של מסדי נתונים. מסד נתונים הוא מערכת דטרמיניסטית שבה הכשל הוא מפורש: שאילתה איטית, מאגר חיבורים מוצה, או אינדקס חסר. סוכן הוא מערכת לא-דטרמיניסטית שבה כל צעד בודד יכול להצליח, בעוד הריצה כולה עלולה להיכשל.
סוכן משכתב פונקציה, מריץ את חבילת הבדיקות, רואה כשל, מנסה לתקן ומבצע לולאה. כל איטרציה היא קריאת מודל חוקית שחוזרת בתוך זמן השהיה תקין. ניטור יישומים מסורתי מדווח על כל 'span' כמוצלח, בעוד הסוכן שורף אסימונים בלולאה שלעולם אינה מתכנסת – זוהי מחלקת הכשל שמדריך ה-Agent Observability של Augment Code[2] משתמש בו כדי להצדיק מעקב מפורט (fine-grained tracing), שבו סוכן תכנון וביצוע (plan-and-execute) מאתר את התשובה הנכונה, אך המתכנן מחדש דוחה אותה ומתכנן שוב ושוב ללא הגבלה. אותה תופעה מופיעה בצורות אחרות: כלי שהופעל עם פרמטר שהמודל הזיה (hallucinated), שליפה שהחזירה הקשר סביר אך לא רלוונטי, או מסירה בין סוכנים (handoff) שאיבדה מחצית מהמצב שלה. בכל מקרה, יומן הריצה ברמת הבקשה מתעד שהריצה התרחשה וכמה זמן היא ארכה. הוא אינו מתעד מדוע הסוכן בחר בנתיב הספציפי הזה.
ההנחה הסבירה היא שמחסנית MLOps או APM קיימת תתרחב גם לסוכנים. היא לוכדת את רוב מה שמערכת דטרמיניסטית צריכה, והיא נשענת על הפשטה שהתקיימה במשך שנים: מודל ממפה קלטים לפלטים, ותצפיות פירושה צפייה במיפוי הזה. ההפשטה מתקיימת כאשר המודל הוא המערכת. היא נשברת כאשר המערכת היא סוכן, כיוון שההתנהגות שדורשת הסבר נמצאת בהחלטות שבין הקריאות, ולא בקלט או בפלט של קריאה בודדת. שאר הפוסט הזה עוסק במה שהסוכן צריך ואינו קיים במקרה של בקשות רגילות.
סדרה זו עוסקת בהנדסת רתמת (harness) הסוכן וזמן הריצה שלו, והיא מתייחסת לכמה משכבות הרתמה כמקומות שבהם עלול להיווצר כשל: מצב (state) והתמדה ב-Part 2, תזמור (orchestration) וזיכרון.
סוכנים אינם נכשלים בשכבת התצפיות. הם נכשלים בזיכרון, בתזמור, במצב או בשימוש בכלים, והסיבה השורשית מבוזרת על פני שכבות אלה ולא מרוכזת באחת. כשל בייצור נראה לעין איפשהו ברתמה, לעתים רחוקות בקריאת המודל עצמה. תצפיות היא השכבה שמייחסת כשל לרכיבים הנכונים.
מה שצפיות סוכנים לוכדת: עקבות (traces), נתיבי חשיבה, כלים וזיכרון
החפץ (artifact) העיקרי בתצפיות סוכנים הוא ה-trace. עקבה (trace) מייצגת את מחזור החיים המלא של משימת סוכן כעץ הורה-ילד של 'spans': הפעלת הסוכן ברמה העליונה, כל קריאת מודל מתחתיה, כל הפעלת כלי, וכל קריאה או כתיבה בזיכרון. כשם שמהנדס תוכנה קורא קוד מקור כדי להבין את התנהגות התוכנית, מהנדס סוכנים קורא את ה-trace[2] כדי להבין את התנהגות הריצה. קוד המקור קבוע; מה שהסוכן עשה בפועל מתגלה בזמן הריצה, וה-trace הוא המקום היחיד שבו זה מתועד.
תקן המכשור (instrumentation) עבור עקבות אלה מתכנס ל-OpenTelemetry. המוסכמות הסמנטיות ל-GenAI של OpenTelemetry[3] מגדירות את סוגי ה-span שמערכת סוכנים פולטת – create_agent, invoke_agent, execute_tool, ו-invoke_workflow עבור מערכות המקבצות מספר הפעלות סוכנים – לצד טווחי הלקוח של ה-LLM הנושאים את שם המודל, שימוש באסימונים וזמן השהיה. נכון לאמצע 2026, מוסכמות אלו עדיין בסטטוס Development והשתנו כמעט בכל מהדורה; גרסה 1.37 שינתה את האופן שבו היסטוריית צ'אט מרובת פניות מתועדת[4].
Datadog הוסיפה תמיכה מקורית ב-v1.37[5], בעוד Honeycomb, New Relic ו-Grafana צורכים את ה-spans, ומסגרות עבודה (frameworks) הכוללות את LangChain, CrewAI ו-AutoGen פולטות אותם. התמיכה של ספקים ומסגרות עבודה רחבה; אימוץ צוותים – פחות. ארגונים נשארים מפוצלים בין המוסכמות למכשור מותאם אישית. הטיעון המעשי למוסכמות הוא אינטגרציה: מסגרת עבודה שפולטת אותן משתלבת בפלטפורמה כמו Datadog או Langfuse במאמץ מופחת משמעותית בהשוואה למסגרת שאינה עושה זאת.
span שימושי נושא יותר מאשר שם ומשך זמן. הוא נושא תכונות נוספות המאפשרות לצוות לשאול שאלות על פני עקבות רבים בו-זמנית: איזה כלי נכשל בתדירות הגבוהה ביותר, איזו קריאת מודל צורכת הכי הרבה אסימונים, והיכן מצטברת השהיה. בלעדיהם, הצוות נאלץ לקרוא ריצות אחת אחת.
לכידת spans היא השכבה התפעולית של תצפיות: לאן עבר הזמן, אילו קריאות נכשלו וכמה אסימונים צרך כל צעד. מקרה הסוכנים דורש שכבה שנייה מעליה. עקבת חשיבה (reasoning trace) היא רצף הצעדים המרומזים שסוכן נוקט כדי להגיע להחלטה – הפעולה שבחר, הכלי שבו השתמש, וההקשר שהיה בחלון ההקשר שלו ברגע הבחירה. חוקרים החלו לכנות זאת תצפיות קוגניטיבית (cognitive observability)[6] – תווית שעדיין מתגבשת, אף שההבחנה הבסיסית ברורה – כדי להפריד אותה מהטלמטריה התפעולית שיכולה לומר לך שצעד נכשל, אך לא מדוע ההיגיון של הסוכן הוביל לשם. אות תפעולי ממקם את הכשל בשלב מסוים; עקבת החשיבה היא זו שמסבירה אותו. עקבת חשיבה שנלכדה כטלמטריה היא הקשר ביצוע בגבולות ריצה (מצב), ולא זיכרון בין מפגשים. מערכת התצפיות מתעדת זאת; היא אינה הופכת זאת לזיכרון.
במערכת מרובת-סוכנים, ה-trace חייב להשתרע על פני כל שרשרת התיאום, לא רק על הפלט של סוכן אחד. כאשר מנחה (supervisor) מאציל סמכויות לחוקר ולכותב, כשל עלול להופיע אצל הכותב בעוד שהסיבה טמונה במה שהחוקר העביר הלאה. trace המוגבל לסוכן יחיד מראה את הסימפטום; trace שעוקב אחר המסירות (handoffs) מראה היכן השתבשה השרשרת.
חלק ניכר ממה שנראה כמו כשל בהיגיון מקורו במעלה הזרם, בשלב האחזור (retrieval). כאשר סוכן בוחר פעולה שגויה, הסיבה היא לרוב שהקריאה מהזיכרון שהזינה את אותו צעד החזירה את הפרגמנט הלא נכון, הקשר מיושן, או שום דבר שמיש. סדרה זו טענה שכמה כשלי תזמור הם למעשה כשלי זיכרון במסווה; ההפך נכון גם כן, ובעיית אחזור יכולה להופיע כבעיית היגיון או כבעיית כלי. הבחנה ביניהם היא בדיוק המטרה של ה-trace. גישה לזיכרון חייבת להופיע ב-trace לצד ה-spans של המודל והכלים – השאילתה, התוצאה שהוחזרה, ומידת הרלוונטיות שלה – כך שניתן יהיה לייחס כשל לאחזור שגרם לו, במקום לנחש. רישום גישה לזיכרון שייך ל-trace, ולא למערכת נפרדת שצוות צריך לתאם ידנית.
סוכנים שפועלים דרך דפדפן מוסיפים שכבה ש-spans טקסטואליים אינם יכולים לתפוס: מה שהסוכן ראה. עבור סוכן אינטרנט או סוכן מחשב, צילום המסך והקלטת המפגש הם תיעוד התפיסה. Cloudflare הטמיעה זאת ב-Browser Run[7] לאחר ששמעה שוב ושוב שכאשר אוטומציה נכשלה, לצוותים לא היה מושג מדוע. תיעוד התפיסה הוא גם החפץ שהערכה אוטומטית מטפלת בו בצורה הגרועה ביותר. סוכנים שמציגים טבלאות, דיאגרמות או ממשקים מלאים מייצרים פלט שה-LLM-as-judge לא יכול להעריך באופן מהימן על סמך ה-trace לבדו.
איור 1. אותה ריצת סוכן נראית בשתי דרכים.
כבקשה, כל קריאה מחזירה 200 OK, ולא ניתן להבחין בין הריצה שנכשלה לבין הריצה שעבדה. כנתיב החלטה, כל span עדיין חוזר בסדר – ה-trace ממקם את הכשל בשלב קריאת הזיכרון, אך רק ברגע שמשהו מחוץ לטלמטריה הגדיר אותו ככשל.
מה למדוד: שלושה מדדים, שלוש התראות, מסלול ביקורת אחד
מדוע שכבת התפעול היא שלך לבנות
חצי מנושא תצפיות הסוכנים נפתר במידה רבה: לכידת נתיב ההחלטה. LangSmith של LangChain[8] מכשיר את שכבת קבלת ההחלטות ישירות, ומאפשר לצוות למקם כשל בשלב שבו האחזור החזיר מסמכים לא רלוונטיים או שהמודל הזיה פרמטר של כלי, ולייחס עלות לתת-משימה בודדת, לפעמים תוך גילוי שתת-משימה אחת צורכת את רוב האסימונים של ה-trace. מתרגלים שמשיקים סוכני קידוד התכנסו לדפוסים תפעוליים כמו דגימה מבוססת זנב (tail-based sampling)[2] – שמירה של כל trace שמכיל שגיאה, כל trace שחורג מסף עלות, ומדגם אקראי קטן של השאר – כיוון שלכידה מלאה ובדיוק מרבי יקרה מדי בייצור.
הפער שצוותים נתקלים בו הוא לא הלכידה אלא התפעול, וזה מתחיל בבעיית הגדרה. צוותים שמוסיפים מאפיינים סוכניים ליישום קיים רגילים למצבי הכשל של תוכנה קונבנציונלית: קריסה, מעקב מחסנית (stack trace), או קוד יציאה שאינו אפס. סוכנים נכשלים אחרת. מידע שגוי שנמסר ללקוח, או עקיפה של בדיקת בטיחות. אף אחד מאלה לא מודיע על עצמו בטלמטריה, ומציאת אחד מהם בתוך מאגר של עקבות דומה יותר לחיפוש בערימת שחת מאשר לקריאת stack trace. התוצאה היא ש-trace יכול להיראות תקין בזמן שהריצה כושלת. רצף נקי של קריאות כלים ללא שגיאות תואם באופן מלא לתוצאה שגויה, מכיוון שהסוכן אחזר הקשר שגוי או נקט בנתיב סביר אך לא נכון. מכשור (instrumentation) הוא לעתים רחוקות המקום שבו צוותים נופלים; המרת עקבות למשהו בר-פעולה היא המקום שבו הם מתקשים. הדפוס בקרב צוותי סוכנים ארגוניים הוא שהמכשור מגיע לפני שהצוות החליט מה נחשב לכשל, על מה להתריע, או מה סוקר אבטחה יצטרך לראות. האות נלכד; הפרקטיקה התפעולית סביבו טרם נכתבה.
כדי לסמוך על עקבה (trace) מספיק כדי להקפיץ מישהו מהצוות, נדרש יותר ממעבר מכשור בודד. נדרשים מכשור אמין, סכימת trace יציבה, מדדי הצלחה מוסכמים, ומספיק אימות ידני כדי לאשר שהעקבות תואמים את המציאות. נדרש גם לבחון את הגלאים מול מקרים חיוביים ושליליים, כדי שיפעלו רק במצבים שהם באמת בעיות ויישארו שקטים באחרים. כמה מחזורים זה דורש תלוי במידת הסובלנות של מקרה השימוש לשגיאות.
בעיה קשורה מופיעה באופן שבו צוותים משתמשים באות ברגע שיש להם אותו. Hamel Husain, שייעץ ליותר משלושים יישומי AI בייצור, מתאר צוותים שבונים לוחות מחוונים מלאים בציונים גנריים[9] – מועילות, רעילות, נכונות – וחוגגים שיפורים שאינם מתואמים עם תוצאות אמיתיות. לכידת ה-trace היא הכרחית; מדידת הדבר הלא נכון על גבי הנתונים עדיין משאירה את הצוות עיוור.
קריאה וכלים קשורים
אבטחת MongoDB- MongoDB Atlas Security — בקרות רשת וזהויות, הצפנה וביקורת ב־Atlas; ביקורת זמינה רק בתוכניות מתאימות.
- NoSQLMap — כלי בדיקות NoSQL לשימוש מורשה בלבד; פעילות מאגר אומתה בפברואר 2026, אך המהדורה ישנה ונדרשת בדיקת התאמה.
- אבטחת נתוני תשלומים ב-MongoDB לפי תקן PCI DSS
- MongoDB מאפשרת זיכרון ארוך טווח לסוכני AI מבוססי Strands
- פרצה ב-MongoDB: תוקף ללא הרשאות יכול להפיל שרתים