ניהול זיכרון לטווח ארוך עבור סוכני AI בסביבת ייצור
אמ;לק
סוכני AI צריכים 'זיכרון' כדי לתפקד לאורך זמן. בפוסט מוסבר איך מנהלים את הזיכרון הזה בסביבת ייצור (Production) בצורה מאובטחת ומבוקרת, תוך הגנה על פרטיות הנתונים.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Agent Memory Inside the Harness
>סוכני AI צריכים 'זיכרון' כדי לתפקד לאורך זמן. בפוסט מוסבר איך מנהלים את הזיכרון הזה בסביבת ייצור (Production) בצורה מאובטחת ומבוקרת, תוך…
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
ארבעה פוסטים בבלוג זה כבר סקרו מהו זיכרון של סוכנים (agent memory): היררכיית הזיכרון [1], מדוע מערכות מרובות-סוכנים זקוקות להנדסת זיכרון [2], כיצד לבנות סוכן מוגדל-זיכרון [3], וכיצד להעניק לו זיכרון לטווח ארוך באמצעות LangGraph [4]. פוסט זה צולל לשכבה שמתחת לכל אלו. הוא עוסק במה שהזיכרון הופך להיות ברגע שהוא צריך לרוץ בסביבת ייצור (production) — דחוס לצד סכימות כלים ועקבות חשיבה כאשר חלון ההקשר עולה על גדותיו, מנוהל בגרסאות ובממשל ככל רכיב ייצור אחר, מוזן ממערכות ארגוניות שאף אחד לא עומד להחליף, ועם בקרת גישה ברמת היחידה הבודדת.
התייחסות זו לזיכרון כתשתית ניכרת כבר באופן שבו התחום מדבר על סוכנים. ה-harness שסביב המודל מתואר כעת במונחים של ממשל הקשר (context governance), זיכרון מהימן וניתוב מיומנויות, ולא רק כ-prompt-and-call; ה-SDKs המרכזיים של סוכנים כוללים כעת זיכרון ודחיסה כרכיבים מובנים (primitives); ו-ChatGPT שומר כעת את הזיכרון שלו בשכבה ייעודית שמתגבשת באופן עצמאי על פני שיחות [5]. השאלה הפתוחה היא כיצד לבנות זאת היטב.
שני טיעונים מנסים לטעון שהבעיה אינה קיימת. האחד גורס שחלונות ההקשר כיום גדולים מספיק כך שמערכת זיכרון היא מיותרת; השני גורס שהזיכרון יעבור לתוך המודל עצמו [6]. הקשר ארוך (long context) הוא משטח עבודה גדול יותר, אך הוא מתאפס בכל סשן, איכותו יורדת ככל שהוא מתמלא, הוא עונה לאט יותר ככל שהוא גדל, והעלות שלו היא ליניארית לכל אסימון (token) שמועבר קדימה. זיכרון המושתת על משקולות המודל, שנלמד במהלך האימון, אינו יכול לקלוט רשומות של לקוח שהתקבלו היום או למחוק אותן לפי בקשה מחר. אף אחד מהטיעונים הללו לא פותר את הבעיה שבה עוסק פוסט זה: תפעול וממשל של זיכרון שחי מחוץ למודל.
State וזיכרון הן בעיות שונות
יש לדייק בשימוש בשתי המילים הללו, שכן בתחום משתמשים בהן לעיתים קרובות לסירוגין. State (מצב) הוא נתוני העבודה הזמניים של ביצוע בודד: התוכנית, תוצאות הביניים ונקודת הבידוק (checkpoint) שממנה הסוכן מתאושש לאחר קריסה. Memory (זיכרון) הוא ידע ששורד מעבר להרצה בודדת, שעובר אוצרות, למידה או חילוץ לאורך זמן, וניתן לקריאה חוזרת לאורך סשנים שונים. מנגנון ה-checkpointing שומר את ה-state כך שהרצה שנכשלה תוכל להתאושש; הוא אינו יוצר זיכרון. לשניהם יש מחזורי חיים, היקפים וממשל שונים, וערבוב ביניהם הוא הטעות הארכיטקטונית הנפוצה ביותר בשכבה זו. פוסט זה עוסק בזיכרון. ה-state מכוסה בנפרד, בחלק השני.
דחיסה היא מטבעה אובדנית, והיא קובעת גם עלות וגם מהימנות
סוכן צובר הקשר תוך כדי עבודתו: הודעות, תוצאות כלים, זיכרון מאוחזר והיגיון ביניים. חלון ההקשר הוא סופי, לכן יש להחליט מה לשמור כאשר הוא מתמלא. החלטה זו מתבצעת באמצעות דחיסה, והיא מטבעה תהליך אובדני (lossy). כל שלב דחיסה משליך מידע ותלוי בשמירת החלקים החשובים בלבד.
המידע שמושלך קובע את האיכות. מחקר של Chroma בנושא context rot [7] מצא שכל שמונה-עשר המודלים שנבדקו חוו ירידה בביצועים ככל שהקלט גדל, ושמודלים המפרסמים חלון של 200,000 אסימונים הפכו לבלתי אמינים הרבה לפני שהגיעו למגבלה זו; הביצועים נשמרו ואז צנחו במקום לרדת בהדרגה. מדיניות שמסכמת בצורה אגרסיבית מדי עלולה להשמיט אילוץ שהמשתמש הגדיר עשרה שלבים קודם לכן. חלק מהכשלים עדינים יותר מאובדן אילוץ: מתוך אלפי רשומות יומן שגרתיות, ייתכן שרק אחת או שתיים יסמנו חריגה; מדיניות שמאגדת את הרשומות עלולה להעלים את הסימנים הללו ולהשאיר את הסוכן במצב גרוע יותר מאשר ללא סיכום כלל. מנגד, סיכום מועט מדי יגרום לחלון להתמלא ברעש עד שהיכולת לשלוף מידע תקרוס.
אותה בחירה מניעה גם את העלות. כל אסימון שמועבר לשיחה הבאה משולם שוב, לכן מדיניות הדחיסה היא גם מדיניות ההוצאות. הגורם העיקרי לעלויות הוא עקיף: אסימוני פלט יקרים פי כמה מאסימוני קלט, כך שההוצאה המשמעותית אינה ההקשר המועבר עצמו, אלא השלבים הנוספים שהקשר מנופח מאלץ את הסוכן לבצע כאשר הוא צריך לתקן מידע ששובש. רוב הצוותים מסתמכים על ההדק (trigger) האוטומטי שפועל כשהחלון מתמלא, לרוב סביב 95%; צוותים שעוקבים מקרוב אחר ההקשר מבצעים דחיסה יזומה, לעיתים קרובות סביב 60%, ולפחות כלי אחד ויתר על דחיסה אוטומטית לחלוטין לטובת שרשורים קצרים עם העברות מידע נקיות ביניהם.
דחיסה היא כיום רכיב מובנה (primitive). ה-SDKs המרכזיים של סוכנים מספקים אותה כברירת מחדל, והחלופה המתהווה היא להימנע ממנה: הענק לכל סוכן-משנה חלון טרי שכולל רק את מה שהסוכן הראשי מעביר לו, והחזר רק את התוצאה למתקשר, כך שהשרשור הראשי לעולם לא ישלם את עלות האסימונים של כל מה שסוכני המשנה קראו. כך או כך, ההחלטה איזה הקשר לשמור היא חלק ליבתי ממערכת הזיכרון: היא קובעת בו-זמנית את החשבון ואת תקרת האמינות.
הנחיות (Prompts) וכישורים הם תשתית מנוהלת בעלת גרסאות, לא סתם קבצי טקסט
שני רכיבים מעצבים את מה שסוכן עושה עם הזיכרון שלו: ה-system prompt שמכתיב את אופן ההתנהגות, והכישורים (skills) שמכתיבים כיצד לבצע נהלים ספציפיים. שניהם מטופלים לרוב כטקסט פשוט — ערוכים במקום, מועתקים בין סביבות, ומועברים ללא תיעוד של השינויים שבוצעו בהם. בקנה מידה של ייצור (production), שניהם מהווים תשתית.
ל-system prompt ששולט בהתנהגות הסוכן יש צרכים תפעוליים של קוד. הוא דורש ניהול גרסאות, כדי שניתן יהיה לאתר רגרסיה לשינוי שגרם לה; הוא דורש הערכה (evaluation) לפני הטמעת שינוי, כדי ששינוי שעוזר במקרה אחד אך שובר חמישה אחרים ייתפס לפני שהמשתמשים יחשפו אליו; והוא דורש יכולת חזרה לאחור (rollback), כדי שניתן יהיה לשחזר גרסה תקולה תוך שניות. מערכות לניהול הנחיות (prompt registries) עם ניהול גרסאות, השוואת A/B ובדיקות אוטומטיות קיימות כיוון שצוותים שמריצים סוכנים בייצור גילו שהנחיה ללא גרסאות היא תלות מסוכנת. רוב הצוותים נמצאים כיום בשלב מוקדם יותר: באב-טיפוס, ההנחיה לרוב נשמרת כשדה ניתן לעריכה, אך המעבר ל-prompt-as-managed-artifact הוא היעד של צוותים כשהם מתבגרים. שינוי בהנחיה משנה את ההתנהגות בדיוק כמו שינוי בקוד, וזו הסיבה שהצוותים המתקדמים ביותר מנהלים אותה באותה דרך. חלק מהפלטפורמות שומרות כעת את ההנחיה תחת בקרת מקור (source control) לצד שאר הגדרות הסוכן, כולל הגדרות הזיכרון שלו, בקובץ הצהרתי יחיד.
הכישורים (Skills) הם החצי השני. מיומנות מארזת הליך שהסוכן טוען לפי דרישה — השלבים להחזר כספי, הפורמט לדוח, או רצף פריסה — והתקן הפתוח SKILL.md שהוצג בסוף 2025 אומץ על ידי סוכני הקידוד המרכזיים [8]. מיומנות היא הזיכרון הפרוצדורלי של הסוכן: השגרות שהוא יודע להריץ, להבדיל מהעובדות שהוא מסוגל לשלוף. דפוס חדש יותר מראה שמיומנויות לא רק נכתבות מראש, אלא מגובשות מתוך ניסיון, שבו סוכן שמשלים זרימת עבודה בצורה מוצלחת כותב אותה מחדש כמיומנות לשימוש חוזר. קובץ בדיסק מכסה את ההליכים שנכתבו מראש. ברגע שסוכן נדרש ליצור ולשנות את הנהלים של עצמו לאורך זמן, עדיף להתייחס לשגרות הללו כחלק מהמצב המתמיד (persistent state) שלו ולא כקבצים סטטיים, והן יורשות את אותם מנגנוני ניהול גרסאות ובקרת גישה כמו שאר הזיכרון.
התייחסות למיומנות כאל זיכרון מעלה בעיית ממשל שאינה קיימת בזיכרון של עובדות פשוטות. מיומנות היא קוד בר-הרצה, ולכן מיומנות לא מהימנה יכולה לעשות את כל מה שקוד לא מהימן יכול לעשות, כולל סינון (exfiltration) של הנתונים שאליהם היא ניגשת. סיכון זה זהה לחשיפה שיוצרת הנחיה זדונית, המגיעה לנתונים דרך דלת אחרת. ההגנה הבסיסית היא זו המשמשת לכל קוד לא מהימן: הרצת זרימת הבקרה והכלים של הסוכן בתוך ארגז חול (sandbox), כך שהמיומנות מתבצעת ללא גישה גורפת לכל סביבת העבודה. יחידת זיכרון שהיא גם הוראה חייבת להיות מנוהלת כשניהם.
הזיכרון הארגוני נקבע בנתיב הנתונים ובנתיב המחיקה
מדדים מודדים את שלב השליפה. בייצור, המערכת תלויה בכל מה שקורה לפני שפיסת נתונים ארגונית בכלל ניתנת לשליפה, ובכל מה שקורה כשמישהו מבקש להסיר אותה. בתוך ארגון, הנתונים שהסוכן צריך לזכור כבר קיימים: ב-CRM, בכרטיסי תמיכה, במסמכים רגולטוריים, או במסד נתונים שקדם לצוות שבנה את הסוכן. הקושי טמון בהכנסת הנתונים הללו לצורה מוכנה לזיכרון מבלי לבצע הגירה (migration) של מערכות התיעוד, ובניהול של כל יחידת מידע ברגע שהיא נקלטת.
נתונים ארגוניים הופכים לזיכרון דרך צינור, לא הגירה
מושג ה-'Memory-ready' פירושו נתונים שמחולקים לחתיכות (chunked), מוטמעים (embedded), מאונדקסים ומתויגים עם מספיק מטא-נתונים כדי לאפשר שליפה וממשל. נתוני המקור כמעט לעולם אינם מגיעים בצורה זו. בניית הנתיב ממערכת התיעוד ליחידת הזיכרון היא העבודה שאמות המידה של זיכרון-שיח (conversational-memory benchmarks) לעולם לא מודדות, כי הקורפוס שלהן מגיע נקי ומסודר.
צינור ייצור (production pipeline) קורא מהמקור באופן רציף ולא בטעינה חד-פעמית. זרמי לכידת שינויים (Change Data Capture) מבצעים הכנסות, עדכונים ומחיקות בזמן אמת, כך שהזיכרון עוקב אחר המצב הנוכחי של הרשומה ולא אחר תמונת מצב מיום הקליטה. זיהוי השינויים עצמו הוא אתגר: השוואת חותמת זמן של 'שונה לאחרונה' היא זולה אך מחמיצה עריכות שאינן משנות את השדה; גיבוב (hashing) של התוכן תופס כל שינוי אך בעלות גבוהה יותר. כל יחידה נושאת גם את המקור שלה — מאיזו מערכת, איזו רשומה ואיזו גרסה — כי בלעדיהן אין דרך לדעת מהו מקור העובדה הזכורה ואין דרך למחוק אותה בצורה נקייה בהמשך. אין בטכניקות הללו משהו חדש. הקושי הוא תפעולי: שמירה על הצינור מעודכן מול מערכות מקור שמעולם לא תוכננו להזין אותו, כשכל אחת מהן כוללת סמנטיקה ואמינות שונה של לכידת שינויים, כך שהזיכרון משקף את הרשומה כפי שהיא ברגע זה ולא כפי שהייתה בסנכרון האחרון.
מודל ההטמעה (embedding model) הוא חלק מהסכימה, ולא פרט טכני זניח. החלפתו דורשת הטמעה מחדש של כל הקורפוס, באותו אופן שבו סוג עמודה לא תואם במסד נתונים מאלץ הגירה. צוות שבוחר מודל הטמעה מבלי לתכנן את היום שבו יחליף אותו, בנה לעצמו הגירה שהוא עדיין לא תזמן. אם זה נעשה במכוון, החלפת המודל היא כמו כל הגירת אינדקס אחרת: בנה ותקף אינדקס חדש על המודל החדש, בצע את המעבר (cut over), ולעולם אל תערבב וקטורים משני מודלים באינדקס אחד, כיוון שהטמעות ממודלים שונים אינן בנות-השוואה.
בקרת גישה לזיכרון היא בעיה בניהול נתונים
ברגע שהנתונים הארגוניים נמצאים בזיכרון, איכות השליפה אינה הגורם היחיד שקובע אם המערכת מוכנה לייצור. חשוב לא פחות לקבוע מי רשאי לקרוא כל יחידת מידע, מי רשאי לכתוב אליה, ומה קורה כאשר יש למחוק רשומה. זהו הממשל שמסד נתונים תפעולי כבר נושא בחובו — גישה מבוססת תפקידים, מדיניות שימור, ביקורת — המיושם כעת על מאגר שמחזיק באותם נתונים רגישים, אך מגיעים אליו דרך נתיב שאילתות שונה. הזיכרון מחזיק לעיתים קרובות נתונים רגישים לא פחות מהמקורות שלו, ולעיתים אף יותר, כיוון שיחידת זיכרון בודדת יכולה לשלב עובדות ממספר מערכות לרשומה שאף מקור יחיד לא חשף בעצמו. הרגישות של יחידות אלו מחייבת הצפנה בשימוש (encryption in use), כך שאפילו מפעילי מערכת האחסון לא יוכלו לקרוא אותן.
המחיקה היא המקום שבו העיצוב נבחן. בקשת מחיקה חייבת להגיע לכל מקום שבו הנתונים אוחסנו: שורת המקור, האינדקס הווקטורי ותצלומי הגיבוי (backups), ולא רק לרשומה שהמשתמש רואה. תחת עקביות בסופו של דבר (eventual consistency), זיכרון שנמחק עדיין עלול לחזור בתוצאות שאילתה עד שהאינדקס יתעדכן. פיגור זה מקובל בדרך כלל כאשר אדם קורא תוצאות חיפוש מעט מיושנות. זה הופך לבעיית ציות (compliance) כאשר סוכן פועל על סמך נתונים שהחברה נדרשה לשכוח. גם מחיקה שנעשתה למען דיוק ולא בשל רגולציה אינה יכולה לחכות: כאשר זיכרון מוסר כיוון שנלכד בטעות, אסור לאפשר לאף רכיב במורד הזרם לקרוא אותו, ולכן יש להפוך את היחידה לבלתי-ניתנת לשליפה ברגע המחיקה ולא לחכות לסיום ההפצה. מחיקה שנובעת משינוי במערכת התיעוד היא מקרה של עקביות בסופו של דבר, והיא עוברת באותו נתיב כמו שאר הצינור. האחסון לא סוגר את החלון הזה מעצמו; הארכיטקטורה צריכה לקחת זאת בחשבון.
קריאה וכלים קשורים
אבטחת MongoDB- MongoDB Atlas Security — בקרות רשת וזהויות, הצפנה וביקורת ב־Atlas; ביקורת זמינה רק בתוכניות מתאימות.
- NoSQLMap — כלי בדיקות NoSQL לשימוש מורשה בלבד; פעילות מאגר אומתה בפברואר 2026, אך המהדורה ישנה ונדרשת בדיקת התאמה.
- אבטחת נתוני תשלומים ב-MongoDB לפי תקן PCI DSS
- MongoDB מאפשרת זיכרון ארוך טווח לסוכני AI מבוססי Strands
- פרצה ב-MongoDB: תוקף ללא הרשאות יכול להפיל שרתים