איך לאפשר ל-AI לכתוב שאילתות בלי סיכון אבטחה
אמ;לק
דרך מאובטחת לתת לסוכני AI לנהל נתונים ללא הרצת קוד שרירותי (Interpreter) שעלול לסכן את האפליקציה. במקום זאת, הסוכן בונה שאילתות שמבוצעות בצורה מבוקרת בצד השרת.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Code Mode Without the Interpreter: Agents That Write Aggregation Pipelines
.png)
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
Standfirst מצב Code נותן לסוכן AI מתורגמן קוד ומאפשר לו לכתוב תוכניות אמיתיות – נסיעה אחת הלוך ושוב במקום חמש, עם סינון נתונים במקור ולא בחלון ההקשר. זה גם אומר הרצת קוד שרירותי שדגם כתב, מה שמהווה קושי מכירתי במוצר מוסדר. זהו תיאור של ביצוע אותה פעולה ללא מתורגמן: הסוכן מחבר MongoDB aggregation pipeline, מטפל מבצע אותו בצד השרת, ורק התוצאה המעובדת חוזרת. שתי מערכות ייצור, עבודת השאילתות שהפכה אותן לבעלות קיימא, והמקומות שבהם הגישה הזו נכשלת.
הבעיה בכלים קבועים
סוכן המסמכים שלנו עונה על שאלות לגבי חוזים שלקוח העלה. אילו מהם מתחדשים אוטומטית? איזו תקופת הודעה מוקדמת נדרשת לכל אחד? היכן בעצם מופיע סעיף שיפוי מסוים?
איור 1. זרימת עבודה של כלים קבועים עם מספר נסיעות הלוך-חזור עוקבות וצבירת הקשר.
הגרסה הראשונה השתמשה בכלים רגילים מסוג MCP. כלי אחד לכל פעולה, שכל אחד מהם מחזיר סוג תוצאה קבוע. זה עובד מצוין עד ששאלה לא ממופה לאף כלי. "אילו חוזים מתחדשים אוטומטית ואיזו תקופת הודעה הם דורשים?" הופך לרצף: רשום את המסמכים, אחזר את הסעיפים של הראשון, סרוק אותם, אחזר את הבא, סרוק גם אותם, וכן הלאה. חמש קריאות findOne ברצף, כאשר כל מי שמכיר את מסד הנתונים היה כותב שאילתה אחת בלבד. שני דברים משתבשים, והשני שבהם חמור יותר.
הבעיה הברורה היא נסיעות הלוך-חזור. כל קריאה היא סיבוב שלם. המודל מחכה, התוצאה מגיעה, והוא מחליט מה לשאול הלאה. הבעיה העדינה יותר היא מה התוצאות הללו עושות לחלון ההקשר. כדי למצוא שלוש פסקאות, אתה שולף את הסעיפים של כל מסמך שבדקת – מאות קילובייטים, רובם לא רלוונטיים, שיושבים עכשיו בחלון לצמיתות, כשהמודל מנמק מעל הכל למשך שארית השיחה. זה מצטבר עם כל קריאה. שום דבר לא נכשל; כל כלי החזיר בדיוק את מה שהבטיח. וזו הבעיה. אפשר לטשטש את שתי הבעיות על ידי כתיבת כלים ספציפיים יותר, אך אז אתה נדרש לצפות כל שאלה שמישהו עשוי לשאול אי פעם, ואלו שלא צפית – יחזרו לקריאות הפרימיטיביות.
יש בעיה שלישית, והיא זו שאין לה פתרון בשכבה הזו. תשובה משפטית לרוב אינה נמצאת במסמך אחד, אלא בקשר בין כמה מסמכים. תיקייה עשויה להכיל שישים קבצים: הסכם אב, שתי תוספות, מכתב צדדי, קומץ לוחות זמנים וטיוטות מוחלפות שאיש לא מחק. תקופת ההודעה בהסכם האב תקפה עד שתוספת משנה אותה. שיפוי עשוי להיות מוגבל על ידי לוח זמנים שכותרתו לא אומרת דבר על שיפויים. סעיף שנראה מכריע בפני עצמו עשוי להיות מצומצם, מורחב או מבוטל על ידי מסמך אחר באותה תיקייה. לכן, אינך יכול לדעת אילו מסמכים חשובים עד שתבחן את כולם. שום אינדקס לא עוזר, כי אינך מאחזר שורה – אתה מבצע התאמה של קבוצה. עם כלים קבועים, האסטרטגיה היחידה היא למשוך את כל שישים המסמכים לחלון ההקשר ולתת למודל להשוות ביניהם. זה לא חוסר יעילות שאפשר לייעל; זה המהלך היחיד שמערכת הכלים מאפשרת, וזה המהלך שממלא את החלון.
מצב קוד לסוכן, ומה זה עולה
הדפוס אליו התכנסה התעשייה הוא מתן אפשרות למודל לכתוב קוד. TypeScript או Python שמתבצעים בתוך מתורגמן קוד, כשהתוצאה של ההרצה חוזרת במקום הנתונים הגולמיים. זו תשובה טובה באמת לשתי הבעיות. הסינון מתבצע בתוך התוכנית ולא בתוך חלון ההקשר, ו-N נסיעות הלוך-חזור מצטמצמות לאחת. העלות היא שאתה כעת מריץ קוד שרירותי שדגם כתב. זה אומר שצריך ארגז חול, מדיניות מערכת קבצים, כללי יציאה (egress), מגבלות משאבים ומודל איומים המכסה את כל זה. צוותים רבים מפיצים פתרונות כאלה ועושים זאת היטב. במוצר שבו המידע המעובד הוא חוזה סודי של לקוח, זה מוסיף הרבה משטחי תקיפה חדשים.
איור 2. דפוס מצב קוד סוכן באמצעות מתורגמן קוד לביצוע קוד שרירותי.
מצב קוד עם מסדי נתונים
אז הסוכן כותב תוכנית – רק לא קוד רגיל. הוא מחבר MongoDB aggregation pipeline. מטפל מצידנו מאמת אותו, מוסיף מסנן שכירות, מבצע אותו מול מסמכי סביבת העבודה ומחזיר את התוצאה. חמשת החיפושים הרציפים הופכים לצינור אחד: צמצום לסביבת העבודה, $unwind לסעיפים, $match לפי סוג הסעיף, $project רק לשדות הדרושים, ו-$group חזרה לפי מסמך. נסיעה אחת הלוך-חזור. מה שחוזר הוא כמה מאות בתים שעוצבו לשלב הנימוק הבא, ולא הקורפוס שממנו הם חושבו.
איור 3. מצב קוד עם דפוס מסדי נתונים באמצעות צינור צבירה מאומת במקום מתורגמן.
המקרה של שישים מסמכים הוא באותו מבנה, וזו הנקודה. צינור אחד נוגע בכל קובץ בתיקייה, שולף רק את הסעיפים הרלוונטיים לשאלה, ומחזיר אותם לצד מסמך המקור שלהם – כך שהמודל מקבל את ההשוואה ולא את חומרי הגלם שמהם עליו להרכיב השוואה. העבודה על פני מסמכים מרובים מתרחשת היכן שהמסמכים נמצאים. ללא מתורגמן, ללא תהליך בארגז חול, ללא API למערכת הקבצים. התוכנית היא JSON וזמן הריצה הוא מנוע הצבירה. זהו הטרייד-אוף: אתה שומר על קומפוזיציה, סינון במקור וטרנספורמציה לפני הוצאת טוקנים, אך מוותר על הרצת קוד שרירותי. ואתה יכול להרשות לעצמך לוותר על זה, כי השפה קטנה מספיק כדי לאפשר רשימת היתרים (allow-list) ממצה.
מדוע זה עובד עם MongoDB במיוחד
זה עובד משתי סיבות, וכדאי להפריד ביניהן כי רק אחת מהן קשורה למסד הנתונים.
המודל כבר מכיר את השפה. התחביר של aggregation pipeline מיוצג היטב בחומר שעליו אומנו המודלים הללו. אנחנו לא מלמדים את הסוכן DSL של שאילתות מותאם אישית שהמצאנו ומקווים שהוא יכליל, אלא מבקשים ממנו לכתוב משהו שהוא ראה הרבה פעמים. מצבי הכשל הם אלו שכל מפתח MongoDB יזהה, מה שאומר שגם הם אלו שאנחנו יודעים כיצד לתפוס.
במקרה זה, מודל המסמך ומודל האבטחה משתלבים היטב. חוזים הם מסמכים עם סעיפים מקוננים, כך ש-$unwind ו-$project מגיעים אליהם ישירות. אותה שאלה מול סכימה יחסית הייתה דורשת joins – ושלבי פעולה חוצי-אוספים הם בדיוק מה שאנחנו חוסמים, כי join הוא הדרך שבה שאילתה בורחת מהיקף השכירות שלה. בסכימה מנורמלת, הדבר שאנחנו הכי צריכים לאסור הוא הדבר שהשאילתה הכי תזדקק לו. כאן זה לא המצב. לקח לנו זמן להבחין בנקודה השנייה הזו, וזו הסיבה שרשימת ההיתרים יכולה להיות כה קצרה.
והסוכן משתמש במסגרת העבודה היטב. זה החלק שלא ציפיתי לו. זה עובד בשני מעברים: צינור ראשון כדי לראות מה באמת יש בנושא, ואז שני, ממוקד שנכתב על סמך מה שנמצא. הצינור הממוקד הוא לרוב גדול – חמישים או שישים אופרטורים משולבים – והוא מחזיק מעמד. אנחנו מורים לו להיות יעיל בטוקנים, ומה שזה מפיק הוא החלק המעניין: הוא משתמש ב-$limit כדי לבצע עימוד (pagination) במקום למשוך הכל, ומשתמש ב-$addFields כדי לחשב את התוצאה שביקשנו במקום להחזיר את החומר הגולמי; למשל, שרשור שדות למחרוזת שהתשובה דורשת, או הרכבת ביטוי בוליאני שחוזר כ-true או false. ההרגל האחרון הזה הוא כל הטיעון על רגל אחת: השאלה האם מסמך כלשהו בתיקייה מכיל שיפוי ללא מכסה יכולה להחזיר ערך בוליאני שמחושב במסד הנתונים, במקום את סעיפי השיפוי של שישים מסמכים שהמודל היה צריך לקרוא ולהשוות. ההשוואה עדיין מתרחשת, היא פשוט לא מתרחשת בחלון ההקשר.
תשעה שלבים
אוצר המילים המותר הוא $match, $unwind, $project, $group, $sort, $limit, $skip, $count ו-$addFields. כל מפתח ברמה העליונה של כל שלב נבדק, ודחייה מחזירה שגיאה מובנית המציינת את האופרטור הבעייתי ומפרטת את הסט המותר. מה שזה קונה הוא מוחשי: $out ו-$merge נדחים, כך שהכלי הוא לקריאה בלבד מעצם המבנה שלו ולא רק מוסכמה. $lookup, $graphLookup ו-$unionWith נדחים, כך ששאילתה לא יכולה להגיע לאוסף אחר. שלבי התבוננות פנימית בשרת נדחים. כאן טמון החלק שהפתיע אותנו: הגבלת השפה היא לא רק בקרת אבטחה, אלא גם בקרת הנדסת פרומפטים. אוצר מילים של תשעה שלבים קטן מספיק כדי להיכנס, יחד עם דוגמאות עבודה ואנטי-דפוסים, למסמך שהמודל קורא לפני כל סשן. אוצר מילים של ארבעים שלבים לא ייכנס. התכונה שהופכת את פני השטח לניתנים לביקורת היא אותה תכונה שהופכת אותם לניתנים ללמידה.
המסנן שאליו הדגם לא יכול להגיע
לכל צינור מתווסף מסנן שכירות לפני שהוא רץ. מזהה סביבת העבודה אינו פרמטר של הכלי – הוא נתפס כאשר השרת נבנה עבור אותה שיחה, כך שאין למודל מה לספק, לראות או לזייף. מכיוון ששלבים חוצי-אוספים חסומים, שאילתה לא יכולה לעקוף זאת. המסנן הזה גם לא כולל מסמכים שעיבודם נכשל, מכיוון שלמסמך שנכשל אין טקסט מחולץ לנמק מעליו. זה מיושם בקבוע אחד בעל שם, עם הערה שמסבירה מדוע צרכן אחר במקום אחר שומר בכוונה את אותם מסמכים כדי שהממשק יוכל להציג אותם. שני צרכנים, שתי תשובות נכונות, קבוע אחד משותף – כדי שאף אחד לא יטעה בהגדרתו מחדש. זהו הטיעון החזק ביותר שיש לי לביצוע בצד השרת לעומת הרצת מתורגמן. האינווריאנט נאכף במקום אחד ב-TypeScript שנבדק, ולא מוסק מחדש על ידי המודל בכל תוכנית שהוא כותב.
מלמדים אותו את השפה
ניסינו תחילה את הגישה המובנית. מודלים אכן כותבים MongoDB, אך הם לא עושים זאת היטב. השאילתות עבדו אך היו לא יעילות, והן נכתבו כנגד גרסת MongoDB של לפני כמה שנים – אופרטורים חדשים יותר פשוט לא היו בתמונה. לכן כתבנו את ההפניה בעצמנו: מיומנות שהסוכן חייב לטעון לפני שהוא כותב שלב בודד. היא כוללת חוזי כלים, סוגי מסמכים, מבנה סעיפי חוזה, דפוסים מוכנים להתאמה, אנטי-דפוסים מפורשים וטבלאות אופרטורים. היא מונה 851 שורות, והיא אינה אופציונלית. כמו כן, אסור לו לכתוב כנגד סכימה שזכר מהעבר. תחילה סיכום, לאחר מכן פרטים עבור המסמכים החשובים, ואז שאילתה המשתמשת בנתיבי שדות שנלקחו מאותה תגובה. ההוראה בוטה: אל תנחש שמות שדות. חלק ממה שנמצא במיומנות הזו הוא תוצאה של "צלקות" מכישלונות עבר, ואלו השורות הכי חשובות. אחת מהן אומרת: אל תעביר את הדגל הגלובלי ל-$regexFindAll; הוא מוצא את כל ההתאמות ממילא, והדגל יגרום לשגיאה. זהו כישלון ייצור שזוקק למשפט אחד, וכעת נקרא לפני כל סשן. המיומנות היא המקום שבו ניתוח לאחר המוות (post-mortems) הופך למניעה.
מה זה קנה לנו: מודיעין מסמכים
בחבילת ההערכה שלנו, הדיוק השתפר בכ-20% בערך. יותר שימושי מהאחוזים: מקרים שמעולם לא עברו החלו לעבור. קל להתווכח עם מספר שמשתנה; קשה להתווכח עם מבחן שהיה אדום והפך לירוק. הנתון הזה זקוק לנקודת התייחסות, כי כשלעצמו, אחוז אומר מעט מאוד. מניסיוננו, שינוי פרומפט מוצלח או מיומנות כתובה טוב יותר משפרים את האיכות המשפטית ב-5-6 נקודות – וזה נחשב יום עבודה טוב. עשרים נקודות, שנובעות משינוי האופן שבו הסוכן מקבל את הנתונים שלו (ולא רק איך הוא מנמק אותם), הן לא תמורה שאנחנו רואים בדרך כלל עבור כמות מאמץ כזו.
מאדום ועד חולפים
כדי להעריך את היכולת הזו באופן ספציפי, בנינו בנצ'מרק סביב תרחיש משפטי מאתגר: תיק פיקטיבי הכולל למעלה מחמישים קבצים. זהו סוג של קורפוס מסיבי שמהווה אתגר גם לאיש מקצוע משפטי וגם לפתרון משפטי מבוסס סוכן. בעבודה לצד מומחי התחום המשפטי שלנו ב-Genie AI, קבענו תשעה פרמטרי אימות קפדניים: זיהוי מדויק של הישות המתקשרת, קביעת חלונות הודעה מוקדמת, הימנעות מייחוס שגוי של סעיפים בין מסמכים, ועוד שישה אילוצים מקבילים.
הניקוד היה קטגורי בהחלט: נפגש, נפגש חלקי, לא נפגש.
קריאה וכלים קשורים
אבטחת MongoDB- MongoDB Atlas Security — בקרות רשת וזהויות, הצפנה וביקורת ב־Atlas; ביקורת זמינה רק בתוכניות מתאימות.
- NoSQLMap — כלי בדיקות NoSQL לשימוש מורשה בלבד; פעילות מאגר אומתה בפברואר 2026, אך המהדורה ישנה ונדרשת בדיקת התאמה.
- אבטחת נתוני תשלומים ב-MongoDB לפי תקן PCI DSS
- MongoDB מאפשרת זיכרון ארוך טווח לסוכני AI מבוססי Strands
- פרצה ב-MongoDB: תוקף ללא הרשאות יכול להפיל שרתים