חזרה לפיד
articlesמקור: MongoDB Official Blog (general)21.10.2026

כלי חדש לשיפור התקשורת בין מודלי AI לבסיסי נתונים

אמ;לק

הצגת כלי בשם AptMQL-Bench שעוזר למודלי שפה לתרגם בקשות אנושיות לשפת השאילתות של MongoDB בצורה מדויקת יותר.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Introducing AptMQL-Bench: A Text-to-MQL Benchmark

כלי חדש לשיפור התקשורת בין מודלי AI לבסיסי נתונים

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

מודלי שפה גדולים (LLMs) משמשים יותר ויותר כמתווכים בין אנשים לבין הנתונים שלהם, בין אם במתן תשובות בממשקי צ'אט ובין אם כסוכנים המבצעים שאילתות ישירות מול מסדי נתונים. כך או כך, על המודל לתרגם את הבקשה בצורה מהימנה לשפת השאילתות שבה משתמש מסד הנתונים.

בתחום ה-SQL, ההתקדמות במשימה זו הונעה על ידי מדדים (Benchmarks) גדולים כגון BIRD 1 ו-Spider 2. לעומת זאת, MQL, שפת השאילתות של MongoDB, זכתה לפחות תשומת לב, על אף היותו של MongoDB אחד ממסדי הנתונים הפופולריים והנפוצים ביותר בעולם.

בפוסט זה אנו מציגים את AptMQL-Bench (Access-Patterns-Based Text-to-MQL), מדד Text-to-MQL שנוצר באמצעות המרה של מערכי נתונים קיימים מסוג Text-to-SQL. אנו מציגים גם את צינור ההמרה (pipeline) מונחה-הסוכנים ששימש ליצירתו.

• AptMQL-Bench: מערך הנתונים למדד. הוא מורכב מ-21 מסדי נתונים חדשים ב-MongoDB יחד עם 3,186 בקשות בשפה טבעית, שהוסבו מ-BIRD 1, ומשתרעים על פני תחומים כמו מסחר, מדע, ספורט ופיננסים.

• דוח טכני המתאר את צינור ההמרה שהצענו, הכולל עיצוב סכימה מבוסס דפוסי גישה, העברת נתונים תוך שמירה על שלמותם, ותרגום מ-SQL ל-MQL.

• סקריפט הערכה, הכולל את מדד דיוק הביצוע הרך (Soft-EX) שהצענו.

האתגרים

גישות קיימות ל-Text-to-MQL נוקטות באחד משני מסלולים. מערך הנתונים NL-to-mongosh 3 מתחיל מנתוני MongoDB מקוריים, ומזווג 766 בקשות שנוצרו באופן סינתטי עם שמונה מסדי הנתונים לדוגמה של MongoDB Atlas. עבודות אחרות ממירות מערכי נתונים קיימים של Text-to-SQL באופן מכני: DocSpider 4 ממפה כל טבלת יחסים לאוסף (collection) אחד-לאחד, בעוד ש-TEND-v2 5 וההרחבה הרב-לשונית שלו MultiTEND 6 מטמיעות טבלאות לאורך מפתחות זרים (FK).

עם זאת, ביצוע המרות אלו בצורה תקינה אינו טריוויאלי. במיוחד, דנורמליזציה מכנית לאורך מפתחות זרים עלולה להיות שבירה. בניסויים שלנו, שלושה מתוך 24 מסדי נתונים נכשלו בתהליך ההעברה עקב רקורסיה אינסופית במפתחות עם הפניה עצמית, בעוד ששלושה אחרים יצרו מסמכים בודדים כה גדולים עד שלא עמדו במגבלת 16 MB של MongoDB. בנוסף, בשמונה מסדי נתונים אחרים, שורות שהמפתחות הזרים שלהן לא הובילו להורה קיים הושמטו בשקט, מה שהוביל לאובדן של עד 25.9% מהשורות במקרה הגרוע ביותר.

לבסוף, כפי שנראה להלן, המרות אלו מובילות גם לסכמות עם מאפייני מדרגיות גרועים.

צינור ההמרה המוצע שלנו

כפי שמוצג באיור 1, אנו מתייחסים לעיצוב הסכימה כשלב ראשון במעלה, ולאחר מכן משכללים את העיצוב תוך כדי העברת הנתונים. הצינור מונע על ידי סוכני קידוד (למשל, Claude Code) עם סקירה אנושית בנקודות ביקורת איכות ייעודיות, והוא פועל בשלושה שלבים.

איור 1. צינור ההמרה: עיצוב סכימת מסמכים, העברה ואימות, ותרגום SQL-to-MQL. כל שלב מונחה על ידי סוכן קידוד עם סקירה אנושית בנקודות ביקורת האיכות.

1. עיצוב סכימה מבוסס דפוסי גישה. בהינתן מסד הנתונים המקורי ב-SQLite ותיאורי העמודות שלו, סוכן מסיק תחילה מהו היישום בעולם האמיתי שמסד הנתונים משרת ואילו דפוסי גישה הוא עשוי לייצר. לאחר מכן, הסוכן מעצב סכימה רעיונית ברמה גבוהה (אילו אוספים קיימים וכיצד הם קשורים), וסכימה לוגית מפורטת, המציינת את השדות, סוגי הנתונים והמיפויים ממסד הנתונים המקורי עבור כל אוסף. שניהם עוקבים אחר מדריך עיצוב שאצרנו משלושה קורסים של MongoDB University. לאחר מכן, סוקר אנושי מאשר כל בחירה במידול ומוודא שניתן לשלוף את כל טבלאות המקור מהעיצוב.

גישה זו מבטיחה שהסכימות המתקבלות עומדות בכלל הזהב של ⁦MongoDB⁩ לעיצוב סכימה: יש לאחסן נתונים שניגשים אליהם יחד.

2. העברה ואימות. כדי לזהות שגיאות או השמטות בעיצוב הסכימה ובקוד ההעברה, הסוכן מריץ שלוש בדיקות אוטומטיות לאחר כל העברה: (1) שאילתות מעל כל אוסף MongoDB מאחזרות את אותם הנתונים כמו השאילתות המקבילות מעל טבלאות ה-SQL המקוריות, (2) הפניות בין אוספים מצביעות על מסמכים קיימים, ו-(3) דבר לא נשאר מאחור בצד ה-SQLite. כל כשל בבדיקות אלו מוצג לסוקר אנושי, שעובד יחד עם הסוכן כדי לתקן את העיצוב או את קוד ההעברה. אנו חוזרים על התהליך עד שכל הבדיקות עוברות בהצלחה.

3. תרגום מ-SQL ל-MQL ואופטימיזציה. כל שאילתת SQL מהמדד המקורי מתורגמת ל-MQL על ידי סוכן, שמשכתב את התרגום עד שבדיקות אוטומטיות מאשרות ששתי השאילתות מחזירות תוצאות זהות. התרגומים שעוברים את הבדיקה הם נכונים, אך לעיתים קרובות הם עדיין בעלי מבנה יחסי (relational). לדוגמה, הם עשויים להכיל שלבי $lookup מיותרים השולפים מסמכים שכבר מוטמעים. מעבר שני משכתב אותם לשימוש ישיר בשדות מוטמעים ובצבירות מחושבות מראש; 1,444 שאילתות MQL (45.32%) עברו אופטימיזציה בדרך זו, וסוקר אישר שכל אחת מהן שקולה לתרגום המקורי. עדות הידע החיצוני של BIRD משוכתבת באותה רוח, כך שהפניות השדות שלה מצביעות על נתיבי MongoDB במקום על עמודות SQL, וכל עדות משוכתבת נבדקת על ידי סוקר מול ה-MQL המדויק.

החשיבות של עיצוב סכימה

אנו משווים את המאפיינים של סכמות המיוצרות על ידי גישת עיצוב דפוס הגישה שלנו מול שתי האסטרטגיות המכניות על אותם נתוני מקור.

טבלה 1. תוצאות העברת מסדי נתונים. 24 מסדי נתונים: 21 מסדי הנתונים מ-BIRD הכלולים ב-AptMQL-Bench ועוד 3 מסדי נתונים מ-Spider ששימשו בניסויי המדרגיות.

המיפוי אחד-לאחד הוא ללא אובדן נתונים מעצם הגדרתו: כל שורה הופכת למסמך משלה, אך התוצאה רק משקפת את הסכימה היחסית, במחיר שאנו מודדים להלן. הטמעה מבוססת מפתחות זרים נכשלת לחלוטין ב-6 מתוך 24 מסדי נתונים, וב-8 מקרים נוספים ההעברה כרוכה באובדן נתונים.

בנוגע לזמן הביצוע, מצאנו שביצועי שלושת העיצובים נבדלים ככל שגודל מסדי הנתונים גדל. כדי למדוד זאת, לקחנו שלושה מסדי נתונים מ-Spider (bike_1, car_1, ו-pets_1) ו-11 מסדי נתונים מ-BIRD. לאחר מכן הרחבנו כל מסד נתונים על ידי הוספת שורות סינתטיות (ראו את המאמר שלנו לפרטים נוספים על הליך זה), והשגנו גרסאות שונות של מסדי נתונים אלו בגדלים של עד ~200 MB.

איור 2. זמן ביצוע של אמת הקרקע ⁦MQLs⁩ ככל שגודל מסד הנתונים גדל (לוג-לוג, ממוצע בין מסדי נתונים), עבור כל אסטרטגיית המרה.

איור 2 מציג את זמני הביצוע המתקבלים. ב-200 ⁦MB⁩, דפוס הגישה ⁦MQLs⁩ פועל בערך פי 11 מהר יותר מהטמעת מפתח זר ובערך שני סדרי גודל מהיר יותר מהגירה של אחד לאחד במערך הנתונים של ⁦Spider⁩. ב-⁦BIRD⁩, המהירות מעל אחד לאחד גדלה מסביבות 40× במסדי הנתונים המקוריים ל-77× ברגע שהם מגיעים לגדלים הגדולים ביותר שנחקרו.

תוצאות אלו מדגימות את היתרונות של עיצוב הסכימה מונעת עומס העבודה שדוגלת בעבודה זו.

השוואת ביצועים ⁦LLMs⁩

הערכנו שמונה מודלים בסך הכל (חמישה בעלי משקל פתוח, שלושה קנייניים), כל אחד עם ובלי עדות הידע החיצוני של ⁦BIRD⁩.

טבלה 2. דיוק ביצוע רך (Soft-EX) ב-AptMQL-Bench. התוצאות המלאות, כולל שיעור הצלחת הביצוע ו-Strict-EX, נמצאות במאמר המלא.

התוצאות מראות שהמדד מאתגר עבור כל דגם. המודל החזק ביותר, ⁦Claude Opus⁩ 4.5, מגיע רק ל-57.38% ⁦Soft⁩-⁦EX⁩ ללא ידע חיצוני ו-70.34% איתו. ידע חיצוני עוזר לכל מודל, ומוסיף 12-19 נקודות.

חלק מהמודלים העדכניים ביותר (Gemma 4 ומשפחת המודלים Claude) מייצרים MQL שניתן להרצה ב-98–99% מהמקרים, מה שמאשר ש-MQL לא תקין הופך לנדיר יותר ויותר, ושהקושי הנותר הוא סמנטי ולא תחבירי.

מדוע אנחנו משתמשים במדד Soft-EX

במדדים שהושאלו מ-Text-to-SQL, דיוק ביצוע קפדני (Strict-EX) דורש שהתוצאה המוחזרת תהיה זהה לתוצאת הזהב שדה-אחר-שדה. לפיכך, חיזוי שמחזיר את כל המסמך במקום שדה בודד מסומן כשגוי, למרות שהוא מכיל את התשובה הנכונה, ולמרות שהחזרת המסמך היא הדרך האידיומטית לעבודה ב-MongoDB.

לכן אנו מציעים דיוק ביצוע רך (⁦Soft⁩-⁦EX⁩): חיזוי נכון אם הוא מחזיר את אותן שורות כמו תוצאת הזהב, עם ערכים תואמים עבור כל שדה אמת. שדות נוספים מותרים, אך שורות נוספות או חסרות וערכים שגויים אינם מתאימים.

טבלה 3. הדוגמאות הבאות ממחישות את ההבדל בין ⁦Strict⁩-⁦EX⁩ ו-⁦Soft⁩-⁦EX⁩.

עם ידע חיצוני, ⁦Opus⁩ 4.5 מקבל ציונים של 50.44% תחת ⁦Strict⁩-⁦EX⁩ אך 70.34% תחת ⁦Soft⁩-⁦EX⁩. כדי לאשר שהפער הזה נובע רק משדות נוספים, בדקנו ידנית את כל 634 השאילתות שבהן שני המדדים לא מתאימים, מה שמכסה כל תחזית ש-⁦Soft⁩-⁦EX⁩ מקבלת אך ⁦Strict⁩-⁦EX⁩ דוחה.

בכל מקרה, התחזית החזירה את אותן שורות כמו תוצאת הזהב, עם ערכים תואמים עבור כל שדה זהב, והייתה שונה רק על ידי הכללת שדות נוספים. Strict-⁦EX⁩ לפיכך מסמן את התחזיות הללו שגויות למרות שהן מכילות את תשובת הזהב השלמה.

השלבים הבאים

• מדד ומסדי נתונים: מערך הנתונים ב-Hugging Face

• הנחיות צינור ההמרה ותסריטי הערכה נמצאים כאן

הפניות

• 1 Jinyang Li ועוד. 2023. Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs. פורסם ב-Advances in Neural Information Processing Systems, 36:42330–42357.

• 2 Tao Yu ועוד. 2018. Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task. ב-Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, עמודים 3911–3921, בריסל, בלגיה. Association for Computational Linguistics.

• 3 MongoDB Education AI. 2025. Natural Language to MongoDB Shell (mongosh) Benchmark. מערך נתונים ב-Hugging Face. https://huggingface.co/datasets/mongodb-eai/natural-language-to-mongosh

• 4 ⁦Arif G⁩örkem Özer, ⁦Recep Firat Cekinel⁩, ⁦Ismail Hakki Toroslu⁩, ו-⁦Pinar Karagoz⁩. 2025. DocSpider: A ⁦Dataset of Cross-Domain Natural Language Querying for MongoDB⁩. ⁦Natural Language Processing⁩, 31(6):1367–1398.

• 5 Jinwei Lu, Yuanfeng Song, Zhiqian Qin, Haodi Zhang, Chen Zhang, ו-Raymond Chi-Wing Wong. 2025. Bridging the Gap: Enabling Natural Language Queries for NoSQL Databases through Text-to-NoSQL Translation. Preprint, arXiv:2502.11201.

• 6 Zhiqian Qin, Yuanfeng Song, Jinwei Lu, Yuanwei Song, Shuaimin Li, ו-Chen Jason Zhang. 2025. MultiTEND: A Multilingual Benchmark for Natural Language to NoSQL Query Translation. ב-Findings of the Association for Computational Linguistics: ACL 2025, עמודים 24632–24657, וינה, אוסטריה. Association for Computational Linguistics.

#mongodb#llm#data-engineering
קרא במקור

קריאה וכלים קשורים

אבטחת MongoDBמונחי אבטחה והסברים בעברית