חדש ב-MongoDB: מודלים יעילים יותר לחיפוש סמנטי
אמ;לק
MongoDB משיקה את LEAF, מסגרת עבודה חדשה למודלי טקסט חכמים שמאפשרת לבצע חיפושים חכמים באפליקציות שלכם בצורה מהירה וקלה יותר.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: LEAF: Distillation of State‑of‑the‑Art Text Embedding Models

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
ב-MongoDB Research, אנו בוחנים כיצד להפוך מודלי AI חדשניים לקטנים, מהירים וגמישים יותר.
בפוסט זה בבלוג, אנו מציגים את LEAF (Lightweight Embedding Alignment Framework ), מסגרת זיקוק ידע חדשה למודלים של הטבעת טקסט.
אנחנו גם משחררים שני דגמי הטבעה מהטובים בכיתה שהוכשרו עם LEAF:
• mdbr-leaf-ir — מודל בעל 23M פרמטרים המותאם למשימות ממוקדות אחזור כמו חיפוש סמנטי ויצירת טקסט מבוססת אחזור (RAG).
• mdbr-leaf-mt — מודל בעל 23M פרמטרים המותאם ליישומי NLP רחבים יותר כגון סיווג, אשכולות (clustering) ודמיון משפטים.
דגמים אלו מתאימים לפריסות CPU-only (ללא GPU), כמו גם IoT ומכשירים ניידים, ללא צורך בחיבור לאינטרנט.
הערה: אנו מפרסמים את המודלים הללו ואת המתכון המשמש להכשרתם כתרומה לקהילת הקוד הפתוח. הם פותחו על ידי צוות ML של MongoDB Research. הדגמים מתפרסמים תחת רישיון מתירני Apache 2.0 ומוצעים כפי שהם, ללא כל תמיכה מפורשת או משתמעת. בזמן כתיבת שורות אלה, הם אינם בשימוש באף אחד מהמוצרים או הצעות השירות המסחריות של MongoDB.
האתגרים
מודלים מודרניים של הטבעת טקסט הביאו רווחים עצומים במשימות עיבוד שפה טבעית, מתשובות לשאלות ועד RAGs. אבל לרווחים האלה יש מחיר:
• גדלי המודלים מזנקים. מודלי הטבעה מתקדמים בעלי משקולות פתוחות יכולים לנוע בין מאות מיליונים למיליארדי פרמטרים (למשל, 1B או 7B+). בעוד שמודלים אלה יכולים להציע דיוק גבוה, הם בדרך כלל דורשים הרצה על שרתי GPU, מה שהופך אותם לבלתי מעשיים עבור פריסות רבות.
• פריסות לא גמישות. במערכות אחזור מידע (IR), אותו מודל גדול משמש בדרך כלל הן לאינדוקס מסמכים והן לקידוד שאילתות — למרות שלשלבים אלה יש דרישות ביצועים שונות מאוד. אינדוקס מסמכים מתרחש לעיתים רחוקות ומאפשר שיהוי (latency) גבוה, בעוד שהטמעה בזמן שאילתה חייבת לעמוד ביעדי שיהוי קפדניים — המבוטאים לעיתים קרובות כ-P99 או tail latency — שבהם אפילו השאילתות האיטיות ביותר חייבות להחזיר תוצאות בתוך כמה מאות אלפיות השנייה.
• קושי בהחלפת מודלים. מודלי הטבעה קיימים אינם תואמים זה לזה — אפילו גדלים שונים בתוך אותה משפחה — כך שהחלפת מודלים דורשת חישוב מחדש של כל הטמעות המסמכים מאפס.
• אילוצים אלה מקשים על הרחבת מערכות אחזור בעלות ביצועים גבוהים, במיוחד כאשר הם פועלים בקנה מידה גדול או תחת דרישות חומרה ושיהוי מחמירות.
איך LEAF עובד
LEAF היא טכניקת זיקוק ידע שלוקחת מודל "מורה" גדול יותר ומוציאה גרסה קטנה יותר שלו - מודל "תלמיד".
מה שחדשני ב-LEAF הוא שהמודלים של התלמידים שהיא מייצרת תואמים למורים הגדולים יותר שלהם, כלומר, הטמעות הטקסט המיוצרות על ידי השניים פועלות הדדית.
זה מושג באמצעות תוכנית אימון שמטרתה היחידה היא לגרום למודל ה"תלמיד" להתקרב למרחב ההטמעה שמייצר מודל ה"מורה". עבודות מוקדמות [1] שהציעו אסטרטגיות זיקוק ניסו למקסם את מספר החלקים הפנימיים של מודלים של מורים ותלמידים שיש ליישר. זה כלל יישור מטריצות קשב (attention matrices) כמו גם מצבים נסתרים (hidden states) של כל השכבות וכל ראשי הקשב של התלמיד. עבודות מאוחרות יותר [2, 3] הראו שניתן להשיג תוצאות טובות יותר על ידי הימנעות מיישור יתר של כל השכבות, למשל על ידי התמקדות בשכבה האחרונה של ה-Transformer בלבד. אנו לוקחים את השיעור הזה הלאה ומציעים ליישר רק את התפוקות של המורה והתלמיד. באופן ספציפי, אנו מציעים להשתמש ב-L2 loss הבא עבור שגיאת הקירוב בין הטמעות הפלט של התלמיד והמורה:
מוקדם יותר השנה, פרסמנו פרטים על ארכיטקטורת המודל, נתוני האימון ומשטר האימונים בדוח הטכני שלנו [4].
תאימות המודלים פותחת פתח לארכיטקטורות א-סימטריות גמישות חדשות שבהן, למשל, ניתן להטמיע מסמכים באמצעות מודלים גדולים ויקרים יותר, בעוד ששאילתות יכולות לעבור קידוד על ידי מודלים מקומיים ומהירים של LEAF, כפי שמוצג באיור 1.
• אין צורך בנתונים מסומנים (labeled data). עם LEAF, השגת נתוני אימון היא פשוטה ביותר. זאת בניגוד לטכניקות אימון מסורתיות המבוססות על contrastive loss, הדורשות מה שמכונה "שיפוטים" (judgments) ודוגמאות שליליות קשות (hard negatives).
• דרישות תשתית אימון צנועות. בעוד ששיטות קודמות מעדיפות או אפילו דורשות עבודה עם גדלי אצוות (batch sizes) גדולים — כלומר הן דורשות אשכול של GPUs כדי לאמן — LEAF מעדיפה אצוות קטנות. כתוצאה מכך, הצלחנו לאמן את הזיקוקים שלנו על גבי GPU מסוג A100 יחיד.
• ירושה אוטומטית של תכונות מתקדמות. LEAF מודלים יורשים אוטומטית מאפיינים כמו MRL וחוסן לכימות פלט מהמורה, ללא הכשרה מפורשת עבורם.
להלן אנו מדגימים כי LEAF יכול לייצר מודלים השומרים על עד 97% מהביצועים של המורה שלהם, בעוד שהם קטנים פי 5–15 ומהירים פי 7–24.
שני דגמים, שתי תוצאות מתקדמות
כדי להדגים את LEAF בפעולה, אנו משחררים שני מודלי הטמעת טקסט קומפקטיים מהטובים מסוגם, שניהם זמינים ב-Hugging Face תחת רישיון Apache 2.0. המודל mdbr-leaf-ir תוכנן במיוחד עבור משימות Information Retrieval (IR), כגון שלב האחזור בצינורות (pipelines) של RAG. כרגע הוא מדורג במקום הראשון בטבלאות ה-MTEB הציבוריות של מדדי ה-BEIR ו-RTEB עבור מודלים עם ≤100 מיליון פרמטרים. הוא זוקק מהמודל snowflake-arctic-embed-m-v1.5.
המודל mdbr-leaf-mt, לעומת זאת, מצטיין במשימות כלליות כמו סיווג, אשכולות, דמיון משפטים וסיכום. כרגע הוא מדורג במקום הראשון ב-Leaderboard הציבורי עבור מדד MTEB v2 (Eng) עבור מודלים עם ≤30 מיליון פרמטרים. הוא זוקק מהמודל mxbai-embed-large-v1.
מודלים אלה הם בחירה מצוינת בתרחישי פריסה שבהם GPU אינו זמין או אינו חסכוני. זה כולל שרתי CPU-only, כמו גם מכשירי IoT ומכשירים ניידים. מכיוון שהם פועלים על החומרה שלך, הם אינם דורשים חיבור לאינטרנט.
תפוקות טיפוסיות המתקבלות במופע של 2vCPUs הם 120 queries/sec ו-20 docs/sec, בהתאמה. טביעת הרגל של הזיכרון של גרסאות הדיוק המלא היא 87MB. מספר קוונטיזציות זמינות כדי להגדיל עוד יותר את התפוקה ולהקטין את טביעת הרגל של הזיכרון.
מעבר להצעת ביצועי אחזור מובילים לגודלם, שני המודלים מצוידים ב-MRL וחוסן לכימות (quantization) פלט. ניתן לבצע להם כוונון עדין (fine-tuning) על נתונים ספציפיים לדומיין כדי לשפר עוד יותר את הביצועים.
הם מתאימים היטב לעבודה עם בסיס נתונים וקטורי (כגון MongoDB Vector Search ב-Community Edition) כדי להניע את אפליקציית ה-AI הבאה שלך.
גם mdbr-leaf-ir וגם mdbr-leaf-mt זמינים היום לציבור ב-Hugging Face תחת Apache-2.0. ניתן להשתמש בהם באמצעות sentence_transformers, Transformers.js ו-Transformers . אנו מעודדים את קהילת המחקר לבדוק גם את פרדיגמת ההדרכה המוצעת שלנו, המפורטת בדוח הטכני שלנו [4]. ספר לנו מה אתה חושב!
הפניות
• [1] Xiaoqi Jiao, Yichun Yin, Lifeng Shang, Xin Jiang, Xiao Chen, Linlin Li, Fang Wang, ו-Qun Liu. TinyBERT: Distilling BERT for Natural Language Understanding. בתוך Findings of the Association for Computational Linguistics: EMNLP, 2020.
• [2] Wenhui Wang, Furu Wei, Li Dong, Hangbo Bao, Nan Yang, ו-Ming Zhou. MiniLM: Deep self-attention distillation for task-agnostic compression of pre-trained transformers. בתוך Advances in neural information processing systems, 2020.
• [3] Victor Sanh, Lysandre Debut, Julien Chaumond, ו-Thomas Wolf. DistilBERT, גרסה מזוקקת של BERT: קטנה יותר, מהירה יותר, זולה יותר וקלה יותר. https://arxiv.org/abs/1910.01108, 2020.
• [4] Vujanic, Robin, ו-Thomas Rueckstiess. "LEAF: Knowledge Distillation of Text Embedding Models with Teacher-Aligned Representations." arXiv preprint arXiv:2509.12539 (2025).
• Hugging Face Models: mdbr-leaf-ir ו-mdbr-leaf-mt
*במונחי תפוקה (מסמכים או שאילתות לשנייה), נמדד במופע EC2 i3.large. פרטים בדוח הטכני.
קריאה וכלים קשורים
אבטחת MongoDB- MongoDB Atlas Security — בקרות רשת וזהויות, הצפנה וביקורת ב־Atlas; ביקורת זמינה רק בתוכניות מתאימות.
- NoSQLMap — כלי בדיקות NoSQL לשימוש מורשה בלבד; פעילות מאגר אומתה בפברואר 2026, אך המהדורה ישנה ונדרשת בדיקת התאמה.
- אבטחת נתוני תשלומים ב-MongoDB לפי תקן PCI DSS
- MongoDB מאפשרת זיכרון ארוך טווח לסוכני AI מבוססי Strands
- פרצה ב-MongoDB: תוקף ללא הרשאות יכול להפיל שרתים