תכנון מבנה נתונים (Data Modeling) – יסודות
אמ;לק
הסבר בסיסי על ארגון נתונים בבסיס הנתונים. תכנון נכון הוא השלב הראשון בכל פרויקט אבטחת מידע – אם המבנה מסודר, קל יותר להטיל הרשאות ולהגן על המידע.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Data Modeling and Schema Design for MongoDB Search Part 1: Practical Considerations
.png)
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
מודל נתונים ב-MongoDB הוא האומנות והמדע של ארגון נתונים במסד נתונים כדי לייצג ישויות, תכונות ויחסים, ובכך לתמוך בצורה מיטבית ביעדים העסקיים.
ישנם שלושה סוגים של מודלי נתונים: קונספטואלי, לוגי ופיזי. מבחינה קונספטואלית, לצורך חיפוש, יש לנו תוכן שצריך להיות ניתן לאיתור ולדירוג. מבחינה לוגית, תוכן מופרד בדרך כלל לפי סוגי נתונים (למשל, ספרים ומשתמשי ספרייה הם סוגים שונים של ישויות במערכת), כאשר לכל סוג יש מערכת תכונות וקשרים משלו.
הרמה הבסיסית ביותר של מודל נתונים היא המקום שבו הגומי פוגש את הכביש, פשוטו כמשמעו – ברמה הפיזית. המודל הפיזי מורכב מעיצוב סכימה, המפרט כיצד הנתונים בנויים בתוך מסדי נתונים, אוספים (collections), רסיסים (shards), שדות, סוגי שדות ואינדקסים.
הגמישות המבנית של מודל המסמכים ב-MongoDB משאירה את מלאכת עיצוב הסכימה בידי המפתח, כדי ליצור את הפריסה הטובה ביותר עבור עומסי העבודה בהינתן אילוצי פיזיים, חומרה ותוכנה. דפוסי עיצוב צמחו מתוך זיקוק והפשטה של טכניקות מוצלחות להתמודדות עם צרכים נפוצים. וכמו בכל תוכנה, קיימים אילוצי מערכת שבמסגרתם החיפוש פועל.
מסמך זה משמש כשרטוט לעיצוב סכמות עבור דפוסי שימוש נפוצים אלה, הממנפים את הכוח של מערכת החיפוש הבסיסית ופועלים בגבולות המוטלים על ידי סביבות החומרה והתוכנה.
תוכן זה מחולק לשני חלקים. בחלק הראשון (Part 1), מפורטים השיקולים המעשיים, מושגי היסוד ואבני הבניין. בחלק השני (Part 2), מוצגים מקרי שימוש נפוצים בחיפוש לצד דפוסים שנוצרו כדי להתמודד איתם, כולל שיטות העבודה המומלצות הנוכחיות.
עומסי עבודה של מקרי שימוש
> פתגם עתיק במידול נתונים: "הקיבוץ האופטימלי של אובייקטים למסמכים נקבע על פי עומס העבודה."
התחנה הראשונה שלנו בעיצוב סכימה לחיפוש היא הבנת עומסי העבודה שהאפליקציה שלנו תדרוש מ-MongoDB Search. להלן מקרי השימוש הנפוצים, בהינתן בקשת חיפוש:
• תוצאות חיפוש בדפדוף רגיל (paged): החזרת המסמכים התואמים המובילים (כ-10), בסדר ממוין או לפי דירוג רלוונטיות, עם או בלי היבטים (facets).
• עיבוד כל המסמכים התואמים: מסמכים עשויים לעבור שלבי Pipeline עוקבים הזקוקים לכל מערך התוצאות כדי להמשיך, כגון $group ו-$sort.
• החזרת ספירות היבטים (facet counts) בלבד, ללא מסמכים תואמים.
• החלפת $match ב-$search כדי לבצע אינדוקס ושאילתות על שדות רבים יותר ממה שניתן לאנדקס באמצעות אינדקסי B-tree של מסד הנתונים.
• "מצא כל דבר בכל מקום" - שיטות עבודה מומלצות בהשוואה ל-$match ו-$elemMatch.
• מינוף סינון מוקדם (pre-filtering) לקסיקלי וסוגים אחרים של סינון וקטורי.
אילוצים פיזיים
> אמן מידול חכם אמר: "אנחנו מבצעים מידול כדי להתמודד עם אילוצים ולענות עליהם."
הארכיטקטורה של MongoDB Search מסגרת את מה שאפשר. בהתחשב באופן שבו MongoDB Search בנוי, הנה רשימה של הפרמטרים הפיזיים העיקריים המשפיעים על החלטות עיצוב הסכימה:
• שלב ה-$search שואל אינדקס MongoDB Search בודד.
• אינדקס MongoDB Search קשור לאוסף Atlas בודד.
• מיפוי מגדיר אילו שדות יש להוסיף באינדקס באיזה אופן, ממופה לפי שם שדה וסוג נתונים.
• קריטריוני חיפוש משמשים לניקוד ולהחזרת מסמכי איסוף תואמים (או מסמכים מוטבעים בודדים!)
ראוי לציין שהחלטות ארכיטקטוניות אלו עשויות להשתנות ככל ש-MongoDB Search מתקדמת. מאחורי הקלעים של המוצר כבר מתבצעות עבודות שמשנות ומרחיבות חלק מהחלטות אלו, מה שפותח דלת לדרכים מעניינות לבצע פעולות שאינן אפשריות כרגע. דפוסים אלו ישתנו ככל שהיכולות הפיזיות של המערכת ישתפרו. כפי שאומרים, אנחנו עובדים על זה... תמיד! וב-OPEN!
הרשימה הקודמת של פרמטרי הפעלה פיזיים הנשלטים ברמה הארכיטקטונית משתלבת במסגרת ה-Aggregation Pipeline כשלב $search, המבצע קריאות לשירות חיפוש הבנוי על גבי מנוע החיפוש החזק Lucene. בואו נבחן את שני הקצוות של הארכיטקטורה, תוך התחשבות בעומסי העבודה האופייניים הנדרשים מ-$search והאילוצים שבמסגרתם הוא פועל. ראשית, נראה כיצד $search משתלב ב-Aggregation Pipeline, ולאחר מכן נבחן כיצד מבנה האינדקס הבסיסי פועל ברמה הנמוכה ביותר של MongoDB Search.
מלמעלה למטה - איך $search משתלב ב-Aggregation Pipeline
בשל בחירות פרגמטיות שנעשו במהלך היישום, שלב $search חייב להיות השלב הראשון ב-Aggregation Pipeline (או שלב $unionWith). אין קבוצת קלט של מסמכים בשלב זה. הפלט של שלב זה מורכב מרשימה מסודרת של מסמכים ומטא-נתוני חיפוש נוספים. ניתן לבצע צבירה נוספת על הפלט של שלב $search באמצעות כל אחד מהשלבים הזמינים שמקבלים רשימת מסמכים כקלט, כגון $limit, $skip, $project, $addField, $facet, $match, $group, $lookup ואחרים, אם כי שלבי צבירה שלאחר החיפוש עלולים להשפיע באופן דרסטי על הביצועים, כפי שיוסבר בהמשך.
> מה לגבי $searchMeta? שלב זה מבצע חיפוש, אך במקום להחזיר את המסמכים התואמים, הוא מחזיר מטא נתונים של תוצאות החיפוש, כגון הספירה הכוללת של המסמכים וההיבטים התואמים אם הם התבקשו. שלב זה שימושי אם כל מה שאתה צריך זה מטא נתונים אלה, בעוד ש-$search מחזיר את כל אותם מטא נתונים (כמו $$SEARCH_META ) יחד עם המסמכים התואמים.
שימוש ב-$search או ב-$searchMeta: אם ברצונך לקבל מסמכים תואמים עם או בלי היבטים (facets), השתמש ב-$search. אם דרושה לך רק הספירה הכוללת ו/או ההיבטים, השתמש ב-$searchMeta.
כאשר $search מתבצע מצומת mongod המריץ את שלבי ה-Aggregation Pipeline, הוא מבצע קריאה מרחוק לתהליך mongot המבוסס על Java. תהליך ה-mongot מתממשק עם ה-APIs של Lucene לצורך יצירת אינדקס, חיפוש, דירוג, הדגשה (highlighting) ומיפוי היבטים (faceting).
דברים חשובים שיש לציין בנוגע לעיצוב סכימה: מסמכי האוסף התואמים מוחזרים בסדר רלוונטיות. בעוד שחיפוש עשוי להניב אלפי, מיליוני או אפילו מיליארדי מסמכים תואמים, מנוע החיפוש הבסיסי מתוכנן להתאים, לדרג ולהחזיר תוצאות במהירות, תוך הצגת ההתאמות הטובות ביותר תחילה. שירות ה-mongot מספק תוצאות באצוות (batches) ל-Aggregation Pipeline וממשיך להיות מופעל עד שהצינור הקורא מיצה את הסמן ועיבד את כל ההתאמות או נעצר מוקדם יותר בשל שלב כמו $limit.
אזהרה: הרצת Aggregation Pipelines ב-Atlas UI או ב-Compass תחיל מגבלה מרומזת של $limit כדי להציג רק את המסמכים הראשונים. חיפושים הם מהירים. אותו Pipeline, אם יורץ בצורה נאיבית מסביבת קוד באמצעות Driver, עלול למשוך את כל המסמכים מהסמן (cursor) למבנה נתונים של מערך. שליפת כל תוצאות החיפוש למערך עלולה לגזול זמן וזיכרון רב. הדפוס המומלץ הוא בדרך כלל להגביל ($limit) את תוצאות החיפוש ולבצע דפדוף (pagination) ביניהן לפי הצורך. אם הכל עובד כשורה, התוצאות הטובות ביותר נמצאות בראש, כך שהמשתמשים לא יצטרכו לראות רשימה ארוכה מדי. :)
תנאי עבודה אלו של שלב $search מכתיבים החלטות עיצוביות מסוימות: עליו להיות השלב הראשון בצינור, הוא מחזיר מסמכים בסדר רלוונטיות, הוא חוצה גבולות תהליכים ומחזיר אצוות של התאמות, ואם לא הוגדר אחרת, כל תוצאות החיפוש התואמות יוחזרו בסופו של דבר. נקודה זו חשובה – למספר התוצאות המוזנות בצינור לאחר $search יש השפעה ישירה ודרמטית על הביצועים. לקבלת התוצאות הטובות ביותר, תכנן עבור תוצאות מוגבלות והישען על כוונון רלוונטיות כדי לקבל את התוצאות האיכותיות ביותר תחילה. דפדוף בתוצאות חיפוש הוא יעיל ומהיר בעת שימוש במנגנון האסימון searchAfter.
בעת פריסה ב-Atlas, ניתן לשלוט ביכולת ההרחבה (scalability) של תהליך החיפוש על ידי הוספה והגדלה של השימוש ב-Search Nodes. ניתן להגדיר צמתים ספציפיים באשכול כדי להריץ רק את תהליך ה-mongot של MongoDB Search. כאשר mongot מופעל בנפרד, הזמינות משתפרת ועומסי העבודה מאוזנים. למידע נוסף, עיין בתיעוד Search Nodes Architecture.
מלמטה למעלה: Lucene ו-mongot
בליבה של MongoDB Search חיים Lucene, ספריית מנועי חיפוש בוגרת, רבת עוצמה וקוד פתוח. ההפשטות המוצקות של לוסין זורחות מבעד לשכבות הקוראות, כמו גם המגבלות שלה.
"אובייקטי אינדקס" הם יחידות הנתונים הבודדות (Lucene מכנה אותם גם "מסמכים", אך הם נקראים "אובייקטי אינדקס" כדי להימנע מבלבול בטרמינולוגיה מאחר שהם לא בהכרח ביחס של אחד-לאחד) שנוספו לאינדקס Lucene. כל מסמך באוסף יוצר אובייקט אינדקס אחד, בתוספת אחד עבור כל מסמך מוטבע ממופה. מסמכים משובצים נסקרים בנפרד להלן. אופן הטיפול במסמכי משנה המקוננים בתוך מסמכי אוסף ראשיים עשוי להשפיע על עיצוב הריסוק (sharding) של המודל הפיזי, בהתאם לקנה המידה. המשמעות היא ששימוש במסמכים מוטבעים יביא למספר גבוה יותר של אובייקטי Lucene שנוספו לאינדקס, ויש לקחת זאת בחשבון בעת תכנון גודל המערכת. ל-Lucene יש מגבלה של שני מיליארד אובייקטי אינדקס. חריגה ממספר זה דורשת חלוקה או ריסוק (sharding).
יצירת אינדקס
לאחר שתצורת אינדקס נוצרת או מתעדכנת, כל המסמכים באוסף עוברים אינדוקס (מחדש). כל השדות של כל מסמך זמינים לאינדוקס, וממופים (או שלא, בהתאם להגדרות) לפי תצורת האינדקס. שטח האחסון הפיזי שתופס מבנה האינדקס תלוי לחלוטין בתצורה שלו. התאמת תצורה פשוטה יכולה להשפיע באופן דרמטי על גודל האינדקס (ובכך על מהירות הבנייה ועוד).
מחפש
תהליך ה-mongot מניע את שלב $search ומטפל בבקשות עוקבות למשיכת תוצאות חיפוש באצוות. קריאות מרחוק אלו לקבלת אצוות תוצאות מעצבות את הביצועים האפשריים. Lucene מותאם להגשה ולדפדוף מהיר במסמכים הרלוונטיים ביותר או הממוינים בראש, מה שנותן מענה למקרה השימוש הנפוץ ביותר, שבו מצופה מהמשתמשים למצוא את מה שהם מחפשים בתוצאות המובילות. שאילתות תואמות לעתים קרובות הרבה יותר מסמכים ממה שיוצגו למשתמש בו-זמנית, ורק התוצאות המובילות עשויות להיות רלוונטיות.
האצוות העוקבות של התוצאות המתבקשות על ידי שלב $search מאפשרות לחתוך את המסמכים המוחזרים בפועל בגבול רצוי. ללא קשר למספר התוצאות התואמות שהוחזרו בפועל ל-Aggregation Pipeline, ניתן לספק את הספירה המדויקת של המסמכים התואמים, או אומדן תחתון לביצועים טובים יותר, כדי להציג למשתמש את היקף התוצאות הזמינות.
סיכום האילוצים הפיזיים
הטיפים העיקריים לביצועים ומגבלות המערכת מפורטים בדף MongoDB Search Index Performance. להלן הדגשים העיקריים של האילוצים הפיזיים באשר לעיצוב סכימה עבור מקרי שימוש בחיפוש:
• מסד הנתונים ושרת החיפוש הם תהליכים נפרדים, ועדיף שיופעלו בצמתים נפרדים לטובת יכולת הרחבה (scalability) טובה יותר.
• העברת אצוות של תוצאות חיפוש גדולות בין תהליכים וברשת עלולה להוות צוואר בקבוק משמעותי.
• 2.1 מיליארד אובייקטי אינדקס לכל אינדקס MongoDB Search; אובייקטי האינדקס מורכבים מאחד עבור כל מסמך, ואחד עבור כל מסמך מוטבע שמופה במפורש.
שיקולי סכמה
MongoDB Search ממפה שדות מסמכים לאינדקס על אובייקטי Lucene לפי שם השדה וסוג הנתונים. חיבור ישיר זה לשם ולסוג השדה מכתיב מה ניתן לחיפוש ובאיזו דרך, ומהווה שיקול מכריע בעיצוב סכימה עבור עומס עבודה של חיפוש.
מבנה מסמכים עקבי הוא חשוב. תוכן השדה מתווסף לאינדקס על סמך שם השדה, סוג הנתונים והמבנה של כל מסמך באוסף. חשוב לתקנן את מבנה המסמכים באוספים הנתמכים על ידי MongoDB Search:
• _id: אם האוסף עבר מיזוג או צבירה (merged/aggregated) במיוחד עבור חיפוש מתוך נתונים המובנים בצורה שונה באוספים אחרים, מזהים יציבים הם קריטיים עבור עדכונים.
קריאה וכלים קשורים
אבטחת MongoDB- MongoDB Atlas Security — בקרות רשת וזהויות, הצפנה וביקורת ב־Atlas; ביקורת זמינה רק בתוכניות מתאימות.
- NoSQLMap — כלי בדיקות NoSQL לשימוש מורשה בלבד; פעילות מאגר אומתה בפברואר 2026, אך המהדורה ישנה ונדרשת בדיקת התאמה.
- אבטחת נתוני תשלומים ב-MongoDB לפי תקן PCI DSS
- MongoDB מאפשרת זיכרון ארוך טווח לסוכני AI מבוססי Strands
- פרצה ב-MongoDB: תוקף ללא הרשאות יכול להפיל שרתים