עשור ל-MongoDB Atlas: פלטפורמת הנתונים בעידן ה-AI

לפני כמעט עשור, הצטרפתי ל-MongoDB בתור Senior Product Manager כדי לעזור בבניית מוצר הענן החדש של החברה, MongoDB Atlas. הלקוחות שלנו אמרו לנו שהם רוצים להביא את חוויית המפתחים המוכרת של MongoDB לענן, עם האמינות והביטחון שצוותים צריכים כדי להריץ אפליקציות בסביבת ייצור. Atlas היה התשובה שלנו.

היום אנחנו חוגגים 10 שנים ל-MongoDB Atlas, פלטפורמת הנתונים של הדור הבא עבור יישומי AI, ואת הלקוחות שדחפו אותנו לבנות אותה.

Atlas עוצב בשיח קרוב עם אותם לקוחות והתרחב לצדם בכל שלב של הדרך. כיום, יותר מ-250,000 מפתחים מתחילים להשתמש ב-Atlas מדי חודש. Atlas משרת יותר משלושה טריליון שאילתות ביום (עלייה של בערך פי שלושה רק מאז 2023!), ומהווה 75% מהכנסות MongoDB. המספרים הללו משקפים משהו חשוב יותר מצמיחה: האמון שבוני מערכות ולקוחות נתנו בנו כדי להרחיב את העסקים שלהם.

האמון הזה הושג הודות להקשבה רבה. כל יכולת מרכזית והשקעה ארכיטקטונית ב-Atlas התבססו על מה שהלקוחות ביקשו: הגמישות והמהירות של מודל המסמכים (document model) של MongoDB, כשהם מסופקים בפלטפורמה שהסירה תקורה תפעולית ומסוגלת לגדול עם היישומים שלהם. עם הזמן, Atlas התרחב מעבר למסד נתונים מנוהל והפך לפלטפורמת נתונים רחבה יותר, כיוון שמפתחים המשיכו לבקש יותר גמישות, יותר פשטות ויותר מרחב עבודה.

זה חשוב אפילו יותר בעידן ה-AI. יישומי AI יוצרים דרישות חדשות, אך הצורך הבסיסי נותר מוכר: מפתחים זקוקים לפלטפורמה שיכולה לתמוך בנתונים תפעוליים, בחיפוש ובשליפת נתונים תוך כדי התמודדות עם שינויים מתמידים – מבלי להכריח אותם לחבר יחד ערימה של מערכות מנותקות. השקענו עשר שנים בהפיכתנו לפלטפורמת הנתונים הגמישה והעמידה שמפתחים סומכים עליה. אלו אותן התכונות שיישומי AI זקוקים להן ביותר, וזו הסיבה שמפתחים משתמשים כעת ב-Atlas כדי לבנות יישומי AI אמינים עם שליפת נתונים מדויקת, הקשר בזמן אמת ויכולת גדילה להרצה בסביבת ייצור.

מסדי נתונים מנוהלים בענן הופכים לברירת המחדל

כאשר Atlas הושק בשנת 2016, ארגונים עברו מבניית מרכזי נתונים מסורתיים לכיוון של פתרונות מבוססי ענן – שוק ש-Gartner חזתה שיגיע ל-204 מיליארד דולר (וכיום הוא מתקרב לטריליון דולר).

מפתחים אהבו את MongoDB כבסיס גמיש ואינטואיטיבי לבניית אפליקציות, אך הם גם רצו לנצל את יתרונות הענן. ההבטחה הראשונה של Atlas הייתה פשוטה: להביא את חוויית המפתחים המוכרת של MongoDB לענן, עם האמינות והביטחון שצוותים צריכים כדי להריץ מערכות בייצור.

חברת SEGA HARDlight העבירה את ה-backend של המשחקים הניידים שלה ממערך MySQL פנימי ל-MongoDB Atlas, מה שהעניק לצוות DevOps של שני אנשים את היכולת להתמודד עם עומסים בזמן השקה של מיליוני שחקנים, עם חביון (latency) נמוך וללא הפרעות בשירות. השינוי הזה פשט את הגיבויים, השדרוגים והגדילה (scaling), כך שהאולפן יכול היה להתמקד יותר בחוויית השחקן.

כדי לספק את הביטחון הזה לצוותי הפיתוח, בנינו את Atlas עם אבטחה, עמידות וביצועים כערכי ליבה – מהצפנה ובקרות גישה ועד לגיבויים וזמינות גבוהה. התוצאה הייתה שירות שצוותים יכלו להריץ בייצור בביטחון, תוך שחרור המפתחים לבצע את עבודתם הטובה ביותר ללא כאבי הראש הכרוכים בניהול מסדי נתונים.

עד 2018, 81% מהארגונים פעלו בסביבות מרובות עננים (multi-cloud), ומחקר של IDG מצא שיותר ממחצית מהם ציינו כי הם מתייחסים לענן כאסטרטגיית פורטפוליו. ככל שהארכיטקטורות של הלקוחות הפכו מבוזרות יותר, הצוותים נזקקו לגמישות לבחור את סביבת הענן המתאימה ליישומים, לצוותים ולצורכי התאימות (compliance) שלהם.

כדי לתמוך בהם, הרחבנו את ההבטחה המקורית שלנו לפשטות לכדי גמישות רב-עננית, עם זמינות בכל שלושת ספקי הענן הגדולים. בשנת 2020 השקנו את Atlas Multi-Cloud Clusters, מה שהפך את Atlas למסד הנתונים בענן הראשון והיחיד שמאפשר ללקוחות להריץ יישומים בו-זמנית באזורי AWS, Azure ו-Google Cloud – הישג ייחודי שהעניק לארגונים הדורשים זמינות גבוהה במיוחד בסיס נתונים אחד עקבי בכל העננים הגדולים.

כיום, לקוחות יכולים לרוץ על פני למעלה מ-125 אזורי ענן ⁦AWS⁩, ⁦Google Cloud⁩, ו-⁦Microsoft Azure⁩, מה שהופך את ⁦Atlas⁩ לפלטפורמת הנתונים המנוהלים הזמינה ביותר בעולם.

"MongoDB [Atlas] נתן לנו את הגמישות להיות זריזים בעיצוב הנתונים שלנו ולבצע איטרציות במהירות. המניע העיקרי היה מהירות הפיתוח." - Trevor Marshall, CTO ב-Current

קנה המידה והאיחוד של הארגונים הופכים לעדיפות הלקוח

ככל שאימוץ הענן הואץ, הלקוחות רצו יותר מסתם מסד נתונים מאוחסן. הענן הפך להשקעה לטווח ארוך, ומפתחים היו זקוקים לטווח הגעה גלובלי, חוסן ופלטפורמה שיכולה להתמודד עם יותר עומסי עבודה באופן מאובטח, מבלי להוסיף להם תשתית מסורבלת סביבם. מכיוון שמפתחים כבר סמכו עלינו בנושאי היסוד, Atlas יכול היה להתרחב לעומסי עבודה שארגונים לא יכולים להרשות לעצמם לטעות בהם.

עבור עומסי עבודה כמו תשלומים, ניהול מלאי ועיבוד הזמנות, עקביות טרנזקציונלית חזקה היא דרישה הכרחית. התוספת של טרנזקציות ACID מרובות מסמכים בשנת 2018 הביאה עקביות זו ל-MongoDB וסימנה צעד חשוב באבולוציה של המערכת, ואפשרה ל-MongoDB לשרת סוגי עומסי עבודה קריטיים שארגונים שמרו בעבר למסדי נתונים יחסיים (relational). כעת, לקוחות יכולים להשתמש ב-MongoDB בביטחון רב יותר עבור מגוון רחב יותר של מערכות שבהן לא ניתן להתפשר על דיוק, חוסן ואמינות.

⁦MongoDB⁩ הרחיבה את בסיס מסד הנתונים המהימן שלה עם השקת ⁦MongoDB Queryable Encryption⁩, יכולת הצפנה ראשונה בתעשייה המאפשרת ללקוחות לבצע שאילתות בנתונים מוצפנים תוך שמירה על מידע רגיש מוגן כאשר הוא במצב מנוחה, במעבר ובשימוש - צעד חשוב לאבטחת עומסי עבודה מוסדרים ורגישים במיוחד.

במקביל, Atlas המשיך להתפתח כדי לעזור ללקוחות לפעול בקנה מידה גדול יותר. בשנת 2020 הצגנו את Atlas Search ו-Online Archive, שהוסיפו חיפוש מתקדם באפליקציות ונתנו ללקוחות דרך פשוטה וזולה יותר לאחסן נתונים ישנים מבלי לאבד גישה מהירה אליהם. בשנת 2021 הגיעו ה-Native Time Series Collections וה-Live Resharding, שעזרו ללקוחות לנהל נתונים מבוססי זמן בצורה יעילה יותר ולשנות את קנה המידה של ארכיטקטורות ללא זמני השבתה (downtime).

עדכונים אלו הקלו על ⁦Atlas⁩ עבור בונים לעבוד איתם כאשר פריסות הפכו גדולות יותר, מבוזרות יותר ומורכבות יותר, כל זאת תוך צמצום מספר המערכות השונות שצוותי הפיתוח נאלצו לחבר יחד ולתחזק.

לאחר העברת הפלטפורמה שלה ל-⁦Google Cloud and MongoDB Atlas⁩ תוך שישה חודשים בלבד, ⁦Forbes⁩ דיווחה על זמני בנייה מהירים ב-58%, מחזור שחרור מהיר פי 4, עלות בעלות כוללת נמוכה ב-25% ועלייה של 28% בהרשמות מניוזלטרים חדשים. כשהתנועה עלתה ליותר מ-120 מיליון מבקרים ייחודיים במהלך המגיפה, ⁦Forbes⁩ המשיכה להשיק תכונות חדשות עבור קוראים ועיתונאים כאחד.

AI אמין הופך לחזית החדשה

לאחר מכן, ההשקה של ChatGPT בסוף 2022 – ואיתה עליית הבינה המלאכותית היוצרת (Generative AI) – יצרה אתגר משמעותי חדש עבור מפתחים.

האימוץ הארגוני התקדם מהר יותר מהסטנדרטים והבקרות, מה שהותיר לצוותים לנסות ולהבין כיצד לחבר את רכיבי הנתונים הדרושים כדי להריץ חיפוש סמנטי ועומסי עבודה של Retrieval-Augmented Generation (RAG), מבלי ליצור בלגן שביר של צינורות נתונים (pipelines), משימות סנכרון ותשתיות מיוחדות שפגעו באבטחה ובביצועים.

כדי לעזור לצוותים לרכז את אבני הבניין הקריטיות הללו של AI בפלטפורמה מאובטחת אחת, Atlas התפתח שוב. עם השחרור הציבורי של Atlas Vector Search בשנת 2023, MongoDB הייתה אחת ממסדי הנתונים הראשונים שהשיקו חיפוש וקטורי כיכולת מובנית (native), מה שאפשר למפתחים לשמור וקטורים קרוב לנתונים התפעוליים ולהריץ אחזור סמנטי ישירות במסד הנתונים, ללא צורך בניהול מאגר וקטורים נפרד. Search Nodes נתנו לצוותים דרך להגדיל את עומסי החיפוש והווקטורים באופן עצמאי ממסד הנתונים התפעולי, בעוד Atlas Stream Processing אפשר למפתחים לעבד נתוני streaming בזמן אמת ללא צורך בתשתית נפרדת.

הביקוש העסקי לארכיטקטורה זו היה מדהים: למעלה מ-726,000 אינדקסים וקטורים ו-55,000 יישומים וקטורים נוצרו מאז שהצגנו את ⁦Atlas Vector Search⁩, וראינו עלייה של 92% בלקוחות המציגים שימוש בחיפוש וקטור ברמת הייצור במהלך 12 החודשים האחרונים.

ועם רכישת ⁦Voyage⁩ ⁦AI⁩ של החברה בשנת 2025, ⁦MongoDB⁩ חידדה את ההתמקדות שלה באיכות אחזור - והביאה דגמי הטבעה מתקדמים ודירוג מחדש לתוך ⁦Atlas⁩. האינטגרציה של ⁦Voyage⁩ ⁦AI⁩ נועדה לחשוב מחדש על ארכיטקטורת הנתונים כדי לעזור ללקוחות להפחית הזיות, לשפר את הרלוונטיות ולהפוך את ⁦AI⁩ לשימושי בסביבות בעולם האמיתי שבהן הדיוק והאמון חשובים ביותר.

"⁦MongoDB⁩ עובד טוב עבורנו כפלטפורמה, כי יש לך את האחסון שם, יש לך את החיפוש הווקטורי שם, אתה יכול לעשות את ההתמדה בחיפוש, הכל שם בפלטפורמה אחת." ⁦Muktesh Mishra⁩, ⁦Lead⁩ ⁦AI⁩ ⁦Engineer and Architect⁩ ב-⁦Adobe⁩

זה שילם מיד דיבידנדים עצומים ללקוחות שבנו חיפוש סמנטי מדויק מאוד ואפליקציות ⁦RAG⁩. אבל ידענו שככל שהשוק יתקדם לכיוון אוטונומי ⁦AI⁩, אחזור מהימן וגישה להקשר בזמן אמת יהיו חשובים אפילו יותר.

⁦Agents⁩ והעתיד של שכבת הנתונים

כיום אנחנו נמצאים בעידן ה-agentic של ה-AI. מפתחים רוצים לפרוס סוכנים (agents) שיכולים להסיק מסקנות על הקשר עסקי בצורה אוטונומית. אך זיכרון של סוכן דורש דיוק מהיר ובקנה מידה גדול, כדי שהמידע הנכון יישלף בדיוק ברגע הנכון. וכאן הם נתקלים באתגר: הם נלהבים מהסוכנים, אך לא יכולים להציב סוכן מול הלקוחות שלהם אם התוצאות אינן עקביות, לא רלוונטיות או פשוט שגויות.

זה שם דגש גובר על שכבת הנתונים של ה-tech stack. סוכנים טובים רק במידה שהם מסוגלים לשלוף, לדרג ולשמור את ההקשר הנכון. אם הנתונים הבסיסיים מיושנים, לא שלמים או מאוחזרים בצורה לקויה, הפלט יהיה שגוי – ללא קשר לעוצמת המודל. בפועל, סוכנים בסביבת ייצור תלויים פחות בבחירת המודל ויותר באיכות השליפה וביכולת לבסס תגובות על נתונים תפעוליים חיים.

עם חיפוש, חיפוש וקטור, הטמעות ומדרגים מחדש המשולבים באופן טבעי בפלטפורמת ⁦Atlas⁩, עסקים סוגרים את הפער בין נתונים ואחזור כדי להפיק תוצאות מהירות ומדויקות לסוכנים בקנה מידה גדול. ועם יכולות בסיסיות להבטיח אבטחה, חוסן וביצועים יוצאי דופן, בונים מתפנוים לעשות את מה שהם עושים הכי טוב, במקום לבלות את ימיהם שקועים בניהול תשתית נתונים.

⁦Nugget⁩ של Zomato משתמש בסוכנים אוטונומיים ורב-ערוציים ⁦AI⁩ המופעלים על ידי ⁦MongoDB Atlas⁩ כדי לטפל במסעות לקוחות מורכבים המבוססים על הקשר בזמן אמת והיגיון מדיניות, ומעבדים יותר מ-15 מיליון שיחות בחודש. זה עזר לצמצם את עלויות התמיכה ב-55%.

במהלך העשור האחרון, המטרה שלנו הייתה להפחית את העומס התפעולי עבור הלקוחות מבלי להתפשר על הרף הטכני. כשהתעשייה נעה לכיוון סוכנים, המטרה הזו עדיין חלה.

עשר שנים עברו, ו-Atlas צמח לפלטפורמת נתונים שמריצה יישומים חכמים וקריטיים עבור כמעט 70,000 לקוחות בכל ענף. העולם פועל על Atlas! הלקוחות שלנו דחפו אותנו לבנות כל מה שחשוב בפלטפורמה, כדי שיוכלו לעשות יותר, מהר יותר. זה נכון גם היום: עידן ה-AI הסוכן מעלה את הרף לחדשנות, ואנחנו מעלים אותו יחד איתם. השאיפה שהלקוחות שלנו מביאים למה שהם בונים היא שמניעה אותנו קדימה – ואנחנו מוכנים לזה.

מוכן לבנות? התחל עם ⁦MongoDB Atlas⁩ עוד היום.