בדיקות אבטחה ואיכות לממשקי בסיסי נתונים
אמ;לק
סקירה על האתגר בניהול ספריות תוכנה (דרייברים) לשפות תכנות שונות תוך שמירה על סטנדרט אחיד. שמירה על עדכניות ואבטחה של ספריות אלו היא חיונית למניעת חולשות אבטחה בשרשרת האספקה של התוכנה.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: How to test that a dozen MongoDB drivers, in a dozen languages, conform to a dozen specs

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
ב-MongoDB, אנו מפתחים תריסר ספריות לקוח ("דרייברים") בתריסר שפות תכנות. חלק מהדרייברים הם עטיפות (wrappers) סביב ליבות משותפות הכתובות ב-C או Java, אך לרוב הם כתיבה מחדש בשפות היעד שלהם: ה-JavaScript Driver הוא ב-JavaScript טהור, ה-Rust Driver הוא ב-Rust טהור, וכן הלאה. בניית הדרייברים בדרך זו היא מחויבות גדולה. חברות מסדי נתונים רבות פשוט כותבות את הלקוח שלהן ב-C ומוסיפות עטיפות דקות בשפות שונות. הדרך שלנו קשה יותר אבל, לדעתי, טובה יותר. הדרייברים שלנו קלים יותר להתקנה, ה-APIs שלהם אידיומטיים יותר בכל שפה, והם משתתפים בצורה טבעית בזמן הריצה של כל שפה: מודל ה-threading או לולאת ה-async שלה, ניהול הזיכרון (garbage collection) שלה וכו'. זה אפשרי רק משום שאנחנו ממשיכים לפתח דרייברים נייטיב (native) בכל שפה.
אז איך אנחנו מבטיחים שכל ההתנהגויות וה-APIs של הדרייברים שלנו עקביים? ברור שמתודות ב-Python הן ב-snake_cased ומתודות ב-Java הן ב-camelCased, אבל לדרייברים של MongoDB צריך להיות אותו API בסיסי בכל השפות, מעבר להבדלי האיות. ה-concurrency ב-Node הוא אסינכרוני וב-C הוא משתמש ב-threads, אך המשמעות של עקביות סיבתית (causal consistency) צריכה להיות זהה בכל הדרייברים.
ב-MongoDB מצאנו דרך לבדוק שדרייברים בשפות תכנות רבות תואמים כולם לאותם מפרטים (specs). המצאנו שפת בדיקה ייעודית לתחום המבוססת על YAML. לכל הדרייברים שלנו יש מריצי בדיקות (test runners) שמפרשים את השפה הזו. המשמעות היא שכל הדרייברים שלנו יכולים לחלוק חבילת בדיקות אחת גדולה, מה שמאלץ את כולם להתנהג באותו אופן. ה-International Symposium on Software Reliability Engineering (ISSRE 2026) קיבל את המאמר שלנו בנושא זה. קראו את המאמר לפרטים הטכניים; כאן, אספר לכם את הסיפור מאחורי הקלעים.
מהנדסי MongoDB מלהטטים בין מימושים רבים של מפרטים רבים.
בחיפוש אחר שפת מבחן נסבלת
הצטרפתי ל-MongoDB כמהנדס Python driver בנובמבר 2011. במבט לאחור על המיילים שלי, אני רואה שהתלבטנו רבות כיצד לתקנן את הדרייברים שלנו מהרגע שהגעתי. חלק מהמהנדסים כתבו בדיקות Java Driver ב-Cucumber, תחביר של "פיתוח מונחה התנהגות" (BDD), שנראה כך:
המשימה הראשונה שלי ב-MongoDB הייתה לחקור אם נוכל לכתוב מריצי בדיקות עבור בדיקות Cucumber אלו ב-Python, Ruby ושאר השפות שלנו. מיד למדתי שהמשימה השנייה שלי היא התמודדות עם הסלידה של עמיתיי מהתחביר של Cucumber. מהנדס אחד כתב שאם נחליף את הבדיקות שלו שנכתבו ידנית ב-Cucumber, הוא "לא ייקח חלק בעשייה או בתמיכה באסון שייווצר". (הבהרתי שאנחנו לא מתכוונים להחליף את הבדיקות, אלא רק להשלים אותן.) המייסד שלנו, Eliot Horowitz, עודד אותנו ליצור חבילת בדיקות משותפת, אך הוא חשב ש-Cucumber עצמו "מצחיק".
ויתרנו על Cucumber. כמה שנים מאוחר יותר, הייתי מעורב בתכונה חדשה, שקבעה כיצד דרייברים מודדים ומגיבים להשהיית רשת (network latency). הבחנתי בכך שהמפרט באנגלית של התכונה עלול להיות מובן לא נכון, וחלק מהדרייברים יישמו אותו בצורה שונה. שוב, Eliot הציע חבילת בדיקות משותפת. הפעם נמנענו מ-Cucumber. במקום זאת, התחלנו לפתח שפת בדיקה מותאמת אישית על גבי YAML. לפרטים, ראו את ההרצאה שלי בוועידה או את הפוסט שלי בבלוג על בדיקות YAML, יחד עם Samantha Ritter.
היעילות הבלתי סבירה של YAML
בדיקת דרייברים עם YAML היא אחד הפרויקטים המוצלחים ביותר שהייתי חלק מהם. ב-11 השנים (כמעט 12 כעת) מאז שהתחלנו לכתוב בדיקות YAML, כל הדרייברים של MongoDB התכנסו ל-API משותף וסט התנהגויות משותף. הם דומים כפי שהם צריכים להיות, עם וריאציות שנבחרו במודע כדי להתאים לאידיומטיות ולמוסכמות של כל שפה. עזבתי את צוות הדרייברים לפני זמן מה, אך תהליך המפרט ובדיקות ה-YAML חזק מתמיד. כעת יש להם Unified Test Format, הבנוי על YAML, שיכול לבדוק את תאימות הדרייברים לתריסר מפרטים שונים. המפרטים מכסים כיצד דרייברים קוראים וכותבים מסמכים, כיצד הם מבצעים ניסיונות חוזרים (retry) לפקודות שנכשלו, כיצד הם מתחילים ומסיימים טרנזקציות, כיצד הם מצפינים שדות פרטיים בצד הלקוח ועוד המון התנהגויות מורכבות. כמעט 1,500 קבצי YAML מבטיחים שכל בסיסי הקוד העצמאיים הללו מיישמים את אותם פרוטוקולים.
הנה דוגמה לקובץ Unified Test Format מודרני. הוא בודק שמנהל התקן מנסה אוטומטית את פקודת העדכון לאחר שגיאת רשת:
עבור כל אחד מהדרייברים שלנו, אנו מיישמים מריץ בדיקות שיכול לפרש את התחביר הזה ולקרוא ל-APIs בדרייבר הנבדק. מריץ הבדיקות יוצר שני אובייקטי MongoClient: ה-MongoClient הנבדק, ו-MongoClient "פנימי" לשליחת פקודות ערוץ צדדי (side-channel) לשרת (ראו את ה-failPoint למטה).
ה-schemaVersion אומר למריץ הבדיקות באילו תכונות הקובץ משתמש, כך שמריץ ישן יכול לדלג על קובץ שהוא לא יבין במקום להיכשל. אנו משתמשים ב-JSON Schema כדי לבדוק שלכל בדיקת YAML יש את התחביר המתאים לגרסה שלה של ה-Unified Test Format.
ה-runOnRequirements אומר למריץ הבדיקות לדלג על הקובץ אלא אם כן פריסת שרת ה-MongoDB תואמת - כאן, Replica Set שמריץ MongoDB 4.4 ומעלה.
ה-createEntities בונה מפת ישויות: לקוח, מסד נתונים ואוסף, הנקראים עם עוגני YAML (&client) כדי שפעולות מאוחרות יותר יוכלו להתייחס אליהם בכינוי (*client). זה לא רק מונע כפילויות, אלא אומר שמריצי בדיקות YAML יכולים לאחסן ולאחזר אובייקטים במפת הישויות, בדומה להקצאת אובייקטים למשתנים בשפת תכנות אמיתית.
initialData מכניס מסמך אחד לאוסף לפני תחילת הבדיקה. ואז הפעולות פועלות לפי הסדר:
• failPoint אומר לשרת לסגור את החיבור בפעם הבאה שהוא מקבל עדכון (update). מריץ הבדיקות משתמש ב-MongoClient הפנימי לשם כך, כדי שלא יפריע ל-MongoClient הנבדק.
• updateOne אומר למריץ הבדיקות לקרוא ל-API של updateOne ב-MongoClient הנבדק. ב-Python זה מאוית update_one, ב-C זה mongoc_collection_update_one, וכן הלאה. כל מריץ בדיקות של דרייבר יודע לתרגם את ה-YAML ל-API של הדרייבר. השדה expectResult קובע מה הקריאה צריכה להחזיר. בבדיקה זו, הדרייבר מנסה לעדכן מסמך, הוא מקבל שגיאת רשת מנקודת הכשל, הוא מתחבר מחדש ומנסה שוב, ומצליח, ומחזיר modifiedCount: 1.
• waitForEvent חוסם עד שהדרייבר מבחין שהשרת סגר את החיבור. (בבדיקה זו, זה קורה מוקדם יותר במהלך ה-updateOne, כך שמריץ הבדיקות לא באמת יחסום בשורה הזו). הדרייבר מטפל בשגיאת הרשת על ידי סימון סוג השרת כ-Unknown, מה שאומר שהדרייבר חייב להבין מהו מצב השרת ברגע שהוא מתחבר מחדש.
• expectEvents בודק שהדרייבר שלח שתי פקודות עדכון על הרשת, מה שאומר שהוא ביצע ניסיון חוזר לכתיבה בדיוק פעם אחת, ובנוסף היה poolClearedEvent שהראה שהדרייבר השליך את כל החיבורים שלו לאחר שגיאת הרשת.
• outcome קורא את האוסף בחזרה כדי לאשר ש-x הוגדל בדיוק פעם אחת - הניסיון החוזר לא ביצע את העדכון שוב.
דוגמה זו מציגה הרבה תכונות מרגשות! ה-Unified Test Format מאפשר לכל הנהגים לשתף ערכת בדיקה. אנחנו יכולים להוכיח שכולם פועלים אותו דבר על ידי פרסום מבחנים שכולם חייבים לעבור. אנחנו יכולים לעדכן מפרט, ולאלץ את כל הדרייברים לציית לשינוי, על ידי פרסום שינויים בבדיקות המשותפות וצפייה בכל הדרייברים המיושנים נכשלים.
בנוסף, בדיקה זו בודקת התנהגויות נסתרות שבדיקות אינטגרציה רגילות לא יכלו לראות. אנו משתמשים ב-failPoint כדי לגרום לשרת לסגור את החיבור, כך שנוכל להפעיל את לוגיקת הניסיון החוזר (auto-retry) של הדרייבר. ברמת ה-API, הניסיונות החוזרים אינם נראים לעין - וזו הנקודה. אבל בדיקת ה-YAML הזו מפעילה ניסיון חוזר ובודקת שלוש התנהגויות נסתרות: הדרייבר מנסה שוב בדיוק פעם אחת, הוא מסמן את סוג השרת כ-Unknown, והוא מנקה את מאגר החיבורים שלו. נוכל לוודא את כל התוכן של שתי פקודות העדכון שהדרייבר שולח, אם נרצה בכך.
תוצאות
ה-Unified Test Format חסך לנו עשרות אלפי שורות קוד לאורך השנים, והוא כנראה הציל אותנו מעשרות באגים נוראיים. הוא אוכף תאימות למפרט, כך שכאשר אתם משתמשים ב-MongoDB ממספר שפות תכנות, אתם מקבלים API עקבי והתנהגות צפויה.
הנה כמה מספרים, החל בחיסכון בקוד. כשיצרנו את הפורמט המאוחד ב-2020, הכללנו את פורמט בדיקות ה-YAML ששימש מפרטים רבים ושונים לפורמט אחד ששולט בכולם. שבעה דרייברים החליפו את מריצי הבדיקות הייעודיים לכל מפרט במריץ Unified Test Format בודד, וכל אחד מהם יצא קטן יותר. מחקנו בסך הכל 22,000 שורות. ה-Java Driver לבדו מחק 6,000 שורות של קוד מריץ בדיקות.
LOC נמחק בעת המעבר לפורמט המאוחד.
בינתיים, הוספנו עוד ועוד בדיקות תאימות. מאגר ה-Unified Test Format גדל מאלף שורות ב-2021 ל-124,000 כיום. הקפיצות הגדולות ביותר התרחשו כאשר העברנו מכנית בדיקות מפורמטי YAML ייעודיים לפורמט המאוחד.
איור 2. Growth של הקורפוס Unified Test Format.
כיצד גדל גודלו של מאגר המבחנים YAML שלנו.
האם הבדיקות אכן מונעות באגים? זיהינו ניסוי טבעי: חמישה דרייברים יישמו את מפרט ה-CRUD שנים לפני שאימצו את בדיקות ה-YAML שלו, מה שנותן לנו נקודת השוואה של "לפני ואחרי". השתמשנו ב-Claude כדי לסווג כל כרטיס (ticket) פתור באותם דרייברים - 6,836 במספר - וספרנו את אלו שהיו הפרות אמיתיות של מפרט ה-CRUD. לארבעה מתוך חמשת הדרייברים היה שיעור באגים נמוך יותר לאחר אימוץ בדיקות ה-YAML.
Rate של באגים באי-התאמה before/after המאמצים YAML בדיקות.
Node.js הוא המקרה המביך: שיעור הבאגים שלו עלה. שנים לאחר שאימץ את בדיקות ה-YAML גילינו שמחלקות ה-BulkWriteResult וה-BulkWriteError שלו אינן עולות בקנה אחד עם המפרטים והדרייברים האחרים. מריץ הבדיקות שלו לא בדק את תוכנן בקפדנות מספיקה. צוות הדרייברים הגיש שלל באגים ושינה את שמות השדות במהלך שתי מהדורות עיקריות, וכעת ה-API של Node.js תואם לשאר הדרייברים שלנו.
ה-IEEE International Symposium on Software Reliability Engineering (ISSRE) קיבל את המאמר שלי על בדיקות YAML, "The Polyglot's Dilemma: Conformance Testing a Dozen Specs in as Many Languages." מהנדסי הדרייברים Jeremy Mikola ו-Jeff Yemin הם שותפיי לכתיבה. המאמר מכיל פרטים נוספים על ההיסטוריה של בדיקות ה-YAML שלנו, ויש בו הרבה נתונים סטטיסטיים ולקחים. כדאי לבדוק אותו, הוא מכיל רק 6 עמודים.
ראה עוד מהעבודה שלנו על MongoDB Research Blog .
• https://picryl.com/media/the-history-of-herodotus-a-new-english-version-ed-with-copious-notes-and-appendices-24de4e
• https://www.rawpixel.com/image/12230556/image-art-watercolor-vintage
קריאה וכלים קשורים
אבטחת Node.js / JS / TS- Bearer — SAST עם התמקדות בפרטיות ו-PII
- CodeQL — מנוע ניתוח סטטי של GitHub
- Dependabot — עדכונים אוטומטיים לתלויות פגיעות
- מתקפת React2STEAL: כך גונבים מפתחות גישה משרתי Next.js
- בניית אפליקציית מורה לנגינה בהרמוניקה בעזרת Claude
- פרצת אבטחה ב-Telegram Android