חזרה לפיד
articlesמקור: MongoDB Official Blog (general)25.9.2026

פתרון בעיות דירוג בחיפושים מבוססי AI

אמ;לק

שיפור בדירוג תוצאות חיפוש ב-Atlas Search כדי להבטיח תוצאות עקביות למשתמשים. פתרון זה רלוונטי במיוחד לאפליקציות מבוססות RAG (שיטה לחיבור מודלי שפה לנתונים שלכם) שבהן סדר התוצאות משפיע על איכות התשובה של ה-AI.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Same Query, Same Score: Consistent Ranking with StableTfl in Atlas Search

פתרון בעיות דירוג בחיפושים מבוססי AI

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

נניח שאתה מפעיל חיפוש עם עימוד (pagination) באפליקציה שלך, או צינור RAG שבו עשרת המסמכים המובילים שאוחזרו מוזנים למודל. אחד המשתמשים שלך מחפש אוסף מתכונים עבור "chocolate cake". העמוד הראשון מסתיים ב-"Flourless Chocolate Cake". הם לוחצים על "הבא", והתוצאה הראשונה בעמוד השני היא שוב "Flourless Chocolate Cake". בין שתי הבקשות, שום דבר בשאילתה לא השתנה; רק הדף המבוקש השתנה. לקוח Atlas Search שמפעיל חיפוש עם עימוד הציג בפנינו בדיוק את הבעיה הזו. פתרונות העקיפה הרגילים, כמו הצמדת כל משתמש לעותק (replica) אחד או החזקת תמונת מצב של אינדקס פתוחה עבור כל סשן עימוד, מחייבים את המערכת לאחסן מצב נוסף לכל שאילתה, והם או מסורבלים מדי או שאינם פותרים את הבעיה לחלוטין. במקום זאת, תיקנו זאת על ידי בניית פונקציית ניקוד חדשה, StableTfl, שאינה זקוקה כלל למצב נוסף. זה פתר את הבעיה שלהם, ומאז תרמנו אותה ל-Apache Lucene, מנוע החיפוש בקוד פתוח שמניע את Atlas Search, כך שכל מערכת חיפוש הבנויה על גבי Lucene יכולה להשתמש בה.

שתי הבקשות הוגשו על ידי שני עותקים שונים של אותו אינדקס, והעותקים דירגו את אותם המתכונים בסדר שונה. שינוי סדר זה מייצר שני כשלים מוחשיים. הראשון הוא הכפילות שהוזכרה לעיל: תוצאה מתחתית העמוד הראשון מופיעה שוב בראש העמוד השני. השני הוא תוצאה שנדלגה: המתכון שדורג במקום השישי לפי העותק הראשון היה אמור לפתוח את העמוד השני, אך העותק השני מדרג אותו במקום החמישי, מה שמציב אותו בתוך העמוד הראשון שהמשתמש מעולם לא ביקש. המתכון הזה לעולם לא מופיע באף אחד מהעמודים.

אף העתק לא התקלקל, ואף אחד מהם לא החזיר נתונים שגויים. הבעיה נמצאת בצומת של שני דברים: פונקציית ניקוד המניחה קורפוס יחיד וקבוע (הסט המלא של מסמכים באינדקס), ומערכת מבוזרת שאינה יכולה לספק אחד.

בפוסט זה בבלוג, אנו בוחנים את StableTfl, פונקציית ניקוד שבנינו עבור Atlas Search כדי לשמור על עקביות של תוצאות החיפוש בין עותקים. בעוד ש-BM25 מסתמך על נתונים סטטיסטיים של הקורפוס שמשתנים בין עותקים, StableTfl מחשב ציון למסמך על בסיס השאילתה והמסמך בלבד. כך, כל עותק מייצר את אותו הניקוד עבור שאילתה ומסמך נתון, והמשתמשים רואים את אותן תוצאות בכל עמוד ובכל בקשה, מבלי להוסיף מורכבות למערכת.

מדוע הציונים של BM25 משתנים

⁦BM25⁩ היא פונקציית הרלוונטיות הסטנדרטית בחיפוש מילוני וברירת המחדל ב-⁦Lucene⁩. בהינתן שאילתה, ⁦BM25⁩ מקצה לכל מסמך תואם ניקוד, והתוצאות מוחזרות בסדר ציון יורד. הנוסחה משלבת שלושה רעיונות:

• תדירות מונחים (Term frequency). מתכון שמזכיר את המילה "chocolate" עשר פעמים סביר יותר שיהיה על שוקולד מאשר מתכון שמזכיר אותה פעם אחת בלבד, לכן מופעים רבים יותר מעלים את הניקוד, עם תשואה פוחתת.

• נורמליזציה של אורך. למסמך ארוך יש סיכוי רב יותר להתאים לכל מונח נתון מעצם אורכו, ולכן הניקוד של המסמך מופחת בהתאם לאורכו ביחס לממוצע בקורפוס.

• תדירות מסמך הפוכה (IDF). מונחים נדירים הם אינפורמטיביים יותר. בשאילתה עבור "flourless chocolate cake", התאמה ל-"flourless" מעידה על רלוונטיות חזקה יותר מאשר התאמה ל-"chocolate", מכיוון שהרבה פחות מתכונים מכילים את המונח הראשון. IDF מודד זאת על ידי ספירת מספר המסמכים המכילים כל מונח.

איור 1. נוסחת BM25, עם קלטים התלויים בקורפוס מודגשים.

תדירות המונחים היא מאפיין של המסמך בלבד. שני האחרים מחושבים מהקורפוס: אורך המסמך הממוצע, המספר הכולל של המסמכים ומספר המסמכים המכילים כל מונח. הציון של ⁦BM25⁩ עבור מסמך אחד, לפיכך, תלוי בכל מסמך אחר בקורפוס.

הנתונים הסטטיסטיים הללו של הקורפוס מתארים צומת בודד ברגע מסוים, ובמערכת חיה הם אינם נשארים קבועים. עותקים (replicas) עוברים אינדוקס באופן עצמאי ומתכנסים רק בסופו של דבר, כך שבכל רגע נתון הסטטיסטיקה שלהם אינה תואמת עקב עדכונים שעדיין בתהליך. אפילו הנתונים הסטטיסטיים של צומת בודד משתנים בין שתי שאילתות עוקבות, כאשר מסמכים חדשים מתווספים ומיזוגי סגמנטים מנקים מחיקות. כאשר הנתונים הסטטיסטיים משתנים, הציונים משתנים, וכאשר שני מסמכים מחליפים מקומות בדירוג סביב גבול העמוד, התוצאה היא הכפילות והדילוג שהוזכרו בהקדמה.

BM25 עצמו אינו אשם: על קורפוס יחיד וסטטי, הוא דטרמיניסטי לחלוטין. הכשל נובע מהסביבה, והדרכים המקובלות להתמודדות מנסות בהתאם לשחזר קורפוס יחיד וקבוע. ניתוב "דביק" (Sticky routing) מצמיד משתמש לעותק אחד, אך הנתונים הסטטיסטיים של אותו עותק ממשיכים להשתנות. סנכרון נתונים סטטיסטיים שומר על עקביות בין עותקים, אך לא לאורך זמן. תמונות מצב של אינדקס מצמידות תצוגה נקודתית של האינדקס למשך חיי סשן העימוד, אך לא ניתן לנקות את הסגמנטים המוצמדים, המצב מצטבר לכל סשן, ותמונת המצב מכסה רק עותק אחד. כל פתרון כזה מוסיף מצב (state) כלשהו. אנחנו נקטנו בגישה אחרת והסרנו את הסטטיסטיקה של הקורפוס מהניקוד לחלוטין.

ניקוד ללא הקורפוס

StableTfl (תדירות-אורך מונח יציבה) היא פונקציית הניקוד שאוון דרק ואני בנינו עבור MongoDB Atlas Search. מאז תרמנו אותה ל-Apache Lucene בתור StableTflSimilarity, כך שהיא תהיה זמינה לכל מערכת הבנויה על Lucene, לא רק ל-Atlas Search. הניקוד שלה תלוי בשלושה קלטים בלבד: מונח השאילתה, תדירות המונח במסמך ואורך המסמך. שום דבר מהקורפוס אינו נכנס לחישוב, לכן מסמך מקבל את אותו ניקוד בכל צומת ובכל רגע, ושני עותקים שמחזיקים את אותם מסמכים מדרגים אותם באופן זהה.

איור 2. נוסחת הניקוד ⁦StableTfl⁩.

הנוסחה ⁦StableTfl⁩ חולקת צורה עם ⁦BM25⁩: היא מסכמת על פני מונחי השאילתה, ולכל מונח מכפילה תדירות מונחים מנורמלים, המתגמלת התרחשויות חוזרות ונשנות בהחזרים פוחתים, במשקל נדיר, שמעריך מונחים לא שכיחים יותר מאשר מונחים נפוצים.

גורם התדירות כמעט זהה. ⁦BM25⁩ מנרמל את הפקטור לפי אורך המסמך ביחס לממוצע הקורפוס, כך שמסמכים ארוכים עם אותו מספר מופעים מקבלים ציון נמוך יותר. StableTfl מנרמל כנגד אורך המסמך בעת חישוב נדירות המונחים.

משקל נדירות המונח הוא הנקודה שבה שתי פונקציות הניקוד נבדלות באופן מהותי. BM25 משתמש ב-IDF, שבודק כמה מסמכים מכילים את המונח, ומונח שנמצא בפחות מסמכים מקבל משקל גבוה יותר. StableTfl אינו משתמש בסטטיסטיקה של הקורפוס. במקום זאת, הוא מעריך את נדירות המונח לפי אורכו ומקצה נדירות גבוהה יותר למונחים ארוכים יותר. זה בדרך כלל תקף בשל דפוס בשפה הטבעית המכונה "חוק הקיצור של Zipf": מילים תדירות נוטות להיות קצרות, ומילים נדירות נוטות להיות ארוכות. עבור השאילתה "chocolate cake", BM25 שואל כמה מתכונים מכילים כל מילה; StableTfl שואל רק כמה ארוכה כל מילה, ונותן למילה הארוכה יותר "chocolate" משקל רב יותר מאשר ל-"cake". למרות שמילים בודדות רבות שוברות את הקירוב הגס הזה, הוא תקף מספיק במצטבר כך שהעלות, כפי שנמדד להלן, היא רק כשלוש נקודות ב-NDCG.

באופן קונקרטי, ⁦StableTfl⁩ מדגמים את p(t,d), את ההסתברות שמסמך באורך |d| מכיל מונח של אורך |t| לפחות פעם אחת:

p(t, d) = 1 − (1 − m · 2^(−c · |t|))^|d|

למונח ארוך יותר יש סיכוי נמוך יותר באופן אקספוננציאלי למלא כל מיקום, ולמסמך ארוך יותר יש יותר מיקומים למילוי. מונח עם p נמוך הוא נדיר ומקבל משקל גבוה דרך אותה עקומת לוגריתם ש-BM25 מחיל על IDF. אורך המונח נספר בנקודות קוד Unicode של המונח המנותח ולא בבתים, לכן "café" נחשב כארבעה. קבוע הדעיכה c = 0.917 נקבע על ידי מידול תדירות מונחים בטקסט באנגלית, ו-k1 = 1.2 תואם לברירת המחדל של BM25 ב-Lucene. חיפוש היפר-פרמטרים בייסיאני מאוחר יותר על גבי BEIR הניב ערכים כמעט זהים, לכן שמרנו על המקוריים.

StableTfl נשלח ב-⁦Atlas Search⁩ כאפשרות דמיון לכל שדה בהגדרת האינדקס, לצד ⁦bm25⁩ ובוליאני.

נדירות מונחי מחשוב מראש

פונקציית נדירות המונחים כוללת חזקה ולוגריתם, ופונקציית ניקוד יכולה לרוץ מיליוני פעמים עבור שאילתה רחבה על אינדקס גדול. חישוב פונקציות טרנסצנדנטליות עבור כל מסמך מדורג יהיה יקר משמעותית מהחשבון האריתמטי של BM25.

הפתרון מגיע מפרט בפורמט האינדקס של Lucene: אורכי מסמכים אינם מאוחסנים בדיוק רב לצורך ניקוד, אלא דחוסים לבייט בודד. עבור שאילתה נתונה, לנדירות מונחים יש לכן טווח קלט של 256 ערכים בדיוק, וניתן לחשב את כולם מראש.

עבור כל מסמך, הניקוד מצטמצם לחיפוש במערך (array lookup) המבוסס על האורך המקודד כבייט, cache[((byte) encodedNorm) & 0xFF], בתוספת כפל אחד וחילוק אחד, ללא מתמטיקה טרנסצנדנטלית. מעבר לנתיב הניקוד, האינטגרציה קטנה: StableTfl הוא רכיב Lucene Similarity ללא מצב (stateless drop-in), והפלט של explain() שלו משקף את המבנה של BM25, כך שכלי ניפוי באגים קיימים פועלים ללא שינוי.

כמה זה עולה ומתי להשתמש בו

נתונים סטטיסטיים של קורפוס נושאים מידע, והסרתם עולה ברלוונטיות. השווינו את StableTfl מול BM25 על 21 מערכי נתונים מ-BEIR, חבילת סטנדרטים לאיכות שליפה, תוך שימוש בטוקניזציה זהה עבור שני הניקודים. BM25 השיג בממוצע 0.346 NDCG@10 ו-StableTfl השיג 0.315, ירידה של כשלוש נקודות, או כ-9% יחסית. NDCG@10 מודד את איכות הדירוג של עשר התוצאות המובילות; ציון גבוה יותר עדיף. Recall@10 מציג דפוס דומה: 0.388 מול 0.350.

הכיוון צפוי, שכן ⁦StableTfl⁩ מחשב עם פחות מידע מ-⁦BM25⁩. StableTfl היא הבחירה הנכונה כאשר העקביות חשובה יותר מנקודות הרלוונטיות האחרונות: פריסות מרובות העתק המשרתות שאילתות מעומדות, ⁦RAG⁩ וצינורות היברידיים שזקוקים לאחזור שניתן לשחזור, ומערכות שבהן ההיגיון במורד הזרם תלוי בציונים יציבים. ⁦BM25⁩ נשאר ברירת המחדל ב-⁦Atlas Search⁩ והבחירה הנכונה כאשר הרלוונטיות הגולמית היא בראש סדר העדיפויות.

מגבלה נוספת היא השפה. הקבועים הותאמו לטקסט באנגלית, לכן שפות אחרות המשתמשות בכתב לטיני עשויות להזדקק להתאמה מחדש, ושפות שבהן מילה היא לעיתים קרובות תו בודד, כגון סינית או יפנית, שוברות לחלוטין את הקירוב המבוסס על אורך המונח.

עבודה עתידית

שני כיוונים יכולים לצמצם את פער האיכות. ניתן להתאים מחדש את הקבועים לשפות אחרות ולתחומים מקצועיים באנגלית, כגון טקסט ביו-רפואי או משפטי. המנתח (analyzer) גם מקיים אינטראקציה עם המודל: גזירה (stemming) מקצרת טוקנים לפני שפונקציית הנדירות רואה אותם, לכן בחירת המנתח משפיעה על הכיול.

ההחלטה עצמה מסתכמת במסחר המתואר לעיל. ⁦BM25⁩ היא ברירת המחדל הנכונה. StableTfl מיועד לפריסות שבהן תוצאה משוכפלת, או ערכת אחזור המשתנה בין שתי שאילתות זהות, עולה יותר משלוש נקודות של ⁦NDCG⁩.

למידע נוסף על StableTfl ואלגוריתמי דמיון זמינים אחרים, עיין בעמוד Score Details ובמאמר "When BM25 Scores Disagree: A Corpus-Independent Alternative" שהוצג ב-Hatstack US 2026.

#mongodb#atlas-search#rag#database-optimization
קרא במקור

קריאה וכלים קשורים

אבטחת MongoDBמונחי אבטחה והסברים בעברית