שיקולים מרכזיים בבחירת פתרון חיפוש היברידי (Hybrid Search)
אמ;לק
חיפוש מבוסס וקטורים אינו מחליף לחלוטין את חיפוש מילות המפתח המסורתי, במיוחד במקרי קצה ובשמות מדויקים. חיפוש היברידי משלב את שני העולמות כדי לשפר מהותית את דיוק מערכות RAG וסוכנים חכמים. המאמר מסביר כיצד לאזן בין שיטות השליפה השונות ולצמצם הזיות של מודלים.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Top Considerations When Choosing a Hybrid Search Solution

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
החיפוש התפתח. כיום, שאילתות בשפה טבעית החליפו במידה רבה חיפושים פשוטים של מילות מפתח כשהן נותנות מענה לצרכי המידע שלנו. במקום להקליד "מדריך טיולים לפרו" במנוע חיפוש, כעת אנו שואלים מודל שפה גדול (LLM): "לאן כדאי לי לנסוע בפרו בדצמבר במהלך טיול של 10 ימים? צור לי מדריך טיולים."
האם חיפוש מילות מפתח כבר לא מועיל? בעוד שהעלייה של LLMs וחיפוש וקטור עשויה להצביע על כך שחיפוש מילות מפתח מסורתי הופך פחות נפוץ, עתיד החיפוש למעשה מסתמך על שילוב יעיל של שתי השיטות. זה המקום שבו חיפוש היברידי ממלא תפקיד מכריע, המשלב את הדיוק של חיפוש טקסט מסורתי עם ההבנה ההקשרית העוצמתית של חיפוש וקטור. למרות ההתקדמות בטכנולוגיה הוקטורית, לחיפוש מילות מפתח יש הרבה מה לתרום והוא נותר חיוני כדי לעמוד בציפיות המשתמש הנוכחיות.
עליית החיפוש ההיברידי
לקראת סוף 2022 ובמיוחד לאורך 2023, ככל שחיפוש וקטורי צבר פופולריות (ראו תמונה 1 למטה), התברר במהרה ששימוש ב-vector embeddings בלבד אינו מספיק. גם ככל שהמודלים המבצעים את ההטמעה ממשיכים להשתפר במשימות אחזור, חיפוש טקסט מלא תמיד יישאר שימושי לזיהוי טוקנים (tokens) הנמצאים מחוץ לקורפוס האימון של מודל ההטמעה. זו הסיבה שמשתמשים החלו במהרה לשלב חיפוש וקטורי עם חיפוש מילוני (lexical search), בבוחנם דרכים למנף הן דיוק והן שליפה מודעת להקשר. השינוי הזה הונע ברובו מהעלייה במקרי שימוש של בינה מלאכותית יוצרת (Generative AI) כמו RAG (Retrieval-Augmented Generation), שבהם נדרש אחזור באיכות גבוהה.
ככל שהחיפוש ההיברידי הבשיל מעבר לשילוב ציונים בסיסי, צצו טכניקות היתוך עיקריות – RRF (Reciprocal Rank Fusion) ו-RSF (Relative Score Fusion). הן מציעות דרכים לשלב תוצאות שאינן מסתמכות על סולמות ציונים ברי-השוואה ישירה. RRF מתמקד במיקום הדירוג ומתגמל מסמכים המופיעים באופן עקבי בראש התוצאות בשיטות אחזור שונות. RSF, לעומת זאת, עובד ישירות עם ציונים גולמיים ממקורות רלוונטיות שונים, תוך שימוש בנורמליזציה כדי למזער חריגים ולהתאים אופנים בצורה יעילה ברמה גרנולרית יותר ממה שדירוג לבדו יכול לספק. שתי הגישות צברו במהירות תאוצה והפכו לטכניקות סטנדרטיות בשוק.
איך השוק הגיב?
התעשייה הבינה את הצורך להציג יכולות חיפוש היברידיות, שהביאו אתגרים שונים לסוגים שונים של שחקנים.
עבור פלטפורמות חיפוש מילוליות-ראשונות, האתגר העיקרי היה להוסיף תכונות חיפוש וקטוריות וליישם את היגיון הגישור עם תשתית חיפוש מילות המפתח הקיימת שלהן. ספקים אלה הבינו שהערך האמיתי של חיפוש היברידי מתגלה כאשר שני האופנים חזקים באופן עצמאי, ניתנים להתאמה אישית ומשולבים באופן הדוק.
מצד שני, פלטפורמות חיפוש מבוססות וקטורים (vector-first) התמודדו עם האתגר של הוספת חיפוש מילוני. יישום חיפוש מילוני באמצעות אינדקסים הפוכים (inverted indexes) מסורתיים היה לעיתים קרובות יקר מדי בשל הבדלי אחסון, מורכבות שאילתות גבוהה יותר ותקורה ארכיטקטונית. רבים אימצו וקטורים דלילים (sparse vectors), המייצגים חשיבות מילות מפתח באופן דומה לשיטות מסורתיות של תדירות מונחים (term-frequency) המשמשות בחיפוש מילוני. וקטורים דלילים היו המפתח עבור מסדי נתונים מבוססי וקטורים כדי לאפשר אינטגרציה מהירה של יכולות מילוניות מבלי לשנות את ארכיטקטורת הליבה.
חיפוש היברידי הפך במהרה לסטנדרט בסיסי (table stakes) והפוקוס בתעשייה עבר לשיפור יעילות המפתחים ופישוט האינטגרציה. זה הוביל למגמה גוברת של ספקים המטמיעים פונקציות חיפוש היברידיות באופן נייטיב ישירות לתוך הפלטפורמות שלהם. על ידי מתן תמיכה מובנית (out-of-the-box) לשילוב וניהול של שני סוגי החיפוש, הואצה האספקה של חוויות חיפוש עוצמתיות.
כשהחיפוש ההיברידי הפך לקו הבסיס החדש, צצו גישות מתוחכמות יותר לדירוג מחדש. טכניקות כמו מקודדים צולבים, למידה לדירוג מודלים ופרופילי ניקוד דינמיים החלו למלא תפקיד גדול יותר, וסיפקו למערכות אלטרנטיבות נוספות כדי ללכוד את כוונת המשתמש בניואנסים. שיטות אלו משלימות חיפוש היברידי על ידי חידוד סדר התוצאות בהתבסס על הבנה סמנטית עמוקה יותר.
מה לבחור? פתרונות לקסיקלי-ראשון או וקטור-ראשון? שיקולים עיקריים בבחירת פתרון חיפוש היברידי
כשבוחרים כיצד ליישם חיפוש היברידי, לתשתית הקיימת יש תפקיד מרכזי בהחלטה. עבור משתמשים העובדים בתוך מסד נתונים מבוסס וקטורים, מינוף היכולות המילוניות הקיים מבלי לחשוב מחדש על הארכיטקטורה מספיק לעיתים קרובות. עם זאת, אם דרישות החיפוש המילוני מתקדמות, בדרך כלל הפתרון האופטימלי הוא שימוש בפתרון חיפוש מילוני מסורתי יחד עם חיפוש וקטורי, כמו MongoDB. חיפוש מילוני מסורתי – או מבוסס מילונית – מציע גמישות והתאמה אישית רבה יותר לחיפוש מילות מפתח, ובשילוב עם וקטורים, מספק חוויית חיפוש היברידית חזקה ומדויקת יותר.
אסטרטגיית אינדקס היא גורם נוסף שיש לקחת בחשבון. בעת הגדרת חיפוש היברידי, משתמשים יכולים לשמור נתוני מילות מפתח ונתונים וקטוריים באינדקסים נפרדים או לשלב אותם לאינדקס אחד. אינדקסים נפרדים מעניקים חופש רב יותר לכוונן כל סוג חיפוש, לשנות את קנה המידה שלהם בנפרד ולהתנסות בניקוד. הפשרה היא מורכבות גבוהה יותר, עם שני צינורות (pipelines) לניהול והצורך לנרמל ציונים. מצד שני, אינדקס משולב קל יותר לניהול, מונע צינורות כפולים ויכול להיות מהיר יותר מכיוון ששני החיפושים פועלים במעבר אחד. עם זאת, הדבר מגביל את הגמישות למה שמנוע החיפוש תומך בו וקושר את קנה המידה של חיפוש מילות המפתח והחיפוש הווקטורי זה לזה. ההחלטה היא בעיקרה פשרה בין שליטה לפשטות.
פתרונות לקסיקלי-ראשון נבנו סביב אינדקסים הפוכים לאחזור מילות מפתח, עם חיפוש וקטור נוסף מאוחר יותר כרכיב נפרד. לעתים קרובות זה גורם להגדרות היברידיות המשתמשות באינדקסים נפרדים. פלטפורמות וקטור-ראשונות תוכננו לחיפוש וקטור צפוף מההתחלה, עם חיפוש מילות מפתח נוסף כתכונה תומכת. אלה נוטים להשתמש באינדקס יחיד עבור שתי הגישות, מה שהופך אותן לפשוטות יותר לניהול אך לפעמים מציעות יכולות מילות מפתח בוגרות פחות.
לבסוף, היבט מרכזי שיש לקחת בחשבון הוא סגנון היישום. פתרונות עם פונקציות חיפוש היברידיות מטפלים בשילוב של חיפוש מילוני וקטורי באופן מקורי, ומסירים את הצורך של מפתחים ליישם אותו באופן ידני. זה מפחית את מורכבות הפיתוח, ממזער שגיאות פוטנציאליות ומבטיח שהמיזוג והדירוג של התוצאות עוברים אופטימיזציה כברירת מחדל. תמיכת פונקציות מובנית מייעלת את היישום כולו, ומאפשרת לצוותים להתמקד בבניית תכונות במקום בניהול תשתית.
באופן כללי, מערכות מלקסיקליות-ראשונות נוטות להציע יכולות מילות מפתח חזקות יותר וגמישות רבה יותר בכוונון כל סוג חיפוש, בעוד שמערכות וקטור-ראשונות מספקות חוויה היברידית פשוטה ומאוחדת יותר. הבחירה הנכונה תלויה אם אתה נותן עדיפות לשליטה ותכונות מילוניות בוגרות או ניהול יעיל עם תקורה תפעולית נמוכה יותר.
איך MongoDB עושה את זה?
כאשר הופיע חיפוש וקטור, MongoDB הוסיף אינדקסים של חיפוש וקטורים לאינדקס החיפוש המילוני המסורתי הקיים. עם זה, MongoDB התפתח למסד נתונים וקטור תחרותי על ידי מתן ארכיטקטורה מאוחדת למפתחים לבניית יישומים מודרניים. התוצאה היא פלטפורמה מוכנה לארגונים המשלבת אינדקסים מסורתיים של חיפוש מילוני ואינדקסי חיפוש וקטורים במסד הנתונים הליבה.
MongoDB שחררה לאחרונה פונקציות חיפוש היברידיות נייטיב ל-MongoDB Atlas וכחלק מתצוגה מקדימה ציבורית (public preview) לשימוש עם פריסות של MongoDB Community Edition ו-MongoDB Enterprise Server. תכונה זו היא חלק מהאקו-סיסטם המשולב של MongoDB, שבו מפתחים מקבלים חוויית חיפוש היברידית מובנית כדי לשפר את הדיוק בחיפוש ביישומים ובמקרי שימוש של RAG.
כתוצאה מכך, במקום לנהל מערכות נפרדות עבור עומסי עבודה שונים, משתמשי MongoDB נהנים מפלטפורמה אחת שנועדה לתמוך הן בשימושים תפעוליים והן בשימושים מבוססי AI. ככל שיישומי ה-AI הגנרטיבי והיישומים המודרניים מתקדמים, MongoDB מעניק לארגונים בסיס גמיש ומוכן ל-AI שצומח יחד איתם.
קרא את הבלוג שלנו כדי ללמוד עוד על הפונקציה החדשה Hybrid Search של MongoDB.
בקרו ב-MongoDB AI Learning Hub כדי ללמוד עוד על בניית יישומי AI עם MongoDB.