חזרה לפיד
articlesמקור: MongoDB Official Blog (general)12.1.2026

Vision RAG: חיפוש ואחזור מידע ממסמכים מורכבים ומולטי-מודאליים

אמ;לק

הצגת Vision RAG לאחזור מידע מתמונות, שקפים ודיאגרמות ללא הסתמכות שבירה על מנועי OCR מסורתיים. הגישה פותרת בעיות חילוץ נתונים קריטיים במסמכים ארגוניים מורכבים. קריטי לבניית פייפליינים מאובטחים ומדויקים של LLMs.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: Vision RAG: Enabling Search on Any Documents

$cat article.txt

>הצגת Vision RAG לאחזור מידע מתמונות, שקפים ודיאגרמות ללא הסתמכות שבירה על מנועי OCR מסורתיים. הגישה פותרת בעיות חילוץ נתונים קריטיים…

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

מידע מגיע בצורות וסוגים רבים. בעוד ש-Retrieval-Augmented Generation (RAG) מתמקד בעיקר בטקסט רגיל, הוא מתעלם מכמויות אדירות של נתונים בתהליך. רוב הידע הארגוני נמצא במסמכים מורכבים, שקופיות, גרפיקה ומקורות מולטי-מודאליים אחרים. עם זאת, חילוץ מידע שימושי מפורמטים אלו באמצעות זיהוי תווים אופטי (OCR) או טכניקות ניתוח אחרות הוא לרוב בעל נאמנות נמוכה, שביר ויקר.

Vision RAG הופך מסמכים מורכבים – כולל תרשימים וטבלאות – לניתנים לחיפוש באמצעות הטמעות (embeddings) מולטי-מודאליות, ובכך מבטל את הצורך בחילוץ טקסט מורכב ויקר. מדריך זה בוחן כיצד הדגם האחרון של Voyage AI מפעיל יכולת זו ומספק הדרכה שלב אחר שלב ליישום.

מעדיפים הדרכת וידאו? צפו בסרטון המדריך:

Vision RAG: בנייה על בסיס טקסט RAG

Vision RAG הוא אבולוציה של RAG מסורתי, הבנוי על אותם שני מרכיבים: אחזור ויצירה (generation).

ב-RAG מסורתי, נתוני טקסט לא מובנים מתווספים לאינדקס לחיפוש סמנטי. בעת השאילתה, המערכת מאחזרת מסמכים או נתחים רלוונטיים ומצרפת אותם להנחיית (prompt) המשתמש, כך שמודל השפה הגדול (LLM) יכול לייצר תשובות מבוססות יותר ומודעות להקשר.

איור 1. טקסט ⁦RAG⁩ עם ⁦Voyage⁩ ⁦AI⁩ ו-⁦MongoDB⁩.

עם זאת, נתונים ארגוניים הם לעיתים רחוקות רק טקסט רגיל ונקי. מידע קריטי נמצא לעיתים קרובות ב-PDF, שקופיות, דיאגרמות, לוחות מחוונים ופורמטים חזותיים אחרים. כיום, טיפול זה מתבצע בדרך כלל על ידי כלי ניתוח ושירותי OCR. גישות אלו יוצרות מספר בעיות:

• מאמץ הנדסי משמעותי לטיפול בסוגי קבצים רבים, פריסות ומקרי קצה

• בעיות דיוק בהגדרות שונות של ⁦OCR⁩ או ניתוח

• עלויות גבוהות בקנה מידה בין אוספי מסמכים גדולים

דגמי הטמעות (embedding models) מולטי-מודאליים מהדור הבא מספקים אלטרנטיבה פשוטה וחסכונית יותר. הם יכולים לקלוט לא רק טקסט, אלא גם תמונות או צילומי מסך של פריסות מסמכים מורכבות, וליצור ייצוגים וקטוריים הלוכדים את המשמעות והמבנה של התוכן.

Vision RAG משתמש בהטמעות מולטי-מודאליות אלו כדי לאנדקס מסמכים שלמים, שקופיות ותמונות ישירות, גם כאשר הם מכילים שילוב של טקסט ותמונות. זה מאפשר להפוך אותם לניתנים לחיפוש באמצעות חיפוש וקטורי מבלי לדרוש ניתוח כבד או OCR. בזמן השאילתה, המערכת מאחזרת את הנכסים החזותיים הרלוונטיים ביותר ומזינה אותם, יחד עם הנחיית הטקסט, לתוך LLM בעל יכולת ראייה כדי לגבש את התשובה.

איור 2. חזון ⁦RAG⁩ עם ⁦Voyage⁩ ⁦AI⁩ ו-⁦MongoDB⁩.

כתוצאה מכך, Vision RAG מאפשר למערכות מבוססות LLM גישה מקורית לנתונים ארגוניים עשירים ומולטי-מודאליים, תוך הפחתת מורכבות הנדסית ומניעת מלכודות הביצועים והעלות הקשורות לתהליכי עיבוד מקדים ממוקדי טקסט מסורתיים.

דגם ההטבעה המולטי-מודאלי האחרון של Voyage ⁦AI⁩

מודל ההטמעות המולטי-מודאלי הוא המקום שבו הקסם מתרחש. מבחינה היסטורית, בניית מערכת כזו הייתה מאתגרת בשל 'פער המודאליות'. מודלים מוקדמים של הטמעות מולטי-מודאליות, כגון מודלים מבוססי Contrastive Language-Image Pretraining (CLIP), עיבדו טקסט ותמונות באמצעות מקודדים נפרדים. מכיוון שהתוצרים נוצרו באופן עצמאי, התוצאות היו לעיתים קרובות מוטות לכיוון אחד, מה שהפך את האחזור על פני תוכן מעורב ללא אמין. מודלים אלו גם התקשו להתמודד עם טקסט ותמונות משולבים, מגבלה קריטית עבור Vision RAG בסביבות בעולם האמיתי.

voyage-multimodal-3 ויורשו מהדור הבא, voyage-multimodal-3.5, ממנפים ארכיטקטורה בהשראת מודלים חדישים של שפה גדולה בעלי יכולת ראייה. המודל משתמש במקודד יחיד עבור קלט טקסט וקלט חזותי כאחד, ובכך סוגר את פער המודאליות ומייצר ייצוגים מאוחדים. זה מבטיח שתכונות טקסטואליות וחזותיות מטופלות באופן עקבי ומדויק בתוך אותו מרחב וקטורי.

איור 3. ⁦CLIP-based⁩ ארכיטקטורה לעומת ארכיטקטורת voyage-multimodal-3.

שינוי ארכיטקטוני זה מאפשר אחזור מולטי-מודאלי אמיתי, מה שהופך את Vision RAG לפתרון בר-קיימא ויעיל. לפרטים נוספים, עיין בהכרזה בבלוג של voyage-multimodal-3.

יישום של Vision RAG

בואו ניקח דוגמה פשוטה ונראה כיצד ליישם Vision RAG. מערכות RAG מבוססות טקסט מסורתיות נאבקות לעיתים קרובות עם מסמכים מורכבים, כגון מצגות, דוחות כספיים או מסמכים טכניים, שבהם מידע קריטי נעול בתוך תרשימים, דיאגרמות ואיורים.

באמצעות מודלי ההטמעות המולטי-מודאליים של Voyage AI לצד מודלי LLM בעלי יכולת ראייה של Anthropic, נוכל לגשר על הפער הזה. נתייחס לתמונות (או צילומי מסך של דפי מסמכים) כאובייקטים מדרגה ראשונה, נשלוף אותן ישירות על סמך התוכן החזותי והסמנטי שלהן, ונעביר אותן ל-LLM בעל יכולת ראייה לצורך הסקת מסקנות.

כדי להדגים זאת, נבנה צינור (pipeline) המחלץ תובנות מתרשימים ואיורים מסקר ה-GitHub Octoverse 2025, המדמה את סוג המידע הנמצא בדרך כלל בנתונים ארגוניים.

ה-Jupyter Notebook עבור הדרכה זו זמין ב-GitHub במאגר ה-GenAI Showcase שלנו. כדי לעקוב אחר ההדרכה, הפעילו את המחברת ב-Google Colab (או בסביבה דומה) ועיינו במדריך זה לקבלת הסברים על בלוקי הקוד המרכזיים.

שלב 1: התקן את הספריות הדרושות

ראשית, עלינו להגדיר את סביבת ה-Python שלנו. נתקין את ה-client של voyageai ליצירת הטמעות ואת ה-client של anthropic עבור המודל הגנרטיבי שלנו.

שלב 2: אתחול לקוחות API

כדי ליצור אינטראקציה עם המודלים, עליך לאתחל את אובייקטי ה-client עם מפתחות ה-API שלך. תזדקק למפתח Voyage AI API (עבור דגם voyage-multimodal-3.5) ומפתח Anthropic API (עבור claude-sonnet-4.5).

הערה: מומלץ להשתמש במשתני סביבה או במנהל סודי במקום במפתחות קידוד קשיחים בייצור.

שלב 3: חילוץ תוכן ויזואלי

עבור דוגמה זו, נגרד תרשימים ואינפוגרפיקות ישירות מהפוסט בבלוג של GitHub Octoverse. בסביבת ייצור (production), שלב זה עשוי לכלול המרת דפי PDF לתמונות או עיבוד ספרייה של קבצי PNG.

נתחיל בייבוא ​​כלי השירות הסטנדרטיים שאנו צריכים עבור בקשות אינטרנט, עיבוד תמונות ופעולות מתמטיקה.

לאחר מכן, נגדיר פונקציית עזר בשם extract_image_urls כדי לנתח את ה-HTML של המאמר ולחלץ קישורים לתמונות, תוך סינון אייקונים קטנים או סמלי לוגו.

כעת נריץ את החילוץ על ⁦URL⁩ הספציפי.

הגרידה עשויה להחזיר נכסי בלוג כלליים. כדי להבטיח רלוונטיות גבוהה, נסנן את הרשימה כך שתכלול רק תמונות המכילות "octoverse-2025" ב-URL שלהן, מה שמתמקד בתרשימים של הדוח.

שלב 4: בניית האינדקס המולטי-מודאלי

זהו שלב הליבה לאינדוקס. אנו עוברים בלולאה על ה-URLs המסוננים שלנו, מורידים את התמונות באופן מקומי ואז מעבירים אותן לדגם voyage-multimodal-3.5 של Voyage AI. מודל זה ממיר את התוכן החזותי להטמעה וקטורית צפופה.

שלב 5: הגדר רכיבי ⁦RAG⁩

אנו זקוקים לשלוש יכולות ספציפיות כדי לגרום לצינור ⁦RAG⁩ שלנו לעבוד:

• Image Encoding: המרת תמונות ל-base64 כדי שניתן יהיה לשלוח אותן אל ה-API של Anthropic

• ⁦Vector Retrieval⁩: חיפוש במערך ההטמעות שלנו כדי למצוא את התמונה הדומה ביותר מבחינה סמנטית לשאילתת הטקסט של המשתמש

• Generation: שליחת התמונה שאוחזרה והשאילתה של המשתמש ל-VLM (Vision Language Model) כדי לקבל תשובה בשפה טבעית.

אם אתה רוצה דוגמה מלאה מקצה לקצה באמצעות ⁦MongoDB⁩, עיין במדריך זה: ⁦Building Multimodal⁩ ⁦AI⁩ יישומים עם ⁦MongoDB⁩, ⁦Voyage⁩ ⁦AI⁩, ו-⁦Gemini⁩ .

שלב 6: שלב את הרכיבים לצינור שלם

כעת נוכל לעטוף את השלבים הללו בנקודת כניסה אחת, vision_rag. פונקציה זו מקבלת שאילתת משתמש, מבצעת אחזור כדי למצוא את התרשים הנכון, מציגה אותו ואז עונה על השאלה.

שלב 7: הפעל שאילתות

בואו נבדוק את הצינור שלנו. נשאל שאלה ספציפית לגבי קהילות מפתחים. המערכת צריכה לזהות את האינפוגרפיקה הנכונה מהדוח ולקרוא את הנתונים ישירות ממנו.

כעת נוכל לנסות שאלה כמותית לגבי מאגרי קוד פתוח.

ולבסוף, שאלת דירוג על שפות תכנות.

מַסְקָנָה

הטמעות מולטי-מודאליות, בשילוב עם LLMs בעלי יכולת ראייה, מאפשרות למערכות לעבד ולהסיק מסקנות מתוך סוגי נתונים מגוונים כמו טקסט ותמונות בו-זמנית. Vision RAG פותח במיוחד את הכמות העצומה של ידע הכלוא בפורמטים חזותיים המכילים טקסט ותמונות משולבים – כגון מצגות, תמונות, דוחות PDF ודיאגרמות טכניות – שאיתם צינורות טקסט-בלבד מסורתיים מתקשים להתמודד.

במדריך זה, יישמנו צינור Vision RAG מינימליסטי מאפס. חילצנו נתונים חזותיים עשירים מדוח GitHub Octoverse, יצרנו הטמעות מולטי-מודאליות באמצעות Voyage AI, והשתמשנו במודל של Anthropic כדי לענות על שאלות מורכבות המבוססות על ראיות חזותיות.

ככל שאתה מתקדם, שקול כיצד ניתן ליישם את הארכיטקטורה הזו על מערכי הנתונים הקנייניים שלך, מדוחות פיננסיים ועד דיאגרמות פנימיות. כאשר אתה מוכן לקחת את זה לייצור, חקור שימוש במסד נתונים חזק כמו ⁦MongoDB⁩ כדי לטפל בקנה מידה. לדוגמאות נוספות וטכניקות מתקדמות, עיין בתיעוד ⁦Voyage⁩ ⁦AI⁩ כדי להמשיך לבנות את הדור הבא של יישומים מולטי-מודאליים.

אם נהנית לקרוא את המדריך הזה, תוכל לחקור תוכן נוסף ב-AI Learning Hub שלנו. אם ברצונך לעבור ישירות לקוד, יש לנו דוגמאות נוספות רבות כיצד לבנות RAG, יישומים סוכנותיים (agentic applications), הערכות (evals) וכו', במאגר ה-Gen AI Showcase GitHub שלנו. כרגיל, אם יש לך שאלות נוספות בעת בניית יישומי ה-AI שלך, אנא פנה אלינו בפורומים הקהילתיים שלנו של Generative AI.

#rag#multimodal-ai#vision-rag#document-ai
קרא במקור