ניתוב מיליארדי טוקנים: האתגרים בניהול עומסי עבודה של AI
אמ;לק
כדי להתמודד עם עומסים כבדים של קריאות ל-AI מבלי לפגוע בביצועים או לחרוג ממכסות, בנו ב-Lovable מערכת מאוזנת לניהול תעבורת טוקנים. זהו שלב קריטי לכל מי שמפתח מוצרים מבוססי AI בקנה מידה רחב.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Routing Billions of Tokens per Minute
>כדי להתמודד עם עומסים כבדים של קריאות ל-AI מבלי לפגוע בביצועים או לחרוג ממכסות, בנו ב-Lovable מערכת מאוזנת לניהול תעבורת טוקנים. זהו שלב…
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
כאשר אתה משתמש בסוכן AI ולפתע נתקלת בהודעה כמו "ספק הדגם אינו זמין", זו לא רק אי נוחות. זה שובר את הזרימה שלך. מאחורי הקלעים, מה שבדרך כלל קרה הוא שלשירות שבו אתה משתמש נגמרה המכסה במודל שפה שהוא תלוי בו. למרבה המזל, זה כבר לא באמת קורה ב-Lovable.
אנו משתמשים ב-LLMs באופן נרחב ב-Lovable, במגוון מקרי שימוש שונים. הם מניעים את הסוכן הראשי שלנו שכותב ומשנה קוד, ומשמשים גם להרכבת ההקשר שמתניע את הסוכן הזה. בעת שיאי תעבורה, אנו מעבדים יותר ממיליארד אסימונים לדקה. בקנה מידה זה, אנו נתקלים בשגרה בהפסקות שירות אצל ספקים, הגבלות קצב ותגובות איטיות. כדי לטפל בבעיות מסוג זה ולהפוך את Lovable לאמין עבור המשתמשים שלנו, צוות התשתית שלנו הטמיע מנגנון חזק לטיפול בשגיאות, המסתמך במידה רבה על מאזן העומסים (load balancer) של ספקי ה-LLM שלנו.
איזון עומסים במערכות מבוססות סוכנים אינו מסתכם רק במציאת ספק עם קיבולת פנויה. ספקים אינם ניתנים להחלפה: אנו עשויים להעדיף דגם מסוים כי הוא חכם יותר, או ספק מסוים כי הוא מציע הסקה (inference) מהירה יותר עבור אותו דגם. ומכיוון שזרימות עבודה של סוכנים מחזיקות מצב (state) בין בקשות שונות, איננו יכולים להחליף ספקים באופן חופשי משיחה לשיחה. ניתוב אופורטוניסטי פוגע ברצף הזה, ומאלץ את הסוכן לעבד מחדש את ההקשר המלא שוב ושוב, מה שמעלה הן את ההשהיה (latency) והן את העלות.
שמירת מטמון של הנחיות (Prompt caching) והצורך באיזון עומסים של ספקים
יש לנו קיבולת על פני מספר ספקי דגמים (למשל, Anthropic, Vertex, Bedrock), כך שאם ספק אחד יפול, נוכל לחזור לאחרים מבלי לשבש את חוויית המשתמש. באופן נאיבי, נוכל ליצור רשימה מדורגת: לשלוח לספק הראשי את כל התעבורה שהוא יכול להתמודד, ואז לגלוש לשני, וכן הלאה.
עם זאת, שקול תרחיש שבו הבחירה הראשונה שלנו מחזירה שגיאות של הגבלת קצב (rate limits), כך שבקשות מסוימות עוברות, בעוד שאחרות מנותבות לבחירה השנייה. זה הרסני עבור שמירת מטמון של הנחיות.
שמירת הנחיות במטמון משפרת את המהירות ומפחיתה את העלויות של סוכנים עובדים בכך שהיא מאפשרת לקריאות עוקבות לעשות שימוש חוזר בהנחיות ובהקשר קודמים. אנחנו ממנפים זאת רבות ב-Lovable, מכיוון שהסוכן שלנו בדרך כלל מבצע פעולות חקירה לפני תחילת יצירת הקוד, תוך אחזור הקשר ומצב בשיחות הראשוניות.
שמירת הנחיות במטמון מסתמכת על שליחת בקשות רצופות לאותו ספק. כאשר בקשות עבור אותו פרויקט מפוצלות בין ספקים שונים, השמירה במטמון מפסיקה לעבוד ויש לעבד את ההקשר המלא מחדש.
זה לא יעיל ויקר, אך המצב מחמיר מכך. מגבלות הקצב שספקי ה-LLM מטילים עלינו מוגדרות בעיקר לפי מספר האסימונים שאינם שמורים במטמון שאנו שולחים אליהם. לכן, אם נבצע עבודה גרועה בתחום זה, נוכל לרוקן את כל הקיבולת שלנו בכל הספקים, מה שיחייב אותנו להגביל את המשתמשים שלנו.
כדי למנוע את זה, אין די בשרשראות פשוטות. אנו זקוקים לצורה של איזון עומסים המפזר את התעבורה בין ספקים כך שכל אחד יישאר בקיבולת שלו, תוך שמירה על בקשות רצופות לאותו פרויקט על אותו ספק ככל האפשר.
איך זה עובד: שרשראות גיבוי מרובות וזיקה ברמת הפרויקט
כדי לשמור על שמירת המטמון של ההנחיות תוך טיפול בכשלים, איננו מסתמכים על שרשרת גיבוי גלובלית אחת. במקום זאת, אנו מייצרים מספר שרשראות גיבוי עם ספקים שונים כבחירה הראשונה. לכל פרויקט מוקצית אחת מהשרשראות הללו והוא שומר עליה למשך חלון זמן קצר, כך שבקשות רצופות עבור אותו פרויקט מנותבות באופן עקבי.
שרשראות הגיבוי עצמן נבנות באופן הסתברותי. מבחינה קונספטואלית, האלגוריתם פועל כך:
• התחל עם קבוצת משקלים המייצגת איזה חלק מהתנועה כל ספק צריך לקבל.
• דגום את הספק הראשון בשרשרת, כאשר ההסתברות לבחור כל ספק היא פרופורציונלית למשקלו.
• דגום את הספק השני מהספקים הנותרים, שוב פרופורציונלי למשקל שלהם.
• המשך עד שכל הספקים נבחרו ויש לנו תמורה מלאה.
זה נותן לנו מרחב של רשתות חלופיות אפשריות שבהן ספקים בעלי משקל גבוה יותר נוטים להופיע מוקדם יותר, אבל אף ספק לא מופיע יותר מפעם אחת בשרשרת.
בחירת משקלי ספק
כשהטמענו איזון עומסים לראשונה, הגדרנו משקלי ספקים באופן ידני על סמך ההבנה שלנו לגבי הקיבולת והעדפות הספק שלנו. בפועל, זה התברר ככואב לתחזוקה.
ספקים שונים מודדים אסימונים בצורה שונה. חלקם כוללים אסימונים במטמון במגבלות התעריף שלהם, ואחרים לא, מה שמקשה על השוואה ישירה בין מגבלות מוצהרות. נוסף על כך, קיבולת הספק אינה סטטית. קורים תקריות, מגבלות התעריפים משתנות ותפוקה אפקטיבית משתנה בהתאם לדפוסי התנועה.
כאשר ספק התחיל להחזיר שגיאות, נאלצנו להפחית ידנית את משקלו כדי לשלוח פחות תעבורה אליו. כשהתנאים השתפרו, נאלצנו להתאים זאת שוב. ב-Lovable יש לנו דברים טובים יותר להשקיע בהם את זמננו, אז החלטנו להפוך זאת לאוטומטי.
בחברה אחרת, זה עלול לגרום לשבועות של מסמכי עיצוב. אבל ב-Lovable, ההטיה שלנו היא כלפי משלוח ואיטרציה. הייתה לנו בעיה ברורה שעלתה לנו זמן וכסף, אז בנינו פתרון דינמי בידיעה שתמיד נוכל לקרוע אותו אם זה לא יעבוד.
במקום ניהול משקלים ידני, התוכנית הייתה להתאים אותם אוטומטית על סמך נתונים. בפועל, יש לכך שני שלבים:
• חישוב רציף של זמינות עבור כל ספק באמצעות בקר PID. זה מאפשר לנו לחזות כמה מהתנועה שלנו ספק יכול להתמודד בכל זמן נתון.
• שימוש בזמינות זו כדי לחשב את המשקולות. בשלב זה, אנו משלבים את סדר הספקים המועדף עלינו בחישוב.
חישוב זמינות ספק
כדי להעריך באופן מתמיד את קיבולת הספק, אנו מקצים לכל ספק זמינות המוגדרת תחילה ל-1, המייצגת שהספק בריא. כל 30 שניות, אנו מחשבים ציון עבור כל ספק על סמך התעבורה האחרונה:
score = (number of successful responses) - 200 × (number of errors) + 1
לאחר מכן אנו משתמשים בבקר PID כדי להתאים את הזמינות של הספק, בניסיון לשמור על ציון זה קרוב לאפס.
• אם הציון שלילי (במילים אחרות, אם שיעור השגיאות עולה מעל 0.5%), אנו מצמצמים את הזמינות כך שהספק יקבל פחות תעבורה.
• אם הציון חיובי, אנו מגדילים את הזמינות כך שהספק יקבל יותר תעבורה.
• אם לא השתמשנו בספק בכלל, ה'הטיה' (ה-+1) גורמת לנו להגדיל מעט את הזמינות כדי למנוע מאיתנו לוותר על הספק לצמיתות, גם אם הוא נכשל בעבר.
• אנו מגבילים את הזמינות לטווח [0, 1].
חישוב משקלי ספק
בכל זמן נתון, סכום כל מדדי הזמינות של הספקים לרוב יעלה על 1. זה פשוט אומר שבסך הכל, הספקים יכולים להתמודד עם תעבורה רבה יותר מזו שיש לנו כרגע. זה נותן לנו גמישות: מכיוון שאנו צריכים שסכום המשקלים יהיה 1, אנו יכולים לבחור איזו קיבולת למקסם ואיזו לנצל פחות.
אנו עובדים לפי סדר העדיפויות המועדף עלינו לספקים (הסדר שבו היינו שולחים באופן אידיאלי תעבורה לספקים, בהתבסס על מהירות נצפית, התנהגות דגם או דרישות תפעול), ומחשבים משקלים כדלקמן:
• עבור הספק הראשון בהזמנה המועדפת, המשקל הוא הזמינות הנוכחית שלו.
• עבור הספק השני, המשקל הוא המינימום לזמינותו הנוכחית ו-1 - (משקל הספק הראשון).
• עבור הספק השלישי, המשקל הוא המינימום מהזמינות הנוכחית שלו ו-1 - (סכום המשקלים של הספקים הקודמים).
בדרך זו, ספקים מועדפים מועדפים, כאשר ספקים מועדפים פחות מקבלים תעבורה רק כאשר אחרים נמצאים בקיבולת.
אנו דוגמים רצף גיבוי באמצעות משקלים אלה ושומרים את הרצף הזה במטמון עבור הפרויקט. במהלך הדקות הקרובות, פרויקט זה ימשיך להשתמש באותה שרשרת גיבוי, מה שמשמר את שמירת המטמון של ההנחיות לאורך הפעולות.
סיכום
המערכת המתוארת כאן צמחה מתוך אילוצים ספציפיים למדי: היינו צריכים לפזר תעבורה בין מספר ספקים LLM תוך כדי התחשבות הן בהעדפה שלנו בין ספקים שונים והן ביכולות התנודות של הספקים, כל זאת מבלי להחליף ספקים כל הזמן לאותו פרויקט.
שימוש במספר שרשראות גיבוי עם זיקה ברמת הפרויקט מאפשר לנו לשמר את היתרונות של שמירת הנחיות במטמון. על ידי שקלול מחדש אוטומטי של ספקים בהתבסס על תעבורה חיה, המערכת יכולה למקסם את הקיבולת אצל ספקים מועדפים ולסגת בצורה חלקה כאשר מופיעות שגיאות. בפועל, המשמעות היא ש-Lovable חווה לעיתים רחוקות הפסקות שירות עקב בעיות אצל ספקי ה-LLM.
זוהי דוגמה אחת לסוג אתגר התשתית שאנו מתמודדים איתו מדי יום ב-Lovable. באופן אישי, לראות את המערכת מפיצה מחדש את התעבורה בצורה חלקה במהלך תקרית של ספק, מבלי שאף אחד יצטרך להתערב, היה באמת מספק.
כדי להפוך את התנהגות מאזן העומס לקלה יותר לחקור, השתמשנו ב-Lovable עצמו כדי לבנות אפליקציית סימולטור . זה מאפשר לך להתנסות בקיבולת ספק ותרחישי כשל ולראות כיצד שרשראות, משקלים ודביקות מתקשרים לאורך זמן.
אם בניית מערכות מסוג זה נשמעת לך מרגשת, נשמח לשמוע ממך. אנחנו צוות קטן ומהיר שבו מהנדסים מנהלים בעיות מקצה לקצה, מזיהוי הבעיה ועד שליחת התיקון לסביבת הייצור. יש עוד הרבה מה לחקור, למשל: ניתוב אוטומטי של תעבורה לספקים אחרים כאשר ספק מסוים הופך לאיטי מהרגיל. עיין במשרות הפתוחות שלנו.