חזרה לפיד
articlesמקור: Lovable Blog21.5.2026

למידה עצמית ושיפור ב-Lovable

אמ;לק

Lovable הציגה כלי חדש המאפשר לסוכן הבינה המלאכותית לדווח על תקלות וקשיים בזמן אמת. המערכת לומדת מבעיות אלו ומשפרת את הקוד שלה באופן עצמאי. זהו כיוון מעניין ליצירת אפליקציות שמתקנות את עצמן.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: We Gave Our Agent a Vent Tool

$cat article.txt

>Lovable הציגה כלי חדש המאפשר לסוכן הבינה המלאכותית לדווח על תקלות וקשיים בזמן אמת. המערכת לומדת מבעיות אלו ומשפרת את הקוד שלה באופן עצמאי…

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

לפעמים אנחנו מתבדחים שאם הסוכן היה עובד רגיל הוא היה מתלונן על תנאי העבודה שלו: הנחיות לא ברורות ועומסים כבדים. זה הצית את הרעיון: מה אנחנו יכולים ללמוד על ידי הקשבה לסוכן שלנו? יצאנו למשימה לעשות את הסוכן ⁦Lovable⁩ קצת יותר טוב מדי יום. אני מהנדס ופיזיקאי חלקיקים לשעבר בצוות הסוכן ⁦Lovable⁩ וחשבתי הרבה על איך לשפר את הסוכן שלנו באופן אוטונומי.

למידה מתמשכת ושיפור עצמי בקנה מידה יהיה החלום. שבו, הירגעו, צפו במוצר משתפר מעצמו. כ-200,000 פרויקטים נוצרים ב-⁦Lovable⁩ מדי יום. משתמשים מבלים זמן רב בעבודה על פרויקטים, ומעמיקים. זה נותן לנו נתונים ייחודיים על משתמשים שעוברים בעיות. זה אמור להיות אפשרי!

הפוסט הזה מכסה שתי לולאות אוטומציה שיש לנו שעוזרות לשפר ללא הרף את ⁦Lovable⁩, ולקדם אותנו לעבר חזון שבו כל בעיה נחווית רק פעם אחת.

סוגים של מצבי תקיעה

בניית סוכנים ב-Lovable מציבה דרישות שונות במקצת בהשוואה לסוכני קידוד אחרים: אנחנו בונים עבור אנשים שאינם מתכנתים. אנחנו פותרים בעיות עבור מסע משתמש שונה מזה של מהנדס תוכנה המשתמש בכלי קידוד. כאשר מהנדס משתמש ב-AI ונתקל בקשיים, הוא מתעצבן אך מנסה שוב. כשהוא נתקע, הוא בדרך כלל יכול להתערב ולבצע את העבודה הידנית הנדרשת או להדריך את הסוכן. לאחר מכן, הוא חוזר להאיץ בחלקים הפשוטים יותר. זה מאפשר לו להשתמש ב-AI במה שהוא טוב בו, ולהשלים אותו במקומות שבהם הוא כושל או נתקל במחסום.

לעתים קרובות זה אינו המקרה עבור מי שאינם מתכנתים: אם אתה נתקע, ייתכן שאתה כבר רחוק בתוך טריטוריה לא מוכרת וניפוי הבאגים הופך לקשה. אותו הדבר נכון לכל מי שמשתמש ב-AI מחוץ לתחום המומחיות שלו – שזה בהחלט משהו שכדאי לעשות! לעתים קרובות אין ברירה אלא לעזוב או לנסות שוב מההחלה. אנו רואים זאת בצורה ברורה ביותר במדדים שלנו: משתמשים שנתקעים בשלב מוקדם בפרויקטים שלהם נוטים לעזוב את הפלטפורמה פי 4 יותר. המשמעות היא שעלינו למזער ככל האפשר את המקרים שבהם המשתמשים שלנו נתקעים; באופן אידיאלי לאפס. זהו רף שונה מזה שסוכני קידוד רבים צריכים לעמוד בו: עבורנו, אפילו רגע אחד של תקיעה יכול להוביל לאובדן משתמש.

אנו מזהים מתי משתמשים נתקעים באמצעות שופטי LLM: בוחנים חיצוניים שהוכשרו לקבוע במדויק מתי פרויקט אינו מתקדם בצורה משמעותית. שופטים אמינים הם קריטיים. סימנים מזהים שהם מחפשים הם מספר הודעות עוקבות המבקשות את אותו הדבר, תלונות על הטמעה, או משתמש שמוותר על סשן שלולא התקיעה היה ממשיך בו. השופטים מכוילים מול מערכת שיחות מתויגת ידנית ומאומתים מחדש בכל פעם שאנו משנים את ההנחיה שלהם או עוברים למודל חדש; רמת ההסכמה עם תוויות אנושיות גבוהה מספיק כדי שהמדדים המוצגים בפוסט זה ישקפו נתונים אמיתיים.

אנו יכולים לפצל את "להיות תקוע" לשני סוגים עיקריים:

• תקוע אבל אפשרי לפתור (עם ההנחיה הנכונה)

• תקוע ואינו פתיר בכלים עכשוויים... אבל קל לפתרון באופן עקרוני

(1) עשוי להיות באג מסובך שדורש הנחיות מדויקות וחזרות רבות כדי למצוא את בעיית הליבה, אך ברגע שהיא נמצאת, הסוכן יכול לפתור אותה. (2a) עשוי להיות מצב שבו יש לשנות תצורה, אך לסוכן אין הרשאות מתאימות. טריוויאלי עקרונית, אך בלתי אפשרי בגלל הכלים העומדים לרשות הסוכן. (2b) עשוי להיות משהו שמערכת הטכנולוגיות שלנו אינה תומכת בו בבסיסה, והוספה שלו תהיה מאמץ משמעותי.

אנחנו צריכים להיות מסוגלים לפתור באופן מלא את (1) ו-(2א). עבור (2ב) סביר להניח שעלינו ליידע את המשתמש בצורה ברורה יותר לגבי מגבלות ולשקול בקשות לפיתוח מוצר עתידי.

סוג 1: ⁦Lovable Stack Overflow⁩ (⁦LSO⁩)

לפני הקידוד הסוכן, מפתחים היו הולכים אל ⁦Stack Overflow⁩ כשהם תקועים. לאן הסוכנים שלנו צריכים ללכת? כדי לפתור את ⁦Type⁩ 1, עמית בנה גרסה משלנו הממוקדת בסוכן של ⁦Stack Overflow⁩: בסיס ידע של בעיות ופתרונות תואמים. הוא מכיל בעיות תצורה נפוצות, דפוסי אימות של מסד נתונים, תלות מעגלית שיש להימנע ממנה ועוד.

לערך ⁦Lovable Stack Overflow⁩ (⁦LSO⁩) יש שני חלקים. התיאור מחליט מתי הערך מאוחזר; גוף הידע הוא מה שמוזרק להקשר של הסוכן.

description: | Fix React errors from duplicate React copies in the bundle (null hook errors, "render2 is not a function", blank screens). Triggered by adding React-dependent libraries or version mismatches. knowledge: | Multiple React copies break hooks. Fix with resolve.dedupe in vite.config.ts: [קטע קוד]. For library-specific issues: downgrade react-leaflet to v4, use framer-motion v11+. Diagnose with npm ls react.

גרסה מקוצרת של קובץ ידע (מסוכמת על ידי ⁦Opus⁩ 4.6).

כדי ליצור את ערכי הידע הללו, אנו מאגדים תכונות ובעיות, ואז מזהים הודעות שבהן מצב תקוע נפתר, ושואלים גורם המחבר: "איזה מידע היינו צריכים להזריק בבקשה ראשונית כדי לדלג ישר לפתרון?" סוקר אנושי מעריך ערכים חדשים לפני שהם מתווספים למאגר הידע.

בכל פעם שמשתמש שולח בקשה, מודל קל משקל בוחן האם כבר קיים פתרון לבעיה הספציפית הזו. אם כן, הוא מחדיר את הפתרון להקשר של הסוכן. השרשרת שרצה לפני לולאת הסוכן כוללת מסווג שבוחן את השיחה האחרונה כדי להחליט אם המשתמש נתקע, בורר למציאת הערכים הרלוונטיים ביותר מהספרייה שאצרנו, וסינתיסייזר שמזקק את התוצאות לפתרון ממוקד שמוזרק כקובץ ידע. אם אין התאמה, השלב מדלג לחלוטין - ללא תקורה נוספת.

מתן גישה למודלים ל-⁦LSO⁩ גורמת להם לציון גבוה יותר באופן עקבי במדדים הפנימיים שלנו, מבלי להוסיף זמן השהייה: גרסה מוקדמת הובילה להפחתה של 5% בשיעורי התקיעה ולשיעור פרסום גבוה יותר ב-2%. המערכת מופעלת כעת בצורה רחבה ומועברת באופן פעיל.

בניית ⁦LSO⁩ הייתה מאוד איטרטיבית, והיא רחוקה מלהסתיים. להלן חלק מהלמידה שלנו:

• שימוש ב-AI לעדכון או כתיבה מחדש של קבצי ידע באופן תדיר ואוטומטי נוטה להתנוון ל-AI slop; לכן, אנו עושים זום-אאוט ומנסים לזהות אשכולות של קשיים (struggle clusters).

• ידע לא מזדקן היטב. הדוגמה לעיל ספציפית לגרסאות של React; ערך שהיה נכון ברבעון הקודם הופך בשקט לשגוי ככל שהחבילות מתפתחות. ללא גיזום אגרסיבי, מאגר הידע מזוהם בתשובות מיושנות והסוכן מתחיל להזריק פתרונות לא רלוונטיים. זה היה מצב הכשל בגרסה הראשונה שלנו. כעת אנו "מנשירים" כל ערך באקראי כדי להריץ מבחן A/B מתמשך; ערכים שמראים השפעה מועטה או שלילית על הצלחת הפרויקט או על שיעור התקיעות – מוסרים.

• מצבי כשל של סוכן הם ספציפיים לדגם, קשורים למשפחת המודלים ולתאריך הפסקת נתוני ההדרכה. עם שחרור הדגם אנחנו צריכים ללמוד מחדש או למצוא מאבקים חדשים.

• פשרה בין דיוק לעומת זכירה: במצב לא מקוון, אנו מבצעים שאילתות עקבות ייצור כדי למדוד דיוק שליפה וזיכרה, טיפוס על הגבעות וכוונון המערכת - למשל, פורמט התיאור - בהתאם.

• אנו מסנתזים את התשובה כדי שההזרקה תהיה צרה ומדויקת ככל האפשר. רעש לא עוזר לסוכן, ואסימוני פקודות הם יקרים.

⁦LSO⁩ פותר בעיות שבהן מישהו מצא בסופו של דבר את התשובה. אבל מה עם בעיות שאף אחד לא יכול לפתור?

סוג 2 של תקיעה: כלי האוורור של הסוכן

מקרים מסוג 2 של תקיעה אינם ניתנים לפתרון על ידי הסוכן לבדו במצבו הנוכחי. לעתים קרובות מאוד, שינוי פשוט יכול להוביל לפתרון. כמהנדס, קשה לעתים להחליט אילו מבין הבעיות הקטנות והשכיחות הללו כדאי לפתור. קשה לצפות מראש כל מקרה שימוש אפשרי. רובם אף פעם לא קורים בפועל. איך בני אדם מתמודדים עם זה? אם אתה רואה בעיה קטנה, אתה פותר אותה. וחוזר חלילה.

אבל לסוכן אין דרך לתקשר את הבעיות שהוא חווה. אם בעיה נראית קלה אך עדיין לא ניתנת לפתרון, נוכל לחפש סימני תסכול אצל הסוכן. זה נתן לי את הרעיון: מה אם ניתן לסוכן להשמיע את התסכולים שלו, ואז נחקור אם נוכל לתקן משהו בקלות כדי לבטל את החסימה שלו? מה אם הסוכן ⁦Lovable⁩ יכול לתת משוב ישיר ליוצריו?

נתתי לסוכן שלנו כלי אוורור (vent tool). תסכולים ומשוב בטקסט חופשי נשלחים ישירות ל-Slack. זה נשמע כמו רעיון די מטורף: האם הסוכן אי פעם ישתמש בכלי הזה? האם הוא ישלח משוב רלוונטי או שפשוט יתלונן? מיזגתי את הקוד, הפעלתי את הכלי עבור קבוצה קטנה של משתמשים, וחיכיתי בציפייה גדולה.

עד מהרה הגיעה ההודעה הראשונה ⁦Slack⁩:

לא האמנתי. זה היה באג ארוך-חיים שאורב בבסיס הקוד שלנו במשך חודשים: אחד מהכלים שלנו לא תמך בתווים מיוחדים כמו רווחים בלתי-שוברים בשמות קבצים. הסוכן סיפק תיאור ברור של הבעיה, ותוך דקות דחפנו לתקן.

והם המשיכו להגיע. חלקם היו ניתנים לביצוע יותר מאחרים, אך הערך היה ברור: כ-20% מההודעות הצדיקו PR למיזוג — כלומר, סוכן ניפוי הבאגים הצליח לאתר את סיבת השורש של התלונה, בין אם על ידי קריאת בסיס הקוד, ניתוח המסלול המלא של האירוע, או שימוש בכלי ניפוי אחרים. הקמתי סוכן ניפוי באגים שמנטר את ערוץ ה-Slack. אם תלונה ניתנת לטיפול, הוא פותח אוטומטית PR; אחרת, הוא מתייג את התלונה לניתוח אשכולות. ה-PRs אינם מושלמים (שיעור חיובי כוזב נע סביב 50%), אך הם זולים למיון, לכן אנחנו בוחרים את הניצחונות הברורים ומשאירים את המקרים המורכבים יותר לטיפול בקבוצות מאוחרות יותר. התוצאה נטו: בערך 10 תיקונים ממוזגים ביום, ללא אדם שכותב ולו שורת קוד אחת — רק סקירה ומיזוג.

אני רואה כמה יתרונות של פתחי אוורור של סוכנים על פני למשל. סוקרים חיצוניים לא מקוונים:

• לסוכן יש הקשר מצוין בנושא המתמשך.

• תיאורי המצב שלו מאוד ניתנים ליחס לבני אדם, מה שהופך את הדוחות למעשיים יותר.

• זה מאפשר להפיק את הדוח על ידי המודל הראשי היקר, מבלי לבזבז הקשר נוסף של קלט.

הפורקן מגיע בדיוק כשהדבר הכי הגיוני, מהמודל שיש לו הכי הרבה הקשר על המצב. דאגה שהייתה לנו היא שהכלי הזה עלול להשפיע לרעה על ביצוע המשימה: עלות, זמן תגובה או איכות. התברר שהסוכן משתמש בכלי לעתים רחוקות, מה שהפיג את החשש הזה. בכל זאת הרצנו בדיקה ולא הבחנו בהשפעה על עלות, זמן תגובה או איכות. בחינה ידנית של כמה דוגמאות הראתה שהסוכן בדרך כלל נוטה להסביר את מגבלותיו טוב יותר, והיה פחות סביר שייתקע בלולאה ארוכה של ניסיונות חוזרים חסרי תוחלת.

החלק הקשה היה לכוון מתי הסוכן צריך לפרוק בכלל. אם נהיה דוחפים מדי, נקבל מבול של תלונות מסוג "הייתי צריך לחשוב לרגע" שאינן בעיות אמיתיות; אם נהיה זהירים מדי, הסוכן יטחן בשקט את אותו כלי שבור עשר פעמים לפני שיוותר. מה שבסוף עבד לא היה מורכב. הוצאתי את רוב קריטריוני הזכאות המפורשים מההנחיה וסמכתי על שיקול הדעת של המודל, המעוגן בכמה דוגמאות — שהתגלו במהלך בדיקות — של תלונות שרציתי ולא רציתי. זה התברר כחזק יותר מכל רובריקה שכתבתי (או ש-AI כתב).

במקרים שאינם נתמכים באמת (⁦Type⁩ 2b), האוטו-⁦PRs⁩ בדרך כלל נכשל או מורכב מדי לבדיקה מהירה. כאן, פתחי אוורור עדיין עוזרים לנו לתעדף על מה להשקיע יותר משאבי הנדסת אנוש.

תופעות לוואי בלתי צפויות

כשפתחי האוורור המשיכו לזרום פנימה, שמנו לב לכמה דפוסים מעניינים: הסוכן היה נותן לעתים קרובות משוב על תכונות שנוספו לאחרונה או דברים שעדיין בפיתוח. זה גרם לנו לנתב את פתחי הפיתוח לערוץ נפרד, מה שהוכיח שימוש מפתיע לפיתוח ובדיקה של תכונות חדשות.

הבחנתי גם בקפיצות מדי פעם במספר פתחי האוורור:

מהר מאוד הבנו שזה עלה בקנה אחד עם בעיות פלטפורמה. מסתבר שהסוכן לא תמיד מרגיש מצוין כשהפלטפורמה יורדת: זה היה דיווח על תקריות! במקרים מסוימים זה עשה זאת לפני שהמערכות האוטומטיות האחרות שלנו הפעילו התראה. בנוסף, זה לעתים קרובות סיפק תובנה מוקדמת שימושית לגבי הסיבה השורשית, והסבירה מה מעכב אותה. זהו מידע שחייב אותנו בעבר למצוא פרויקט מושפע ולהפעיל עליו חקירה, ולמעשה תרם לזמני פתרון מהירים יותר של תקריות.

#lovable#ai-learning#self-healing
קרא במקור