תובנות על פיתוח באמצעות סוכני AI ב-Lovable
אמ;לק
פיתוח אפליקציות באמצעות סוכני AI מאפשר מהירות חסרת תקדים אך דורש הבנה עמוקה של ניהול תהליכי הפיתוח. המאמר מסביר כיצד להטמיע 'סוכנים' בתהליך הפיתוח ולשמור על איכות ויעילות.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: $85,000 in tokens later: What I learned from scaling agentic coding at Lovable
>פיתוח אפליקציות באמצעות סוכני AI מאפשר מהירות חסרת תקדים אך דורש הבנה עמוקה של ניהול תהליכי הפיתוח. המאמר מסביר כיצד להטמיע 'סוכנים' בתהליך…
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
הצטרפתי ל-Lovable בינואר השנה. לפני כן, השתמשתי אולי ב-$600 של אסימונים (tokens) בחודש למשימות הקידוד שלי. מאז שהתחלתי כאן, היקף העבודה גדל, הפרויקט הפך למורכב יותר והחופש להשתמש בכמות אסימונים ככל שהבעיה מצדיקה הביאו את ההוצאה האישית שלי ל-~$25K לחודש במאי, והוצאה כוללת של ~$85K מאז ינואר. הנה מה שקרה כשדחפתי חזק יותר מרוב האנשים ומה למדתי בדרך.
תהליך פיתוח
בינואר 2026, תהליך הקידוד הסוכן שלי כלל מצב תכנון (plan mode), בקשות הרשאה ובדיקת קוד קלאסית. שבוע פרודוקטיבי פירושו 20-30 משימות PR ממוזגות.
נכון ליוני, יש לי סוכן ייעודי שכותב משימות עבור הסוכנים האחרים, עם מספר רמות של סוכני יישום וביקורת. עבור שינויים גדולים, יחידת העבודה היא ערימה (stack) של 10-PR במקום PR בודדת. ביקורת אנושית מתבצעת עבור החלטות חשובות, ורק לעיתים רחוקות עבור הקוד עצמו. שבוע פרודוקטיבי כעת פירושו 150+ משימות PR ממוזגות.
ינואר: מפתח סולו פלוס כמה סוכנים. יוני: אדם אחד מעל 6-7 סוכנים, לכל אחד נחיל סוכני משנה משלו.
מבנה ההוצאה
בערך 75% מהאסימונים שלי מושקעים ישירות ביישום. 25% הנותרים (והנתח הזה גדל) מושקעים בכל צורות האוטומציה: סקירות AI מחוץ לסביבת הפיתוח שלי, סקירות AI לאחר המיזוג, וכל מיני משימות אוטומטיות שגרתיות. אני צופה שהנתח הזה רק יגדל ככל שיותר ויותר עבודה תצא מלולאת ה-PR של יצירת הקוד.
ביקורת אנושית היא יוצאת דופן
המעבר מקוד שנכתב על ידי אדם לקוד שנכתב על ידי AI הוא במובנים רבים רמה חדשה של הפשטה, בדומה למעבר מ-assembly לשפות ברמה גבוהה יותר. בזמנו, אנשים הפסיקו די מהר להסתכל ישירות על הפלט של המהדר. אותו הדבר קורה עם סקירת קוד היום. סקירת קוד שנכתב על ידי AI שורה אחר שורה אינה מעשית ואינה ניצול טוב של הזמן של אף אחד. והתשובה המקובלת לבעיות שנוצרות עקב השימוש ב-AI היא להשתמש ביותר AI, לכן עוברים לסקירות AI כברירת מחדל. אלה הולכות ומשתפרות באופן ניכר עם הזמן.
מה שראיתי שעובד ב-Lovable הוא שמירת הביקורת האנושית לשינויים המשפיעים ביותר. עם זאת, לעתים קרובות זה לא קורה בצורה של סקירת קוד מסורתית על PR. במקום זאת, זה קורה ברמה גבוהה יותר עם RFCs ו-ADRs. לעתים קרובות אנחנו מבצעים יחד ניפוי באגים לבעיות קשות או עורכים מפגשי לוח ציור (whiteboard sessions) פנים אל פנים כדי להסתנכרן על יוזמה חדשה. הדבר החשוב כאן הוא להפנות תשומת לב אנושית למקום שבו היא משפיעה הכי הרבה. לדוגמה, דיון בודד בתכנון מערכת או בחירת תשתית עשוי לשנות את המערכת שלנו יותר מ-50 משימות PR של יישום. זו הסיבה שאנו מנסים להעביר את תשומת הלב האנושית למקום שבו היא הכי נחוצה — וזה לא סקירת קוד.
הבעיה היא שכאשר סקירת הקוד נעלמת, אנו מאבדים הרבה מהיתרונות המשניים שאינם קשורים לאישור שינויים שורה אחר שורה. סקירת קוד הייתה בעבר כלי למידה, ודרך שבה הידע התפזר בארגון. זה היה מנגנון גילוי ויישור אוטומטי גם לבחירות סגנון וארכיטקטורה. כדיסציפלינה, ההנדסה צריכה למצוא דרך לשמר את האפקטים האלה מסדר שני בעולם שבו סקירת הקוד היא אוטומטית במידה רבה. אני עדיין לא רואה פתרונות טובים, רק מקום לניסויים חדשים.
סיווג סיכוני שינויים
עקיפת הביקורת האנושית ברוב ה-PRs מעלה שאלה נוספת: האם ניתן להרחיב את זה לארגון גדול שבו מצטרפים חדשים צפויים לשלוח קוד לייצור (production) כבר בימים הראשונים שלהם? מסתבר שלא, לפחות אם עושים זאת בצורה נאיבית. המערכת צריכה להיות עמידה למדי בפני מפתחים נלהבים בעלי כוונות טובות, שאולי לא מודעים למה שהם לא יודעים. בסופו של דבר בניתי זרימת עבודה מבוססת AI לסיווג PR לפי רמת סיכון, ואכיפה קשיחה של ביקורת אנושית ב-PRs בעלי סיכון גבוה כדי לשמור על רמות סיכון כלליות סבירות.
לכן, עליך לזהות אילו שינויים נושאים סיכון גבוה או נמוך באופן יוצא דופן לשבירת הייצור. איך מסווגים את השינויים? שילוב של שכל ישר ומסווגים מבוססי LLM יביא אותך רחוק. האם זה קשור לתשתית (infra) או לאימות (auth)? תמיד בסיכון גבוה. האם זה פרסום פוסט בבלוג? סיכון נמוך. האם השינוי גדול מדי? האם הצוות של הכותב מחזיק ברוב הקוד שמכיל את השינוי? האם מדובר בפיצ'ר ייצור או במשהו ניסיוני? וכן הלאה.
הליבה של המסווג שלנו היא קובץ מדיניות בפורמט Markdown. הסוכן קורא אותו יחד עם ה-diff של ה-PR והמטא-נתונים, ומחליט היכן נופל PR מסוים מבחינת גודל, רמת סיכון ובעלות על הקוד. לאחר מכן ישנו כלי דטרמיניסטי גדול אך משעמם שמחיל את המדיניות על סמך החלטות הסיווג, וכמה GitHub Actions ומערכת כללים (ruleset) כדי לאשר או לדחות מיזוג של בקשות משיכה במצבן הנוכחי. כמובן שהכל נוצר על ידי AI — ברגע שאתה יודע איזו מדיניות אתה רוצה ליישם, תכנון מערכת סביב זה הוא כמעט בעיה פתורה.
אם תהפוך הערכת סיכון כזו לאוטומטית, תוכל לדרוש סקירה אנושית לשינויים בסיכון גבוה, סקירת AI איטית ויקרה לשינויים בסיכון בינוני, וסקירת AI מהירה וקלילה לשינויים בסיכון נמוך. כך נתח הולך וגדל של שיחות ביקורת יתרחש סביב שינויים שבהם לדיון תהיה התועלת הרבה ביותר.
PRs נכנסים למסווג ומתפצלים לשלושה נתיבים: AI מהיר, AI איטי, וסקירה אנושית כאשר יש צורך בהסלמה.
כל הצורות של סקירת קוד AI
במהלך התקופה שלי ב-Lovable בדקנו לפחות 3 כלי סקירת AI שעובדים על PRs, ועוד כמה שעובדים באופן מקומי בסביבת הפיתוח.
הפשרות בסקירת CI הן... מעניינות. או שאתה מקבל משהו מהיר וזול, אבל יש סיכוי משמעותי שהסוכן יישמע טיפש ו/או יפספס משהו חשוב. לחלופין, הוא יקר ולוקח נצח (30 דקות לכל מעבר זה לא יוצא דופן), אבל הוא בדרך כלל מדויק. מצאתי שהגרסאות האיטיות והיקרות של סקירת AI היו שימושיות יותר מהסקירה האנושית החציונית כבר לפני מספר חודשים. והסוכנים ממשיכים להשתפר.
יש גם ביקורת מקומית. זה יכול להיות פשוט כמו הנחיה של "בדוק את הקוד הזה" או שהוא יכול להתפתח למיומנות מתוחכמת עם סוכני משנה, מעקב אחר ממצאים וכל מיני פעמונים ושריקות.
הרווח הגדול ביותר כאן הוא עצם ביצוע הסקירה המקומית, לעומת הסתמכות על בדיקות CI בלבד. השיפור הגדול הבא הוא האצלת הסקירה של היבטים ספציפיים (כמו נכונות, ביצועים, שימוש חוזר בקוד) למספר סוכני משנה, ולאחר מכן מתן אפשרות לסוכן הראשי לצבור את הממצאים שלהם ולבטל כפילויות. השקענו מאמצים רבים בלשתף את הסוכנים באיך קוד טוב אמור להיראות (דרך מיומנויות, AGENTS.md, מדריכי סגנון לצד הקוד וכו'), וכעת אנשים מתנסים באופן עצמאי בדרכים להריץ סקירות מקומיות באמצעות הידע הזה.
שמתי לב מהר מאוד שאני כמעט ולא חולק על ממצאי סקירה מקומיים. מכאן הצעד הבא הטבעי: מיומנות הסקירה שלי גם מדרגת ומתקנת את הממצאים, הכל באופן אוטונומי. ההפרדה בין הגילוי להערכת הממצאים משפרת את הביצועים הכוללים, שכן כל סוכן מתמקד במשימה שלו. באופן מפתיע, תיקון הממצאים אינו זקוק להקשר משלו — הסוכן שמסוגל להעריך את הממצא היטב, מסוגל גם לתקן אותו היטב.
אם שינוי מוצע שגוי, אני מעדיף למצוא ולתקן את הסיבה השורשית מאשר להילחם בסוכן כדי לתקן ריצה מסוימת. הסוכן בדרך כלל טועה כאשר אין לו מספיק הקשר, ואתה מתקן זאת על ידי שיפור קבצי הידע שלך, מדריכי סגנון וכו'.
אני חושב שאתה רוצה את שני סוגי הביקורות AI במקום. CI סקירה היא המכנה המשותף ורשת הביטחון. ההגדרה המקומית של סקירה ותיקון היא סוס העבודה האמיתי, שבתקווה עושה את עיקר העבודה היצרנית - אבל הבעיה הבלתי פתורה כאן היא איך לשתף את ההגדרה הזו בין אנשים בצורה הטובה ביותר.
סוכן ראשי שולח סוכני משנה נכונות, ביצועים, שימוש חוזר ואבטחה, ואז צובר ממצאים ומתקן אותם.
האם PRs ישרוד את עידן הסוכן?
ראיתי טענה ש-PRs יתיישנו בעידן הקידוד ב-AI, וש-stacked PRs רלוונטיים רק כשמסתמכים על ביקורת אנושית. נכון להיום, אני לא מאמין לאף אחת מהטענות הללו.
PR הוא הפשטה טובה לשינויים לא מאומתים. CI/CD עובד על PRs. כמעט כל הגדרות הבדיקות לפני המיזוג עובדות על PRs. איך עוד אתה מתכוון לאמת שינויים - "Works במחשב שלי"? אז אולי PRs יישארו הפשטה שימושית גם אם התהליך סביבם ישתנה הרבה. השווה זאת לאופן שבו ניתן לאתר את מערכות הקבצים וההפשטה הבסיסית שלהן למה UNIX שפותח עבור חומרה בסיסית שונה מאוד ממה שיש לנו היום.
לגבי stacked PRs, אני מוצא אותם שימושיים להפליא לניהול הקשר וסיכונים. איכות סקירת הקוד של ה-AI יורדת בחדות כשהשינוי הופך גדול מספיק. פעם אחת בצוות שלי, מפתח עמית קיבל אישור סקירת AI ל-PR גדול של 6,000 שורות. ביקשתי לפצל את ה-PR הזה לערימה (stack). כשזה קרה, אותו סוקר AI החל למצוא בעיות אמיתיות חדשות ב-PRs הקטנים שנוצרו. אחרי הסיפור הזה, מהנדסים ב-Lovable פחות ופחות בוטחים ב-PRs גדולים; הם מעולם לא היו ניתנים לסקירה אנושית, ועכשיו אנחנו יודעים שהם גם לא ניתנים לסקירה על ידי AI. אולי התקדמות המודלים תשנה זאת יום אחד, אבל אנחנו עדיין לא שם.
ניהול תשומת הלב שלי
כאשר יש לך מכונת קוגניציה קסומה שפולטת כמות בלתי מוגבלת של קוד, החלפת הקשר נפשית הופכת לאחד המגבלות הקשות על הפרודוקטיביות הכוללת. כמה מחשבות על קנה מידה כאן.
• מצב מהיר (Fast mode) הוא מצוין והגיוני לחלוטין עבור הפעלות אינטראקטיביות. לדוגמה, אני מנסה תמיד לתכנן במצב מהיר. אתה הרבה יותר פרודוקטיבי מאשר אם תנסה לעבוד עם 5 הפעלות אינטראקטיביות במקביל. עם זאת, אני לא רואה סיבה להפעיל מצב מהיר עבור משימות לא אינטראקטיביות. אין שום ערך בכך שמשימה לילית תסתיים ב-3 לפנות בוקר במקום ב-5 בבוקר, למשל. ובמהלך היום אתה בדרך כלל רוצה להתמקד בדבר אחד הכי חשוב בכל פעם — משימות אחרות יכולות להתקדם לאט יותר ברקע.
• אוטונומיה של משימה היא המפתח. לסוכן צריך להיות ההקשר והכלים להניע את המשימה כל עוד זה מעשי. נדרשת גרסה כלשהי של מצב אוטומטי או מצב YOLO; אתה רוצה אפס בקשות הרשאה. לפעמים זה אומר שתרצה להוסיף כלים ייעודיים כדי לאפשר לסוכן לבצע בבטחה פעולות שבדרך כלל נחשבות למסוכנות. לדוגמה, הסוכנים שלי אינם רשאים למזג PRs עם ה-gh CLI, אבל הם רשאים להשתמש ב-"merge when ready" של Graphite עם אמצעי הגנה נוספים הקשורים לרעננות הענפים, היעדר דיונים פתוחים ב-PR וכו'. הפעלות ה-gt CLI עטופות בסקריפט Node.js מותאם אישית המכוסה בבדיקות יחידה, כדי להבטיח שלסוכן אין מקום לטעויות. כל זה מוגדר כמיומנות של סוכן — לקח לא מעט עבודה להגדיר את הכל, אבל המאמץ משתלם בכך שלעולם לא צריך לתקן מיזוג שגוי שוב.
• אני רוצה לוודא שהסוכן בנה את הדבר הנכון. אני רוצה להאציל כמה שיותר עבודת אימות לסוכנים ככל הניתן בבטחה. לפעמים זה הכל, לפעמים צריך אדם בתוך המעגל. באופן אידיאלי, אני רוצה לקבץ את כל עבודת האימות ולבצע אותה בדיוק פעם אחת לכל ערימת PR. זה בדרך כלל אומר לאמת את התוצאה הסופית בראש ערימת ה-PR, ולוודא שאינך צריך לאמת כל PR ביניים בערימה. זה אומר שאתה צריך להיות בטוח שהתהליך שלך מייצר PRs אטומיים כברירת מחדל, שיהיה בטוח למזג בנפרד. ואתה צריך להיות בטוח שכל חריגה תובא לידיעתך על ידי הסוכנים.
ניהול תשומת הלב של הסוכנים
סוכנים זקוקים לתמיכה כדי להיות מסוגלים לבנות שינויים גדולים באופן אוטונומי. להלן חלקי המפתח של ההגדרה שלי לכך.
• שימוש ב-Beads ככלי חיצוני למעקב אחר משימות. משימות גדולות עשויות להזדקק ליותר ממיליון אסימוני הקשר (context). האיכות מתדרדרת והעלות גדלה ככל שחלון ההקשר גדל. אני לא סומך על כך שדחיסה אוטומטית טובה מספיק כמו ניהול הקשר ידני. כמו כן, סוכנים לפעמים קורסים, ואני רוצה כלי מעקב עמיד כדי לדמות אינטראקציה בין מנהל עבודה לעובד — סוכני משנה לא מתאימים לזה. בשורה התחתונה, כל זה דורש צורה כלשהי של מעקב משימות עמיד למדי. אני משתמש ב-Beads עם הגדרה מקומית ללא סנכרון ל-git. אולי כלים אחרים יעבדו באותה מידה.