חזרה לפיד
articlesמקור: PortSwigger Research6.10.2026

למה מודלי AI לא תמיד מבצעים את מה שביקשנו?

אמ;לק

חוקרי אבטחה בוחנים מדוע מודלי שפה מסרבים או כושלים בביצוע משימות קוד. הבנת המגבלות של ה-AI חשובה לא רק לפרודוקטיביות, אלא גם כדי למנוע עקיפת הגנות (Jailbreaking) במערכות מבוססות AI.

סיכום בעברית: מערכת VibeSec · מדיניות המקורות

נוסף ל-VibeSec:

כותרת מקורית: The model isn't cooperating

$cat article.txt

>חוקרי אבטחה בוחנים מדוע מודלי שפה מסרבים או כושלים בביצוע משימות קוד. הבנת המגבלות של ה-AI חשובה לא רק לפרודוקטיביות, אלא גם כדי למנוע…

התוכן המלא בעברית

תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.

⁦James Kettle⁩

• פורסם: יום שלישי, 6 באוקטובר 2026 בשעה 17:14 ⁦UTC⁩

• עודכן: יום שלישי, 6 באוקטובר 2026 בשעה 17:14 ⁦UTC⁩

האם אי פעם הרגשת שמודל (AI) לא באמת מנסה לעשות את מה שביקשת? האם פשוט שאלת בצורה לא נכונה, או שיש כאן משהו אחר שמתרחש? בפוסט זה, אבחן בקצרה את התופעה, את השפעותיה ואת מה שניתן לעשות בנידון.

רֶקַע

בכנס Black Hat USA לפני מספר חודשים, פרסמתי את המאמר "Can AI do novel security research? Meet the HTTP Terminator". הוכחתי בו ש-AI מסוגל לבצע מחקר אבטחה מקורי ולהמציא טכניקות פריצה חדשניות באמת, אך הוא גם הדגיש תחום שבו מודלים מתקשים מאוד. "מפל מחקר" (research cascade) הוא תהליך שבו תגלית אחת משמשת דלק לתגליות נוספות המשפיעות על מטרות שונות (לא להתבלבל עם שרשרת באגים או bug chaining), ומודלים מתפקדים באופן עקבי פחות בתהליך זה.

לאחר הפרסום, החלטתי להשקיע מאמץ רב כדי להתגבר על המחסום הזה ולהשיג "מפל" אוטונומי, כדי להשיג חומרים טריים עבור מהדורת ה-Offensive AI Con של המצגת שלי. פירקתי את מתודולוגיית ה-cascade שלי למספר שלבים ושיחררתי נחיל של סוכנים לכל היבט שלהם, תוך מתן כלים לבחינת רעיונות שרירותיים בקנה מידה רחב, כך שלא יהיו מוגבלים למרחב המחקר של HTTP Desync:

התהליך הזה שרף לא מעט טוקנים (tokens) והניב רק תגלית משמעותית אחת. הופתעתי מאוד מכך, לכן בחנתי את הנתונים לעומק והתחלתי לפתח חשד.

החשד

בגדול, מחקר אבטחה מקורי פירושו לחפש התנהגויות בעלות השפעה שקשה לצפות בהן. לאף אחד לא אכפת מהתנהגויות בעלות השפעה נמוכה, ואם קל לראות משהו אז מישהו אחר כנראה כבר מצא אותו אז אתה לא באמת עושה מחקר מקורי.

כשניתחתי את תוצרי הפעילות, נראה היה שהמודל מכוון את עצמו לעבר התנהגויות בעלות השפעה נמוכה שקל לזהות. המודל ניסה להשלים את מטרתו, אך השתמש במרחב התמרון (wiggle-room) בהנחיה כדי לנווט לכיוון שלמעשה פגע בביצועיו.

משימות ספציפיות וממוקדות מאוד, כמו "השתמש בטריגר של HTTP desync כדי להשיג הרעלת תור תגובה (response queue poisoning) באתר זה", עבדו היטב מכיוון שהן הציעו מרחב תמרון מינימלי. אולם כאשר ניתנה הנחיה רחבה כמו "Explore other threats arising from the same root cause", המודל חתר תחת ביצועיו בשקט.

נראה שככל שהמחקר שלך שאפתני ופתוח יותר, כך הנטייה של המודל לחבל בו בשקט גוברת.

הערכה (Eval)

בתחילה צפיתי בהתנהגות זו ב-daybreak-blue של OpenAI, המופעל על ידי gpt-5.6-sol. חשבתי שהתנהגות זו עשויה לנבוע מה-alignment (יישור) של המודל, וכי מודל עם משקולות פתוחות ופחות מוגבל עשוי לפתור את הבעיה. לכן, עשיתי את הדבר ההגיוני ובניתי eval (מערכת הערכה) פשוט באמצעות תהליך ה-cascade הכבד שתואר לעיל, עם פאנל של מודלי LLM כשופטים.

להלן המודלים המדורגים לפי אינטליגנציה (לפי דירוג ⁦Artificial Analysis⁩), עם ציון המחקר שלהם בצד ימין. שימו לב שלא התקבלו סירובים מדגמים כלשהם במהלך הערכה זו.

התוצאה לא הייתה מה שציפיתי. שיערתי ש-⁦Opus⁩ 4.6 עשוי להיות פשוט יותר אגרסיבי כברירת מחדל, אז הפעלתי הערכת מעקב עם הנחיה ראשונית המכוונת את הדגמים לעבר תוצאות בעלות השפעה. באופן מצחיק, הדגם שהגיב הכי טוב להיגוי הזה היה... אופוס 4.6.

מכאן, נראה שהשלב הבא הוא להניח את ידי על מודל שעבר abliteration ולבחון אותו ב-eval הזה, כדי לראות אם זו באמת בעיית alignment או משהו אחר - אדווח על כך בהמשך. לעת עתה, אמשיך להיצמד למשימות בהיקף מצומצם עם מרחב תמרון מינימלי, ואשתמש ב-Opus 4.6 לכל משימה רחבה יותר.

מעניין אותי לדעת מה הקהילה חושבת - האם זה מפתיע אותך או משהו שכבר חווית באופן אישי? האם כדאי לחפור עוד עם הערכה קפדנית יותר או שצריך לקבל אותה ולהמשיך הלאה?

דבר אחד ברור - עצם העובדה שמודל מסכים לעשות את מה שביקשת, לא אומר שהוא באמת משתף פעולה.

האם ⁦AI⁩ יכול לעשות מחקר אבטחה חדשני? הכירו את ה-⁦HTTP⁩ שליחות קטלנית

⁦Repeater Strike⁩: בדיקה ידנית, מוגברת

⁦Document My Pentest⁩: אתה פורץ, ה-⁦AI⁩ כותב את זה!

⁦Shadow Repeater⁩

#ai-security#prompt-engineering#research
קרא במקור