49AI ו-LLM
הזרקת פרומפט — Prompt Injection
Prompt Injection
- מה זה
- מצב שבו קלט משתמש משנה את התנהגות מודל AI או גורם לו להתעלם מהנחיות.
- למה זה חשוב
- חשוב לאפליקציות שמשלבות AI, Claude Code או שירותי LLM.
- דוגמה
- משתמש מזין טקסט שגורם למערכת AI להחזיר מידע או לבצע פעולה שלא התכוונו אליה.
- מה לבדוק / איך למנוע
- מפרידים בין נתוני משתמש להוראות מערכת, מגבילים פעולות, לא נותנים למודל גישה חופשית ל-secrets, ומאמתים תוצאות בצד שרת.
