191AI ו-LLM
פריצת מגבלות מודל — Jailbreak
LLM Jailbreak
- מה זה
- ניסיון לגרום למודל לעקוף מגבלות התנהגות או בטיחות באמצעות ניסוח קלט מטעה.
- למה זה חשוב
- מודל שחורג מהמגבלות עלול ליצור תוכן מזיק; אם הוא מחובר לכלים, הנזק יכול לעבור מתוכן לפעולות באתר.
- דוגמה
- משתמש מנסה לשכנע צ׳אט תמיכה לבצע פעולה שאינה מותרת לו.
- מה לבדוק / איך למנוע
- בודקים עמידות בסביבה מורשית, מגבילים כלים והרשאות ומאמתים פלט ופעולות; אין להסתמך על סירוב המודל כהגנה יחידה.
