כלי בדיקה אוטומטי לתשתיות ענן עם Terraform ו-PyTest
אמ;לק
מאמר זה מתאר את תהליך התכנון והפיתוח של autotest, כלי בדיקה אוטומטי פנימי המשלב Terraform ו-PyTest. הכלי נועד לבחון תשתיות ענן בצורה אוטומטית ויעילה.
סיכום בעברית: מערכת VibeSec · מדיניות המקורות
נוסף ל-VibeSec:
כותרת מקורית: Creating an automated cloud infrastructure testing tool with Terraform and PyTest
התוכן המלא בעברית
תרגום אוטומטי מהמקור; מונחים טכניים נשארו באנגלית. לנוסח המחייב — הכתבה המקורית.
הערת העורך
בלוג זה הופיע במקור ב-fugue.co. Fugue הצטרפה ל-Snyk בשנת 2022 והיא מרכיב מפתח ב-Snyk IaC .
לאחרונה הוטל עלי ליצור כלי בדיקה אוטומטי עבור Fugue. Fugue עוקבת אחר משאבי ענן לצורך תאימות ואבטחה, והיינו צריכים דרך לוודא שהתוצאות המלאות של סריקת Fugue נכונות. המטרה שלי הייתה ליצור מערכת אוטומטית שפועלת באופן מקומי או ב-CI, פורסת תשתית הניתנת להגדרה, סורקת אותה באמצעות Fugue ומאמתת את התוצאות. פוסט זה בבלוג סוקר את תהליך התכנון והיישום של מה שהפך ל-autotest, כלי הבדיקה האוטומטי הפנימי שלנו.
בעוד שדוגמה זו משתמשת ספציפית ב-Terraform וב-Fugue API, עיצוב ה-fixtures ישים לכל פקודות CLI ו-APIs, כך שניתן להתאים את הרעיונות כאן בקלות למקרי שימוש אחרים.
תכנון
לפני תחילת הפרויקט ברצינות, ביליתי כמה ימים במחקר וניסיון להבין את הבעיה. לאחר חיפושים ב-Google, החלטתי לבסס את הכלי שלי על מסגרת pytest. עבדתי בעבר עם pytest ביכולת של בדיקות יחידה (unit testing), אך זו הייתה הזדמנות מושלמת לחקור אותו לעומק ולגלות כיצד להשתמש בו כבסיס לבדיקה פונקציונלית.
ניתן לחלק את הליך הבדיקה לשלושה שלבים:
• השתמש ב-Terraform כדי לפרוס תשתית מודולרית
• צור סביבת Fugue המצביעה על תשתית זו וסרוק אותה
• אחזר תוצאות סריקה ואמת את התוצאות
ידעתי שאני רוצה להשתמש ב-Terraform לשלב 1 כי היו לנו מספר תצורות קיימות של בדיקת תשתית Terraform, ומכיוון ש-Terraform תומך ב-AWS, Azure, וספקי שירותי ענן רבים אחרים. עבור שלב 2, ידעתי שאני יכול להשתמש ב-Fugue API כדי ליצור את הסביבה וליזום סריקה. לבסוף, אוכל להשתמש שוב ב-Fugue API בשלב 3 כדי לקבל את התוצאות המלאות של הסריקה כדי לאמת אותן.
ברגע שהעיצוב ברמה גבוהה היה מוכן, יכולתי להתחיל להסתכל על pytest כדי להבין איך להשתמש בו כדי ליישם את התכנון שלי.
PyTest
pytest היא מסגרת בדיקה עבור Python עם גילוי בדיקות (test discovery), קביעות (assertions) באמצעות הצהרת ה-assert המובנית של Python, ו-fixtures לניהול תלויות.
ה-fixtures הם ה"רוטב הסודי" של pytest. אלו פונקציות מעוטרות שמנהלות את מחזור החיים של תלויות הבדיקה. קוד Setup ו-teardown שבאופן מסורתי ממוקם בשיטות setUp() ו-tearDown(), מונח בתוך ה-fixtures במקום. ניתן להגדיר את טווח (scope) ה-fixture כך שהפלטים שלהם ישמשו שוב בין מחלקות, מודולים או הפעלות.
בואו נסתכל על דוגמה. כאן אני מגדיר ומשתמש ב-fixture לגישה ל-API. בעוד שבבדיקת יחידה הייתי משתמש באובייקט API מדומה (mock), בבדיקה פונקציונלית אני צריך להשתמש בדבר האמיתי.
@pytest . fixture ( scope = "session" ) def api_client ( creds ): api_client = api . initialize_client ( creds ) return api_client def test_api_client_username ( api_client ): assert api_client . username == "mike" def test_api_client_host ( api_client ): assert api_client . host == "https://api.fugue.co"
ה-fixture ששמו api_client מוכרז על ידי שימוש ב-decorator ששמו @pytest.fixture, ואני יכול להגדיר את טווח ה-fixture באמצעות הארגומנט scope ב-decorator. ה-API client בטוח לשימוש חוזר בכל הבדיקות, לכן הגדרתי אותו עם scope של session. ניתן להגדיר fixtures באותו מודול כמו פונקציות או מחלקות הבדיקה, או שניתן למקם אותם ב-conftest.py, מה שיהפוך אותם לזמינים לכל מודולי הבדיקה.
אני יכול להשתמש במתקן רק על ידי הכללת שמו כארגומנט לפונקציית בדיקה. בדוגמה זו, השתמשתי במתקן api_client בשתי בדיקות. מכיוון שהגדרתי את המתקן עם היקף session, pytest יבטיח שהמתקן ייקרא פעם אחת בלבד במהלך כל סשן בדיקה.
אולי שמתם לב שה-fixture ששמו api_client מקבל פרמטר קלט ששמו creds. אנחנו אף פעם לא קוראים לפונקציית ה-API ישירות, אז איך creds מקבל ערך?
אם ניחשתם ש-creds הוא בעצמו fixture, הנה כוכב זהב: ⭐️. פיקסטורות יכולות לקרוא לפיקסטורות אחרות, כך שניתן לבנות תלויות מורכבות משרשרת של פיקסטורות. בואו נסתכל על ההגדרה של creds:
def pytest_addoption ( parser ): parser . addoption ( "--api-secret" , action = "store" , help = "name of credstash secret to use when initializing the API " ) @pytest . fixture ( scope = "session" ) def creds ( request ): """returns API credentials""" secret_name = request . config . getoption ( "--api-secret" ) return credstash . getSecret ( secret_name )
אני שומר על היגיינת אבטחה טובה, לכן creds משתמש ב-credstash כדי לאחסן ולאחזר ערכים סודיים. שם הסוד מועבר כאופציית שורת פקודה ל-pytest. אפשרויות אלו מוגדרות ב-pytest_addoption, והגישה אליהן מתבצעת דרך ה-fixture ששמו request. ה-fixture ששמו creds מקל עלי להפשט את היישום של קבלת אישורים וממקד את החשיבה שלי באילו קלטים נחוצים למבחן או לפיקסטורה נתונים. אם מאוחר יותר אשנה את הדרך שבה אני ניגש לאישורים, אני צריך רק לשנות את ה-fixture ששמו creds.
כעת, לאחר שהבנו את היסודות של pytest fixtures, בואו נראה כיצד נוכל להשתמש בהם כדי ליישם את התכנון שלנו.
שלב 1: שימוש ב-Terraform כדי לפרוס תשתית
השלב הראשון של הכלי שלנו יוצר תשתית שתיסרק ותשמש כבסיס לאימות בשלבים 2 ו-3. אני יודע שאני אשתמש ב-Terraform כדי לפרוס את התשתית הזו, אבל איך בדיוק זה יעבוד?
תכנון
├── aws | ├── api_gateway │ │ ├── aws_api_gateway . tf │ │ ├── aws_api_gateway_client_certificate . tf │ ├── autoscaling │ │ ├── aws_autoscaling_group . tf │ │ ├── aws_autoscaling_lifecycle_hook . tf │ │ ├── ...
קטע זה מציג את המבנה של תצורות הבדיקה הקיימות שלנו. ניתן לפרוס את התצורות הללו באופן ידני על ידי הפעלת terraform apply מהשורש aws/, או מספריית משנה של שירות, כגון aws/api_gateway. אני רוצה לשמר את המודולריות הזו כדי שנוכל לבחור אילו שירותים לבדוק. יכולתי לקרוא ל-Terraform במבנה הקיים, אבל זה הרגל רע - כל עבודת מערכת הקבצים צריכה להיעשות בספריות זמניות ייחודיות כך שהרצות הבדיקה יבוצעו בסביבות מבוקרות - אז אני יודע שאצטרך דרך לנהל סביבות עבודה זמניות. אצטרך גם דרך להפעיל את Terraform, לתעד את הפלט שלו ולבדוק אם יש שגיאות. Terraform תיצור תשתית אמיתית (ויקרה), לכן זה חיוני שתהיה לי טיפול בשגיאות שיפרק את התשתית אם משהו ישתבש.
לסיכום, הדרישות לשלב הראשון הן:
• הפעלת Terraform וטיפול בשגיאות על ידי פירוק תשתית שכבר נוצרה
ברור שאפשר לטפל ב-1 ו-2 בתוך fixture, אבל האם משהו מורכב ומועד לשגיאות כמו יצירת תשתית באמצעות Terraform יכול לעבוד גם כ-fixture?
אם אמרת YES, הנה עוד כוכב זהב: ⭐️. בואו נסתכל מקרוב על האופן שבו אנו מגדירים את סביבת העבודה שלנו ואת גופי Terraform.
ה-Workspace Fixture
@pytest . yield_fixture ( scope = "class" ) def workspace ( tmpdir_factory , provider , services ): """returns an initialized workspace that closes after it's finished""" working_dir = tmpdir_factory . mktemp ( "autotest_tf" ) with Workspace ( working_dir , provider , services ) as w: yield w
class Workspace : def __init__ ( self , base_dir : str , provider : str , services : List [ str ] ) -> 'Workspace' : self . provider = provider self . base_dir = base_dir self . working_dir = os . path . join ( base_dir , provider ) self . services = services def __enter__ ( self ): return self . _initialize_workspace ( self . base_dir , self . provider , self . services ) def __exit__ ( self , typ , value , traceback ): pass
הרבה קורה בשש שורות הקוד של workspace. ראשית, שימו לב ש-workspace מוגדר כ-yield_fixture. המשמעות היא שהפונקציה מחזירה את השליטה למתקשר שלה באמצעות yield במקום return. ביצוע ה-fixture מושהה בינתיים, כך שמנהלי ההקשר (context managers) נשארים פתוחים. כאשר השליטה חוזרת ל-fixture, כל קוד שמגיע אחרי הצהרת ה-yield מבוצע. במקרה זה, מנהל ההקשר של Workspace יוצא. pytest מטפל בקבלת הערך המוחזר מ-yield_fixture, כך שנוכל להתייחס אליהם בדיוק כמו ל-fixtures רגילים. workspace הוא fixture בטווח מחלקה (class-scoped), לכן נוצרת סביבת עבודה חדשה עבור כל מחלקת בדיקה. כך אני יכול לחלק את המבחנים של AWS ו-Azure לפי מחלקות ולוודא שנוצרת סביבת עבודה חדשה עבור כל ספק.
לאחר מכן, אנו יכולים לראות ש-workspace תלוי בשלושה fixtures: tmpdir_factory, provider ו-services. tmpdir_factory הוא fixture מובנה שמחזיר ספרייה זמנית ייחודית. ניתן להגדיר את ספריית הבסיס באופן ידני באמצעות האופציה --basetemp=DIRECTORY, מה ששימושי לניפוי באגים. provider ו-services הם fixtures שהגדרתי שמחזירים את הספק שהבדיקה הנוכחית בודקת מולו, ואת רשימת השירותים מהקלט.
אחד ההיבטים האהובים עלי ב-fixtures הוא שהם מעודדים הפשטות נקיות. קלטים לבדיקה או ל-fixture מוגדרים באמצעות ממשק (הגדרת הפונקציה), בעוד שהמימושים מוסתרים בהגדרת ה-fixture. המודולריות של ה-fixtures מאפשרת לי ליצור במהירות ובקלות fixture נפרד לכל קלט של workspace, כך שלא אתפתה לבנות את הערכים בתוך workspace.
לבסוף, שים לב ש-Workspace הוא מחלקה של מנהל הקשר. זה סוגר אוטומטית את סביבת העבודה כאשר ה-fixture עצמו מסיים את עבודתו. כפי שציינתי קודם, הצהרת ה-yield אינה מסיימת את מנהל ההקשר עד שהשליטה מוחזרת ל-fixture כאשר הוא עובר סופית. השתמשתי בדפוס העוצמתי הזה במהלך התכנון של autotest. העתקת תצורות ה-Terraform שבהן אני רוצה להשתמש לסביבת העבודה מטופלת ב-initialize_workspace, שנשאר כתרגיל לקורא.
ה-Terraform Fixture
ה-fixture ששמו Terraform הוא למעשה שלושה fixtures: terraform, infra ו-terraform_resources. התוצאה של שרשרת הפיקסטורות היא מילון של משאבי Terraform הנקראים מקובץ המצב (state file) של Terraform. terraform מאתחל את Terraform בסביבת עבודה, infra מריץ terraform plan ו-terraform apply כדי לבנות את התשתית, ו-terraform_resources שולף את מפת המשאבים.
ה-fixture ששמו Terraform הוא למעשה שלושה fixtures: terraform, infra ו-terraform_resources. התוצאה של שרשרת הפיקסטורות היא מילון של משאבי Terraform הנקראים מקובץ המצב של Terraform. terraform מאתחל את Terraform בסביבת עבודה, infra מריץ terraform plan ו-terraform apply כדי לבנות את התשתית, ו-terraform_resources שולף את מפת המשאבים.
אתחול וחילוץ מפת משאבים הם פשוטים, אבל אציין ש-terraform_resources צריך להיות yield_fixture מכיוון ש-infra הוא yield_fixture. אם terraform_resources היה מחזיר ערך רגיל, הוא היה סוגר את ההקשר שנותר פתוח על ידי infra ומפעיל את קוד הפירוק.
במקום להשתמש במחלקה של מנהל הקשר, infra משתמש במנהל הקשר מבוסס פונקציה, build_infra, המוגדר להלן:
@contextmanager def build_infra ( t : Terraform, services : List [ str ] ): try : code , out , err = t . plan ( out = 'temp.plan' ) if code == 1 : raise TerraformPlanError ( out , err ) code , out , err = t . apply ( dir_or_plan = 'temp.plan' ) if code == 1 : raise TerraformApplyError ( out , err ) except TerraformApplyError: code , out , err = t . destroy () if code != 0 : raise TerraformDestroyError ( out , err ) raise try : yield t finally : code , out , err = t . destroy () if code != 0 : raise TerraformDestroyError ( out , err )