La תכנות בסיוע בינה מלאכותית זה חדל להיות הבטחה עתידית והפך למציאות היומיומית עבור אלפי צוותי פיתוח. תוך שניות ספורות, עוזר בינה מלאכותית יכול לייצר פונקציות שלמות, סקריפטים ואפילו אפליקציות שלמות, וזה מגביר את הפרודוקטיביות, אך גם מגביר את הסיכונים.
מה שארגונים רבים עדיין לא מבינים הוא ש בינה מלאכותית אינה נושאת באחריותכאשר קוד נכשל, הצוות הטכני הוא זה שצריך להתמודד עם המוזיקה. והבעיה אינה רק שהקוד עשוי להיות מעוצב בצורה גרועה או קשה לתחזוקה; האתגר האמיתי הוא שבאחוז עצום מהמקרים, הוא מגיע למצב הייצור עם פגיעויות אבטחה חמורות.
קוד שנוצר על ידי בינה מלאכותית: פרודוקטיביות שיא ומשטח התקפה נמלט
תוך זמן קצר מאוד עברנו לתרחיש שבו אחוז גבוה מאוד מקוד הייצור כבר מקורו במודלים של בינה מלאכותית.מחקרים מצביעים על כך ששליש מהמפתחים מכירים בכך שיותר מ-60% ממה שהם כותבים מגיע מעוזרים חכמים, וכי חברות כבר רואות עלייה מדהימה בפריון הודות למה שמכונה "קידוד וייב", תכנות מבוסס הנחיות.
הצד השני של המטבע הוא ש כמחצית מהקוד שנוצר אוטומטית סובלת מפגיעות מסוימתאלה נעים בין הזריקות SQL ועד שגיאות קריפטוגרפיות ובקרות גישה שתוכננו בצורה גרועה. בשפות מסוימות, כמו ג'אווה, נמצא כי יותר מ-70% מהקוד שהוצע על ידי בינה מלאכותית הכיל פגמי אבטחה.
מצב זה גורם ארגונים רבים שולחים לייצור תוכנה שכבר חושדים שהיא אינה מושלמת.ישנם דיווחים לפיהם יותר מ-80% מהצוותים מודים שפרסו קוד בידיעה שהוא לא היה בשל לחלוטין, וכמעט כולם סבלו מאירוע סייבר כלשהו הקשור לפגיעויות בקוד האמור.
וכדי להחמיר את המצב, התופעה של Shadow AIעובדים המשתמשים בכלי בינה מלאכותית יצירתיים ללא פיקוח ארגוני, מעתיקים ומדביקים קטעי קוד או אפילו מדביקים מידע רגיש לתוך הנחיות. זה פותח דלת לדליפות נתונים ולהתפשטות שקטה של רכיבים לא מאובטחים, שאי אפשר לאתר אותם לאחר מכן.
רבים מהסיכונים הללו מחמירים על ידי זרם עצום של "יזמים אזרחיים"צוות ללא רקע מוצק בהנדסת תוכנה מסתמך על בינה מלאכותית כדי ליצור אוטומציות, אפליקציות פנימיות קטנות או אינטגרציות. הקוד אכן מייצר תוצאות פונקציונליות, אך לעתים קרובות חסרות לו אפילו את הערבויות הבסיסיות ביותר לאבטחה ואיכות.
סיכוני האבטחה העיקריים בקוד שנוצר על ידי בינה מלאכותית
הופעתה של בינה מלאכותית בפיתוח תוכנה לא המציאה פגיעויות חדשות, אלא הכפיל את המהירות והנפח שבהם מופיעות חולשות ישנותמספר ניתוחים של חברות אבטחת סייבר מסכימים על מספר סיכונים קריטיים במיוחד כאשר הצוות מסתמך יותר מדי על כלים יצירתיים.
אחד הבולטים ביותר הוא ה- "קידוד וייב" ללא סוללת בדיקות או ביקורות רציניותפונקציות או שירותים שלמים נוצרים בנקודת הנחיה, נבדקים באופן שטחי כדי לוודא שהם "עובדים", ולאחר מכן משולבים ללא בדיקות אבטחה, ביקורת עמיתים או ניתוח אוטומטי. זה מאפשר לפגיעויות בסיסיות לחמוק, פגיעויות שכל ביקורת קפדנית מינימלית הייתה מזהה.
גם דאגה היא ataques a la cadena de suministro de softwareמודלים של בינה מלאכותית נוטים להמליץ על תלויות של צד שלישי כדי לפתור בעיות נפוצות. אם תלויות אלו אינן מנוטרות ומנותחות באמצעות כלי ניתוח הרכב תוכנה (SCA), הדבר פותח את הדלת להכנסת ספריות זדוניות או גרסאות פגועות לאלפי פרויקטים בפעולה אחת.
La חוסר ניטור וביקורת מתמשכים של חבילות חיצוניות זה מאפשר למודולים עם קוד מעורפל או התנהגות חשודה לפעול בתוך מערכות מבלי להעלות התראות. כאשר בינה מלאכותית מציעה ומשלבת את הרכיבים הללו בקלות כזו, הסיכון שתוכנות זדוניות יחלחלו פנימה במסווה של ספרייה "לא מזיקה" מרקיע שחקים.
חזית עדינה נוספת היא שילוב מודלים של שפה עם מסדי נתונים ומערכות פנימיותחיבור של תואר שני במשפטים (LLM) למידע ארגוני ללא בקרות נאותות פותח פתח להתקפות הזרקה מהירות ולהרעלה: הוראות זדוניות המוסתרות בנתונים או בהודעות שמאלצות את המודל לחשוף סודות, לעקוף מדיניות או לבצע פעולות לא נאותות.
בנוסף, התגלו הדברים הבאים: אלפי אישורים וסודות פעילים במערכי נתונים ציבוריים המשמשים לאימון מודלים מבינה מלאכותית. מפתחות API, סיסמאות וטוקנים מוטמעים בסופו של דבר במאגרים, פורומים או דוגמאות קוד, ויכולים להופיע שוב בתגובות של מודל או להיות מנוצלים על ידי תוקפים המנתחים את מערכי הנתונים הללו.
אסור לנו לשכוח את שורש הבעיה: בטיחות מכוונת נותרה נעדרת ברובהרוב המפתחים מודים שהם משקיעים זמן רב יותר בתיקון באגים מאשר בשילוב דרישות אבטחה משלב התכנון. בסביבות בהן מהירות האספקה היא בעלת חשיבות עליונה, לחץ עסקי דוחף את המפתחים "לשחרר את הפונקציונליות עכשיו" ולהשאיר את האבטחה למועד מאוחר יותר... אם אי פעם יגיע הזמן הזה.
החזון של מנהלי מערכות מידע, ארכיטקטים ומומחים: לקבל את הבינה המלאכותית, אבל עם שליטה
בפגישות מקצועיות שונות ובשולחנות עגולים, מנהלי אבטחת סייבר מחברות בנקאות, תעשייה, ייעוץ טכנולוגי ושירותים מסכימים כי בינה מלאכותית בפיתוח קוד אינה עוד אופציונליתזה נמצא בשימוש מאסיבי ואף CISO הגיוני לא ישקול לאסור זאת לחלוטין.
מה שהם שוקלים זה כיצד למזער סיכונים מבלי לחסום חדשנותרבים מקדמים אסטרטגיות פיתוח מאובטחות המבוססות על גישת "הזזה שמאלה": הבאת בדיקות אבטחה, ניתוח SAST וסקירת תלות לשלבים המוקדמים ביותר של מחזור חיי התוכנה, בדיוק כשהמפתח - או הבינה המלאכותית - כותב את השורות הראשונות.
שינוי זה מניח זאת צוותי אבטחת סייבר כבר לא מגיעים בסוף, כשהכל מפותח ונמצא בייצור.במקום פשוט לומר שצריך לגרוט ולבנות אותו מחדש, הם תומכים בפיתוח מהשלב הראשון של ה-commit, תוך שילוב כלים שמנתחים קוד בזמן אמת ומציעים המלצות מיידיות.
בארגונים שבהם הפיתוח מועבר למיקור חוץ או שנפח הקוד הקנייני אינו עצום, מנהלי אבטחה דורשים נראות לגבי אופן יצירת הקוד הזההם רוצים הבטחות שספקים משתמשים בשיטות עבודה מאובטחות, לא מסתמכים באופן עיוור על עוזרי בינה מלאכותית, ומעבירים קוד דרך סורקים וביקורות רשמיות לפני המסירה.
מנהלי מערכות מידע אחרים מתחילים לראות במפתחים "מאמתים" של מה שבינה מלאכותית מייצרתבמקום להיות כותבי כל שורה, התפקיד משתנה: זה כבר לא רק עניין של יצירת קוד, אלא של הבנתו, הטלת ספק בו, סקירתו ושיפור מה שהמודל מציע, במיוחד בתחומים רגישים כמו אימות, הרשאה, הצפנה או עיבוד של נתונים אישיים.
בחברות עם כמות גדולה של תוכנות מדור קודם, הדגש הוא על לשלוט בפגיעויות המופיעות בספריות של צד שלישי ובשכבות מדור קודם שאף אחד לא מעז לגעת בהן. כאן, כלי ניתוח אוטומטיים וסוכני בינה מלאכותית המתמחים באבטחה מתחילים לסייע במפה סיכונים ולתעדף את מה שצריך לתקן קודם.
בינה מלאכותית כבעלת ברית הגנתית: זיהוי, קביעת סדרי עדיפויות ותגובה
אותה טכנולוגיה שמקלה על כתיבת קוד לא מאובטח משנה באופן קיצוני גם את האופן שבו אנו מתגוננים מפניו. במרכזי תפעול אבטחה (SOCs), פלטפורמות SIEM וכלי ניתוח קוד, מודלים של בינה מלאכותית גנרטיבית ולמידה עמוקה הופכים למרכיבים מרכזיים.
מנועי גילוי מבוססי בינה מלאכותית הם לא מגבילים את עצמם לחיפוש אחר חתימות או דפוסים סטטייםהם מסוגלים לנתח התנהגות קוד, זרימות ביצוע וקשרים סמנטיים בין פונקציות. לאחר שאומנו עם מאגרים עצומים ונתוני איומים מהעולם האמיתי, הם מזהים פגיעויות ולוגיקה זדונית גם כאשר הקוד כתוב בסגנונות לא קונבנציונליים או מערבב שפות.
יתר על כן, מודלים אלה מציעים הקשר איומים ותעדוף חכםלא כל הפגיעויות מצדיקות את אותו מאמץ: פגם הניתן לניצול בשירות קריטי החשוף לאינטרנט נושא משקל רב יותר מבאג בכלי פנימי. בינה מלאכותית יכולה לבצע הפניות צולבות על מידע חשיפה, קריטיות נכסים, היסטוריית ניצול ותצורה בפועל כדי לתעדף התראות ולמקד את הצוות במה שבאמת מסוכן.
נקודה חזקה נוספת היא למידה מתמשכת ומיומנויות הסתגלותככל שהטקטיקות של התוקפים מתפתחות וסגנונות הקידוד משתנים, המודלים מותאמים, ומשלבים וקטורי תקיפה חדשים וכללים שנאספו מאירועים מהעולם האמיתי. זה הופך את ההגנות לאורגניזם חי שגדל לצד מערכת האקולוגית של התוכנה עצמה.
בתחום תגובת אירועים, בינה מלאכותית גנרטורה מאפשרת להפוך חלק גדול מהפעולות הראשוניות לאוטומטיותסיווג אירועים, יצירת סקריפט תגובה, בידוד מערכות מושפעות, המלצות לפתרון בעיות ויצירת דוחות ברורים לצוותים טכניים וניהוליים. כל זה מקצר את זמני התגובה, מונע שגיאות ומשחרר את האנליסטים ממשימות חוזרות ונשנות.
מודלים גנרטיביים משמשים גם עבור לדמות מתקפות סייבר ולאמן את הצוותים עם תרחישים מציאותיים. בינה מלאכותית מייצרת קמפיינים סבירים של פישינג, רצפי תקיפה מורכבים או דפוסי התנהגות חריגים שמאלצים אנליסטים להגיב ולשפר את יכולות קבלת ההחלטות שלהם תחת לחץ.
תוכנות זדוניות ובינה מלאכותית: הייפ, מגבלות נוכחיות ואבולוציה אפשרית
לצד עלייתה של בינה מלאכותית הגנתית, צצו טכנולוגיות נוספות אבות טיפוס של תוכנות זדוניות המשלבות מודלים של שפה או שממנפים שירותי בינה מלאכותית כדי להשתנות באופן דינמי. ניסויים כמו BlackMamba, EyeSpy או תולעת Morris II הראו כי ניתן מבחינה טכנית להשתמש ב-LLM כדי לייצר קוד זדוני בזמן ריצה, להעריך מטרות או להפיץ התקפות באמצעות הוראות מוזרקות.
עם זאת, מספר מומחים בהנדסה הפוכה וב-red teaming מציינים כי, לעת עתה, דוגמאות אלה הן יותר קוריוז טכני מאשר איומים בלתי עבירים.היכולות שהן מפגינות - פולימורפיזם, ביצוע בזיכרון, ערפול או בחירת מטרה - כבר היו קיימות בתוכנות זדוניות מתקדמות ועדיין ניתנות לזיהוי באמצעות הגנות עדכניות.
אחת הסיבות היא ש קוד שנוצר על ידי מודלים שאומנו על נתונים ציבוריים נוטה להיות פחות מתוחכם מקוד שנכתב בהתאמה אישית על ידי תוקף מומחה.תואר שני במשפטים מסתמך על דפוסים נלמדים; הם בדרך כלל לא ממציאים ארכיטקטורות חדשות לגמרי של תוכנות זדוניות מאפס, ולעתים קרובות מייצרים קטעים בינוניים, מיותרים או קלים לחתימה.
בנוסף, כדי שתוכנות זדוניות מבוססות בינה מלאכותית יהיו כדאיות, עליה להציע תשואה ברורה על ההשקעה. לאלו שמפתחים אותו. בדיוק כפי שקרה עם תוכנות כופר או גניבת קריפטו, לא נראה שימוש נרחב בטכניקות מסוימות עד שהן ישולבו בצורה חלקה בתוכנה לגיטימית ותתקיים תשתית בוגרת שתתמוך בהן.
עם זאת, מומחים מסכימים כי, אם המודלים ימשיכו להשתפר בקצב הנוכחייגיע נקודה שבה הם אכן יוכלו לסייע ביצירת איומים מורכבים וגמישים יותר. בתרחיש זה, יהיה צורך לחזק עוד יותר את הפיקוח האנושי, להגן על מודלים מפני מניפולציה ולהבטיח את אבטחת כל צינור הבינה המלאכותית.
הבטחת מחזור החיים המלא של בינה מלאכותית: נתונים, מודלים וצנרת
כשדנים באבטחת סייבר בקוד שנוצר על ידי בינה מלאכותית, פשוט להסתכל על המאגר אינו מספיק: יש להגן על כל מערכת הבינה המלאכותית מקצה לקצה.מאיסוף נתונים ועד לפריסה ותחזוקה של המודל.
העמוד הראשון הוא ה הגנה על נתוני הדרכה והנחיותובחירת פלטפורמות מאובטחות כגון מערכות הפעלה בחינםאם מערכי נתונים מכילים מידע רגיש ולא אנונימי, או אם משתמשים מדביקים סודות ונתונים אישיים לשאילתות, קיים סיכון לדליפות מידע, הופעה חוזרת של אישורים בתגובות, או אפילו פרצות נתונים נרחבות אם ספק הבינה המלאכותית נפגע.
העמוד השני הוא ה שלמות המודלים והאלגוריתמיםהתקפות כמו הרעלת נתונים יכולות לזהם נתוני אימון כדי לעוות את הפלט; וקטורים אחרים מבקשים לנצל פגיעויות בממשקי API של הסקה כדי לחלץ את המודל או לשנות את התנהגותו. שמירה על בקרות גישה קפדניות, הצפנה, ניטור והערכה מתמשכת היא חיונית.
החלק השלישי הוא ה- ניהול ופיקוח על כל הצינורזה כולל מעקב אחר מי משתמש בבינה מלאכותית, לאילו מטרות, אילו סוגי קוד היא מייצרת, אילו ביקורות היא עוברת וכיצד תוצאותיה משולבות במערכות ייצור. ללא נראות זו, בינה מלאכותית של צללים מתפשטת וניהול סיכונים הופך לבלתי אפשרי.
שיטות עבודה מומלצות בתחום זה כוללות מדיניות נתונים חזקה, הצפנה חזקה, אימות רב-גורמי, עקרונות של מינימום הרשאות כדי לגשת למודלים, מעקות בטיחות בהנחיות, סקירות ידניות חובה וניטור מתמיד של קלטים, פלטים והשפעות אמיתיות על הסביבה.
מסגרת SHIELD: קביעת מגבלות ברורות על תכנות בסיוע בינה מלאכותית
כדי לתרגם את כל האמור לעיל לבקרות מעשיות, כמה חברות ייעוץ אבטחה הציעו מסגרות ספציפיות עבור להפחית את הסיכון ל"קידוד וייבים"אחת המקיפות ביותר היא מסגרת SHIELD, המסכמת בשש אותיות את העקרונות הבסיסיים לשימוש אחראי בבינה מלאכותית בפיתוח.
האות "S" באותיות SHIELD מתייחסת ל- הפרדת תפקידיםהמטרה היא למנוע מסוכני בינה מלאכותית לקבל הרשאות מעורבות שמגיעות לסביבות ייצור. הגישה הנבונה היא להגביל את היקפן לפיתוח ובדיקות, ללא אישורים חזקים או גישה ישירה למסדי נתונים אמיתיים.
האות "H" מתאימה ל אדם במעגלמשמעות הדבר היא שקוד שנוצר על ידי בינה מלאכותית חייב תמיד להיבדק ולקבל אישור של אנשי מקצוע מוסמכים, במיוחד כאשר הוא משמש על ידי מפתחים שאינם מקצועיים. אין למזג שינויים משמעותיים ללא בקשת משיכה מפוקחת.
ה"אני" מצביע על ה אימות קלט ופלטיש צורך להפריד בבירור בין הוראות אמינות לנתונים לא אמינים, לטהר הנחיות, לשלוט במה שנדרש מהמודל, ולהגיש את התוצאה לכלים כמו SAST לפני שילובה בבסיס הקוד.
ה-"E" מתמקד ב מודלים עזר מוכווני בטיחותבמקום להסתמך על עוזר רב-תכליתי יחיד, מומלץ להשלים אותו עם כלים ספציפיים לסריקת סודות, אימות בקרה, SCA, זיהוי תלות פנטום ואימות תצורת תשתית כקוד.
האות "L" מתייחסת ל- עקרון ה"מינימום סוכנות" או סוכנות מינימליתסוכני בינה מלאכותית צריכים לפעול עם ההרשאות המינימליות האפשריות: אין גישה לקבצים רגישים, מגבלות מחמירות על פקודות הרסניות, ואין יכולת לבצע שינויים באופן אוטומטי בסביבות קריטיות.
לבסוף, האות "D" מתייחסת ל- בקרות טכניות הגנתיותלפני הפריסה, חיוני להפעיל SCA, להשבית את כל מנגנוני הפריסה האוטומטית המונעים התערבות אנושית, לאלץ צינורות עם שלבי אבטחה ולתעד בקפידה כל פעולה הנובעת מהצעת בינה מלאכותית.
מסגרות מסוג זה מכוונות למשהו פשוט מאוד: נצלו את התאוצה שמציעה בינה מלאכותית מבלי לוותר על שליטהאו, במילים ישירות יותר, העוזר צריך לכתוב יותר שורות בדקה, אבל האחריות, הקריטריונים וההחלטות צריכים להישאר בידי הצוות האנושי.
כל המערכת האקולוגית החדשה הזו - עם בינה מלאכותית שמייצרת קוד במהירות גבוהה, הגנות מבוססות מודלים, מסגרות כמו SHIELD ותרבות קרועה בין חיפזון לזהירות - מאלצת ארגונים להתבגר. אלו שיצליחו לשלב שיטות הנדסיות נכונות, הכשרה מתמשכת בתחום אבטחת הסייבר, פיקוח אנושי קפדני ושימוש חכם בבינה מלאכותית, יהיו אלה שיהפכו את הקוד שלהם... מהיר לייצור, חזק, מאובטח ותואם ליעדי העסקמבלי ליפול למלכודת של להפוך לסתם מפעילים מהירים או לכבות ללא הרף שריפות ביטחוניות.
