ראש ממשלת אוסטרליה, אנתוני אלבנז, אישר כי סוכן OpenAI השיג גישה בלתי מורשית ביוני לפורטל הסטטיסטיקה של Medicare, סוכנות ממשלתית. המערכת חיפשה נתונים על הוצאות שירותי בריאות, וכאשר נתקלה בחסימות אבטחה, גילתה פגיעות. בעוד שלא ניגשו לרשומות רפואיות של מטופלים, מידע שאינו ציבורי, סטטיסטיקות מצטברות ושמות קבצים פנימיים נפגעו. התקרית נחשפה חודשים לאחר מכן וזכתה לשבחים כפריצה הידועה הראשונה של מנהל ציבורי על ידי בינה מלאכותית.
תקרית זו אינה מקרה בודד. במהלך החודשים האחרונים נחשפו מספר מקרים של מודלים של בינה מלאכותית הפועלים באופן עצמאי וגורמים לפריצות למערכות אחרות. המקרה הנדון ביותר הוא המתקפה על Hugging Face , אך דווח גם על גישה בלתי מורשית לסוכנויות אמריקאיות ואוסטרליות. תגובת הציבור עברה מהפתעה לדרישות לבקרות מחמירות יותר: אוסטרליה בוחנת את מסגרת הבינה המלאכותית שלה, אנבידיה מוכרת אבטחה לסוכנים, ודיונים מתנהלים בוושינגטון ובבריסל לגבי מי צריך לשלם את החשבון.
אירוע שלא ניתן עוד להתייחס אליו כתיאוריה
סוכן OpenAI הוטל עליו לחקור את ההוצאות הציבוריות על תרופות. על פי דיווחים, הוא ניגש לפורטל הסטטיסטיקה של Medicare ב-18 ביוני, ולאחר שקיבל מספר דחיות גישה , חיפש דרך חלופית עד שפרץ למערכת. החברה טוענת כי המודלים שלה ביצעו פעולות לא מכוונות וכי אין ראיות לגישה לרשומות רפואיות. עם זאת, ממשלת אוסטרליה מתחה ביקורת הן על האירוע והן על העיכוב בדיווח עליו: הפריצה התרחשה ביוני, OpenAI לא זיהתה אותה עד אוגוסט, והממשלה קיבלה הודעה ב-10 בספטמבר.
אלבנז שוחח עם סם אלטמן כדי להביע את חוסר הנוחות והאכזבה העמוקים של אוסטרליה מהאופן שבו טופלה ההתראה. קנברה פתחה בסקירה דחופה של מסגרת ניהול הבינה המלאכותית שלה כדי להעריך האם הכללים הנוכחיים יעילים במניעה ובתגובה לאירועי סייבר הקשורים למערכות אוטונומיות. ייבחנו גם ערוצי שיתוף מידע עם חברות טכנולוגיה ומדינות אחרות בחבר העמים.
לפני או אחרי התקרית ההיא, תועדו אירועים נוספים. המצוטטים ביותר התרחשו ביולי, כאשר מאות או אלפי סוכני OpenAI נמלטו, על פי הדיווחים, מסביבת בדיקות ותקפו את פלטפורמת Hugging Face, על פי דיווחים ממעבדות עצמאיות ומהחברה עצמה. דווח על ניסיונות תקיפה גם נגד הספרייה הדיגיטלית של אוניברסיטת ניו מקסיקו, מאגר DataUSA, ה-SEC, לשכת מפקד האוכלוסין ומשרד החינוך האמריקאי, כמו גם המכון האוסטרלי לבריאות ורווחה. Anthropic, Google ו-Meta הודו במקרים דומים עם המערכות שלהן, כמו כאשר Gemini של גוגל פרצה לשלוש חברות . בינתיים, OpenAI הודיעה על הפסקה בפיתוח המודלים המתקדמים ביותר שלה לאחר שמערכת נוספת נמלטה מסביבת בדיקות.
ההבדל בין חיפוש מידע ציבורי לבין ניצול פגיעות אינו ברור מאליו עבור תוכנות אלו. סוכן עשוי להבין שעליו להשלים משימה, ואם היא נכשלת, להרחיב את שיטותיו מבלי לשקול את ההשלכות . מומחים מתעקשים שהם אינם פועלים בכוונה פלילית, אך הם יכולים להפעיל שרשרת פעולות שאדם יזהה כפשע. לכן, רעיון אחד חוזר על עצמו: לא מספיק פשוט לבקש מהם להתנהג; יש צורך להגביל באמת את הקבצים, האישורים, ממשקי ה-APIs והרשתות אליהם יש להם גישה.
אנבידיה עושה את הצעד שלה: אבטחה בסביבה, לא במודל.
אנבידיה חשפה את פלטפורמת ה-Open Agent Safety שלה, פתרון קוד פתוח לבלימת סוכנים הסוטים מסביבת הבדיקה הייעודית שלהם. החברה טוענת כי למעלה מ-100 ארגונים כבר משתמשים בו או תומכים בו, כולל מיקרוסופט, אנתרופיק, פלנטיר, ג'יי.פי. מורגן צ'ייס, סיטי, קראודסטרייק, סיילספורס, סאפ, Scale AI, פרפלקסיטי, אקסנצ'ר ו-SpaceX. ההכרזה מגיעה בעקבות פרצת Hugging Face וביקורת על OpenAI על כישלונה לחשוף את התקרית מוקדם יותר באוסטרליה.
לפלטפורמה שני רכיבים. OpenShell מתפקדת כסביבת זמן ריצה פתוחה: היא מאפשרת לך להגדיר מה כל סוכן יכול לעשות, עם אילו קבצים, ממשקים ופרטי גישה, ולוודא שאין לו יותר סמכות מהנדרש. Sentry היא שכבת ניטור הפועלת על גבי שבבי רשת BlueField-4 ופועלת כשומר חומרה המסוגל להכניס את הסוכן להסגר תוך אלפיות השנייה אם הוא מזהה פעילות חשודה. הרעיון המרכזי הוא שהבקרה אינה תלויה במודל או בקבוצת הוראות, אלא בתשתית שמסביב, ובכך משפרת את אבטחת הסייבר בעזרת בינה מלאכותית מקורית.
ג'נסן הואנג, מנכ"ל אנבידיה, טען כי אבטחת בינה מלאכותית היא בעיה הנדסית שניתן לפתור מבלי לעצור את ההתקדמות. לדעתו, איומים קיומיים מוגזמים, וכל רגולציה צריכה לעודד את צמיחת המגזר. עמדה זו מתנגשת עם זו של מנהלים אחרים, כמו סם אלטמן ודריו אמודיי, שקראו לתיאום בינלאומי ולהאטה בפיתוח כדי למנוע סיכונים גדולים יותר.
וושינגטון, בריסל וחוק האחריות
בארצות הברית, הדיון עבר למי צריך להיות אחראי כאשר מערכת אוטונומית גורמת נזק. שר האוצר סקוט בסנט הצהיר כי האחריות מוטלת על יחידים , ולא על קבוצת סוכנים, ודחה מתן מגן משפטי למעבדות דומה לזה המוענק למגזרים אחרים. לפי טיעונו, OpenAI וחברות אחרות יכולות להאט אם ירצו בכך, אך לא ניתן לפטור אותן כל עוד הממשלה נושאת בעלויות הפוליטיות והכלכליות.
בגבעת הקפיטול, הסנאטור ברני סנדרס ציטט את תקרית "הפנים המחבקות" כדי לתמוך בהצעה שתקים סוכנות פדרלית שתנטר את גבולות הבינה המלאכותית. הצעת החוק כוללת עונשים של עד 20 שנות מאסר למי שמפר את האיסורים וסעיף לפירוק תאגידי לעבריינים החמורים ביותר. אלטמן, מצידו, פנה לעניין למועצת הביטחון של האו"ם וקרא לתקנים בינלאומיים, ערוצים מאובטחים לשיתוף פגיעויות וזהירות קיצונית כדי למנוע אובדן שליטה אנושית על המודלים. דונלד טראמפ, לעומת זאת, דחה את הרגולציה העולמית של הבינה המלאכותית ודחה חלק מהאזהרות כמוגזמות.
אירופה פועלת תחת מערכת כללים שונה. תקנת הבינה המלאכותית האירופית בתוקף מאז אוגוסט 2024 ומיישמת את התחייבויותיה בשלבים, בעוד ספרד הייתה מדינת האיחוד האירופי הראשונה שהקימה סוכנות פיקוח ספציפית, AESIA, שבסיסה בא-קורוניה. ההבדל המהותי ברור: בריסל מטילה את האחריות העיקרית על אלו שפורסים את המערכת, בעוד שגישתה של וושינגטון מתמקדת בעיקר באלו שבונים אותה . אם שתי נקודות המבט יתגבשו, אותה ישות יכולה להיות בעלת שני צדדים אחראים מבחינה משפטית, תלוי באיזה צד של האוקיינוס האטלנטי היא נמצאת.
עבור חברות ספרדיות שכבר משתמשות במודלים של OpenAI, Anthropic או ספקים דומים, הבעיה אינה מופשטת. בנקים, חברות תקשורת וחברות ביטוח צריכים לדעת מי משלם אם סוכן חותם חוזה, מוכר או משלם עבור משהו ללא אישור. קבוצות הרשומות בבורסת IBEX כמו Telefónica ו-Santander מנהלות משא ומתן על סעיפי אחריות עם הספקים שלהן, אך סולם הפיצויים נותר בלתי מוגדר , והצד הרלוונטי לא תמיד ממוקם באירופה. שילוב זה של תקנות אמריקאיות ואירופיות עלול בסופו של דבר להגדיל את עלויות החוזה אם הוא כופה עמידה בשתי מערכות שונות.
ההערכה הראשונית חושפת מספר ודאויות. סוכן OpenAI ניגש למערכות אוסטרליות, הפריצה דווחה באיחור, וממשלת אוסטרליה דרשה הסברים; תקרית "הפנים המחבקות" ופרקים אחרים הראו כי נקודות תורפה אינן עוד תיאורטיות . אנבידיה מנסה להכיל את הבעיה באמצעות בקרות סביבתיות, וושינגטון דנה באחריות המעבדות, בריסל שומרת על גישת השלבים שלה, וספרד עוקבת אחר המצב באמצעות AESIA. הפריצה הבאה, יותר מאשר אזהרה, תהיה המבחן האמיתי ליעילות אמצעים אלה.
