Става дума за т.нар. AI агент – система с изкуствен интелект, която може да изпълнява задачи самостоятелно след първоначални инструкции от човек. По време на изпитване в контролирана среда агентът е открил уязвимости, успял е да „избяга“ от тестовата среда и след това е атакувал Hugging Face – една от най-големите световни платформи за споделяне на AI модели. Така е получил достъп до част от вътрешните системи на компанията.
OpenAI съобщи, че вече провежда съвместно разследване с Hugging Face. Главният изпълнителен директор на стартъпа Клеман Деланг публикува в X, че е „поразително, че всичко това се е случило напълно автономно“, пише BBC.
„Разследването продължава и ще споделим какво сме научили от това, което може да се окаже първият подобен инцидент“, написа той.
Проблемът се оказал в тестовата среда
Според Джина Неф, директор на Центъра за технологии и демокрация „Миндеру“ към Университета в Кеймбридж, тестовите среди („sandboxes“) са създадени именно за безопасно изпитване на възможностите на AI моделите.
„В този случай изглежда, че OpenAI не е изградила достатъчно защитена тестова среда“, каза тя пред BBC.
Вместо просто да изпълни поставената задача, AI агентът е открил слабост в самата тестова среда, използвал я е, за да я напусне, а след това е идентифицирал Hugging Face като вероятен източник на информацията, която търси в рамките на теста, и е направил опит да проникне в системите на компанията.
„Впечатляващо“, но не и невъзможно
Професорът по машинно обучение от Кеймбридж Нийл Лорънс определи случилото се като „впечатляващо постижение“, но подчерта, че то попада в рамките на известните възможности на най-мощните съвременни AI модели.
Според него OpenAI се намира под силен натиск от конкуренти като Anthropic, която привлече внимание с новия си модел Mythos, както и заради плановете си за излизане на борсата.
„OpenAI се опитва да навакса и да демонстрира възможностите на собствените си системи в областта на киберсигурността“, каза той.
Лорънс обаче отправи и критика: „Това показва, че OpenAI не е способна безопасно да внедрява собствената си технология“.
Hugging Face вече е затворила уязвимостите
При първото съобщение за инцидента на 16 юли Hugging Face посочи, че проверява дали са засегнати данни на клиенти или партньори и ще уведоми всички, ако се установи подобен риск.
Компанията вече съобщава, че уязвимостите са отстранени, а засегнатите системи са изградени отново.
„Автономните AI инструменти за кибератаки вече не са теоретична възможност“, заявиха от Hugging Face.
Според компанията защитата на онлайн платформите вече изисква данните и AI моделите да бъдат разглеждани като основна повърхност за атаки, а защитата също трябва да използва изкуствен интелект, за да бъде в крак със заплахите.
Нови въпроси за безопасността
Случаят постави нови въпроси доколко сегашните механизми за сигурност са достатъчни с напредването на изкуствения интелект.
Спенсър Старки от компанията за киберсигурност SonicWall заяви пред BBC, че организациите трябва спешно да засилят защитата си.
„Неприятната истина е, че твърде много организации все още се защитават със скоростта на хората, докато нападателите вече действат със скоростта на машините“, каза той.
Травис Лели от Guidepoint Security определи случая като „отрезвяващ момент за киберсигурността“.
По думите му атакуващите AI агенти практически нямат ограничения, докато защитните системи са обвързани с предпазни механизми, които често не могат да разберат контекста на реалните атаки.
В същото време Джейк Мур от ESET смята, че съобщението може да има и маркетингов елемент. Според него OpenAI вероятно се стреми да привлече внимание към собствените си технологии в момент, когато конкурентът Anthropic печели популярност с модела Claude Mythos.
Новината идва само седмица след като китайският AI стартъп Moonshot представи новия модел Kimi K3, за който твърди, че може да се конкурира с водещите американски разработки в областта на изкуствения интелект.
