Anthropic блокира опит на хакери да пробият нейния Claude AI

Anthropic заяви, че е открила и блокирала хакери, опитващи се да злоупотребят със системата Claude AI за писане на фишинг имейли, създаване на злонамерен код и заобикаляне на филтри за безопасност.

Констатациите на компанията, публикувани в доклад, подчертават нарастващите опасения, че инструментите с изкуствен интелект се използват все по-често в киберпрестъпленията. Anthropic призовават технологичните фирми и регулаторните органи да засилят предпазните мерки с разпространението на AI технологията.

В доклада на Anthropic се казва, че вътрешните системи са спрели атаките. Компанията споделя как хакерите са се опитали да използват Claude за създаване на вредно съдържание, за да помогне на други фирми от бранша да разберат рисковете.

В доклада се посочват опити за използване на Claude за изготвяне на персонализирани фишинг имейли, писане или поправяне на фрагменти от злонамерен код и заобикаляне на защитните мерки чрез многократни подкани. В него са описани и усилията за създаване на сценарии за кампании за влияние чрез генериране на убедителни публикации в голям мащаб и подпомагане на нискоквалифицирани хакери с подробни инструкции.

Компанията не публикува технически индикатори като IP адреси, но заяви, че е забранила свързаните с атаката акаунти и е затегнала филтрите си след откриване на активността.

Експерти казват, че престъпниците все по-често се обръщат към изкуствен интелект, за да направят измамите по-убедителни и да ускорят опитите за хакерство. Тези инструменти могат да помогнат за писането на реалистични фишинг съобщения, да автоматизират части от разработването на зловреден софтуер и дори потенциално да съдействат за планирането на атаки.

Изследователите по сигурност предупреждават, че с нарастването на мощността на моделите с изкуствен интелект, рискът от злоупотреба ще нараства, освен ако компаниите и правителствата не действат бързо.

Anthropic заяви, че следва строги практики за безопасност, включително редовни тестове и външни прегледи, и планира да продължи да публикува доклади, когато открие сериозни заплахи.