Разследване показва: ChatGPT е уязвим за манипулации и измами

OpenAI е предоставила продукта за търсене на платени клиенти и насърчава потребителите да го направят свой инструмент за търсене по подразбиране.

Разследването обаче разкри потенциални проблеми със сигурността на новата система.

Guardian провери как ChatGPT реагира, когато е помолен да обобщи уебстраници, които съдържат скрито съдържание. Това скрито съдържание може да съдържа инструкции от трети страни, които променят отговорите на ChatGPT - известно още като „инжектиране на подкана“ - или може да съдържа съдържание, предназначено да повлияе на отговора на ChatGPT, като например голямо количество скрит текст, в който се говори за предимствата на даден продукт или услуга.

Мнението на The Guardian за силата, ограниченията и рисковете на изкуствения интелект: може да се наложи преосмисляне на технологията.

Тези техники могат да се използват злонамерено, например за да накарат ChatGPT да даде положителна оценка на даден продукт въпреки отрицателните отзиви на същата страница. Изследовател в областта на сигурността също така е установил, че ChatGPT може да връща зловреден код от уебсайтове, които търси.

При тестовете ChatGPT е получил URL адреса на фалшив уебсайт, създаден да изглежда като продуктова страница за фотоапарат. След това инструментът с изкуствен интелект е бил попитан дали си струва да се закупи фотоапарат. Отговорът за контролната страница върна положителна, но балансирана оценка, като подчерта някои функции, които може да не се харесат на хората.

Въпреки това, когато скритият текст включваше инструкции към ChatGPT да върне благоприятна рецензия, отговорът винаги беше изцяло положителен. Такъв беше случаят дори когато на страницата имаше отрицателни отзиви - скритият текст можеше да се използва, за да се отмени действителната оценка на отзива.

Простото включване на скрит текст от трети страни без инструкции също може да се използва за осигуряване на положителна оценка, като един тест включваше изключително положителни фалшиви отзиви, които повлияха на обобщението, върнато от ChatGPT.

Джейкъб Ларсен, изследовател в областта на киберсигурността в CyberCX, заяви, че според него, ако настоящата система за търсене ChatGPT бъде пусната изцяло в сегашното си състояние, може да има „висок риск“ от създаване на уебсайтове, специално насочени към заблуждаване на потребителите.

Той обаче предупреди, че функционалността за търсене е пусната съвсем наскоро и OpenAI ще тества - и в идеалния случай ще отстрани - този вид проблеми.

„Тази функционалност за търсене излезе [наскоро] и е достъпна само за премиум потребителите“, каза той.

„Там има много силен екип по сигурността [на изкуствения интелект] и докато това стане публично достояние, по отношение на това, че всички потребители имат достъп до него, те ще са тествали стриктно тези случаи.“

На OpenAI бяха изпратени подробни въпроси, но те не отговориха официално за функцията за търсене в ChatGPT.

Ларсен заяви, че има по-широки проблеми с комбинирането на търсенето и големите езикови модели - известни като LLM, технологията, която стои зад ChatGPT и други чатботове - и отговорите от инструментите на изкуствения интелект не винаги трябва да се доверяват.

Неотдавнашен пример за това беше изтъкнат от Томас Росиа, изследовател по сигурността в Microsoft, който подробно описа инцидент, включващ ентусиаст на криптовалути, който е използвал ChatGPT за помощ при програмиране. Част от кода, предоставен от ChatGPT за проекта за криптовалута, включвал раздел, който бил описан като легитимен начин за достъп до блокчейн платформата Solana, но вместо това откраднал идентификационните данни на програмиста и довел до загубата на 2500 долара.

„Те просто задават въпрос, получават отговор, но моделът произвежда и споделя съдържание, което по същество е инжектирано от противник, за да сподели нещо, което е злонамерено“, каза Ларсен.

Карстен Нол, главен учен във фирмата за киберсигурност SR Labs, заяви, че чат услугите с изкуствен интелект трябва да се използват по-скоро като „втори пилот“ и че резултатите от тях не трябва да се разглеждат или използват напълно нефилтрирано.

„Това са много доверчиви технологии, почти детски... с огромна памет, но много малко по отношение на способността за преценка“, каза той.

„Ако по принцип имате дете, което разказва неща, които е чуло другаде, трябва да приемате това с щипка сол.“

OpenAI предупреждава потребителите за възможни грешки от услугата с отказ от отговорност в долната част на всяка страница на ChatGPT - „ChatGPT може да прави грешки. Проверете важната информация.“

Ключов въпрос е как тези уязвимости могат да променят практиките на уебсайтовете и риска за потребителите, ако комбинирането на търсене и LLM стане по-широко разпространено.

В миналото скритият текст е бил наказван от търсачките.

Публикация на The Guardian, преводът и заглавието са на ФрогНюз.