Досега Meta разчиташе на комбинация от автоматизирани системи и хиляди служители и външни подизпълнители, които проверяваха публикации, реклами и жалби на потребители за нарушения на правилата. Все по-голяма част от тези задачи обаче вече се поемат от изкуствен интелект. От компанията твърдят, че промяната не е мотивирана основно от икономии, а от желанието да се използват по-ефективно новите технологии. Според вътрешни тестове езиковите модели допускат средно с 13% по-малко грешки от човешките модератори и откриват с около 10% повече реални нарушения.

Новата стратегия идва в момент, когато главният изпълнителен директор Марк Зъкърбърг инвестира десетки милиарди долари в разработването на това, което нарича „лична свръхинтелигентност“ – следващото поколение AI продукти и виртуални асистенти.

Освен модерирането на съдържание Meta използва изкуствен интелект и за автоматизиране на вътрешни процеси, включително писане на програмен код и обслужване на клиенти. През последните години компанията проведе и няколко вълни от съкращения и преструктурирания.

Според източници на FT досега Meta е използвала в голяма степен модела Gemini на Google за модериране и клиентска поддръжка, но служителите вече са насочени към новия собствен модел на компанията – Muse Spark.

Въпреки оптимизма около технологията, част от служителите предупреждават, че внедряването на AI модерация се случва прекалено бързо. Според тях системите все още допускат грешки, включително премахване на безобидно съдържание или т.нар. „скрито ограничаване“ (shadow banning), при което публикации престават да се препоръчват на потребителите.

Преходът към автоматизирана модерация вече води до съкращения, особено сред външните подизпълнители. Очаква се Meta постепенно да намали и договорите си с компании, които досега осигуряваха човешки модератори.

Промяната идва и на фона на нарастващ натиск върху компанията заради измамни реклами в нейните платформи. Според по-ранни вътрешни оценки на Meta близо 10% от рекламните ѝ приходи са свързани с реклами на измами или забранени стоки.

Допълнителни въпроси около надеждността на AI системите възникнаха и по-рано този месец, когато десетки хиляди акаунти в Instagram бяха компрометирани от хакери, които са използвали слабости в AI базиран чатбот за клиентска поддръжка.

Въпреки критиките анализатори смятат, че Meta няма намерение да забавя процеса. Компанията залага все повече на изкуствения интелект както за контрол върху съдържанието, така и за оптимизиране на бизнеса си, което може да промени из основи начина, по който социалните мрежи се управляват през следващите години.

Какво може да се обърка?

Зад мащабната автоматизация обаче стоят сериозни въпроси – докъде може да стигне изкуственият интелект в ролята на „съдия“ на онлайн съдържанието и какви са рисковете, ако човекът бъде изваден почти напълно от процеса?

Един от най-големите проблеми при AI модерацията е липсата на човешки контекст. Изкуственият интелект може сравнително лесно да разпознае очевидни нарушения – например насилие или порнографско съдържание, но много по-трудно разбира ирония, сатира, политически шеги, метафори или местен жаргон. Това създава риск невинни публикации да бъдат блокирани само защото алгоритъмът ги тълкува буквално. Подобни случаи могат да доведат до масово премахване на съдържание и ограничаване на потребители, които реално не нарушават правилата.

Злонамерените групи също се адаптират към развитието на технологиите. Докато AI работи по зададени модели и правила, организирани кампании за дезинформация могат да търсят слабите места на системите. Минимални промени в изображения, нови кодови думи, манипулирани видеа или все по-реалистични deepfake материали могат да бъдат използвани за заобикаляне на автоматичните филтри.

Резултатът може да бъде разпространение на опасно съдържание, преди алгоритъмът да бъде обучен да го разпознава.

Освен това големите езикови модели не са безгрешни. Те могат да правят неправилни заключения, да тълкуват погрешно информация или да реагират непредвидимо. При модерирането на съдържание една подобна грешка може да има мащабни последствия – например блокиране на хиляди бизнес профили, рекламодатели или потребители за кратко време.

AI системите се обучават върху огромни количества данни, включително исторически решения, взети от хора. Това означава, че ако в миналото модератори са допускали определени грешки или са прилагали правилата неравномерно, алгоритъмът може да възпроизведе тези модели. Така може да се стигне до системно ограничаване на определени групи, теми или гледни точки, без това да е било предварително заложена цел.

Друг сериозен въпрос е свързан с обжалването на решенията. До момента при спорни случаи човешки модератори можеха да прегледат конкретната ситуация. Ако обаче и първоначалното решение, и последващата проверка се извършват от една и съща AI система, може да се създаде затворен процес, в който потребителите нямат реален достъп до човешка оценка. Това вече поражда недоволство сред потребители и компании, които се опасяват, че могат да останат блокирани от автоматизирани решения без възможност за реален диалог.

Автоматизацията несъмнено предлага огромни възможности – особено при обработката на милиарди публикации и откриването на очевидни нарушения. Но пълното премахване на човешкия контрол крие риск социалните мрежи да се превърнат в среда, управлявана от алгоритми, които могат да разпознават думи и изображения, но не разбират напълно човешкия контекст.