Адже не США. Як Facebook допомагала автократам на Близькому Сході

Журналіст Politico Europe Марк Скотт із посиланням на внутрішні документи Facebook докладно описав, наскільки шкідливим для жителів Близького Сходу та Центральної Азії виявилися промахи Facebook у модерації місцевого контенту.

Наприкінці 2020 року аналітики Facebook дійшли несподіваного висновку — спроби компанії протидіяти розпалюванню ненависті в арабському світі виявилися безрезультатними.

У 59-сторінковому документі для співробітників компанії, оприлюдненому незадовго до Нового року, інженери в подробицях описали похмурі показники.

З контенту, що розпалює ненависть арабською мовою в Instagram, до його публікації на платформі, що належить Facebook, було визначено лише 6%. Для порівняння: у Facebook показник 40%.

Рекламні пости із нападками на жінок та ЛГБТК на Близькому Сході дуже рідко відзначали як ті, які потрібно видалити. В рамках одного опитування єгипетські користувачі зізналися, що бояться ділитися своїми політичними поглядами на платформі через страх перед затриманням або цькуванням в інтернеті.

В Іраку, де й без того політично нестабільну країну роздирали сутички між сунітськими та шиїтськими бойовиками, у них також брали участь "кіберармії", публікуючи у Facebook образливий і заборонений контент, включаючи фото оголених дітей, тим самим намагалися прибрати опонентів із соцмережі.

Згідно з повідомленням Комісії з цінних паперів і бірж і документами, наданими Конгресу, юрисконсультом Френсіс Хауген, інформатора з Facebook, соцмережі не вдавалося захистити своїх користувачів, боротися з розпалюванням ненависті щодо меншин і найняти достатню кількість кадрів, щоб впоратися з релігійними конфліктами в більшості найнебезпечніших зон конфліктів у світі.

Маса внутрішніх документів Facebook малює картину, на якій гігант соціальних мереж намагається відійти від своєї важливої ролі в країнах, що роздираються війною. Багато з цих держав є домом для великих терористичних або екстремістських угруповань, що поширюють онлайн-пропаганду та насильство на глобальній платформі та в офлайн.

Facebook не дав відповіді на запитання про те, чи вжито його керівництвом будь-яких заходів на підставі доповіді 2020 р., в якій описуються поширені проблеми на Близькому Сході.

В Афганістані, де щомісяця кількість користувачів досягає 5 млн осіб, Facebook найняв лише кілька носіїв місцевої мови для модерування контенту, в результаті чого було видалено менше 1% повідомлень, що розпалюють ненависть. А на Близькому Сході алгоритми виявлення терористичного контенту, що погано працюють, помилково видалили ненасильницький арабський контент у 77% випадків, що обмежувало можливість людей висловлювати свою думку в інтернеті і заважало інформуванню про потенційні військові злочини.

В Іраку та Ємені величезна кількість взаємопов'язаних фейкових еккаунтів, багато з яких мають політичний чи джихадистський підтекст, поширюють дезінформацію та розпалюють насильство, часто між ворогуючими релігійними групами.

В одному повідомленні бойовики Ісламської держави оголосили про вбивство 13 іракських солдатів у Facebook, використовуючи зображення Марка Цукерберга, генерального директора компанії, щоб приховати пропаганду від автоматизованих інструментів контролю контенту платформи.

"У Facebook дуже часто ведуться повноцінні війни", — зазначив Айад, виконавчий директор з Африки, Близького Сходу та Азії Інституту стратегічного діалогу (аналітичного центру, який відстежує екстремізм в інтернеті).

Після президентських виборів у США в 2016 р. увага людей і більша частина ресурсів компанії були приділені боротьбі з роллю Facebook, що зростає і викликає розбіжності, в американській політиці.

У той же час аналогічна роль техногіганта в інших країнах, особливо в тих, де спостерігається гостра релігійна напруженість, викликана роками запеклих конфліктів і слабкими державними інституціями, часто призводила до ще більш плачевних результатів і навіть меншої уваги до ролі компанії в глобальній політиці.

"Ми вважали, що в США погано. Але "сира" версія платформи, яка існує в більшій частині світу, і близько не схожа на ту, яка була б прийнятною у Сполучених Штатах, — сказала журналістам Хауген. — Я насправді вважаю, що на кону стоїть безліч життів".

Дикий Захід мови ворожнечі

Оприлюднена інформація свідчить про те, як незадовільна боротьба техногіганта з екстремістським контентом, що поширює ненависть і розпалює її у країнах Близького Сходу і за його межами, де насильство нікуди не поділося і його популяризація в мережі загрожує мільйонам користувачів Facebook.

Що також дозволило релігійним екстремістським групам, а також режиму "Талібану" в Афганістані та авторитарним урядам на зразок режиму Башар Асада в Сирії використовувати соціальну мережу для поширення повідомлень про насильство і ненависть як усередині цих країн, так і серед потенційних прихильників на Заході.

До таких повідомлень відносяться пости арабською, що розпалюють ненависть, і контент терористів. У деяких описується тактика проведення атаки на певні цілі на Заході. Вони широко поширюються на Facebook та Instagram, часто з повідомленнями, перекладеними англійською мовою.

На відміну від країн, що розвиваються, таких як Індія, де знаходиться найбільша база користувачів Facebook і де місцеві політики чинили значний нормативний тиск на технологічного гіганта, країни Близького Сходу та Центральної Азії, згідно з внутрішніми документами, не отримали такої уваги з боку інженерів компанії.

Facebook, згідно з внутрішнім списком пріоритетних країн на 2021 р., відзначила багато з цих країн як зони підвищеного ризику або так звані зони рівня 1, для яких потрібні додаткові ресурси: складні алгоритми контролю контенту та персонал у країні для реагування на події практично в режимі реального часу.

Але відсутність знання місцевої мови та культури ускладнювало, а то й унеможливлювало боротьбу з розпалюванням ворожнечі в інтернеті та іншими формами шкідливого контенту, націленого на місцеві вразливі соціальні групи, наприклад, на спільноту ЛГБТ. На думку експертів, ці помилки могли мати прямий вплив на насильство у реальному світі.

"Дезінформація та розпалювання ненависті в інтернеті зараз є основними стовпами зовнішньої політики країн і груп на Близькому Сході, — зазначає Колін П. Кларк, директор з політики та досліджень у The Soufan Group. — Таким чином сформовано новий вимір, який у ширшому розумінні каталізує розкол. Що викликає тривогу".

У відповідь Facebook заявила, що має працівників, чиє завдання припиняти зловживання в інтернеті в країнах з високим рівнем ризику, і є носії мови, які в даний час вивчають контент більш ніж 70 мовами по всьому світу.

"Вони досягли прогресу у вирішенні складних проблем — таких як визначення повідомлень, що розпалюють ненависть, і створили нові способи, що дозволяють нам швидко реагувати на проблеми, що виникають, — йдеться в заяві Джо Осборна, представника Facebook. — Ми знаємо, що ці проблеми реальні, і пишаємося виконаною роботою".

Дефіцит носіїв мови

Проблеми Facebook в арабському світі виникли не відразу. Протягом багатьох років аналітики та деякі уряди в цьому регіоні попереджали соцмережу про необхідність великих вкладень у Близький Схід, щоб обмежити поширення мови ворожнечі.

"Я з 2018 р. кажу, що у Facebook недостатньо людей, які говорять арабською, і що їх ШІ не працює, особливо арабською, — сказав Айад. — І ці документи, схоже, є підтвердженням того, що я говорив останні три роки. Тому я вже не здаюся собі психом".

У той же час, навіть у міру посилення проблеми з мовою ворожнечі та іншим шкідливим контентом у регіоні, Facebook не поспішав набирати достатню кількість людей, які говорять на арабських діалектах, особливо тих, хто знає людей у країнах, що роздираються війною.

Коли дослідник Facebook звернувся до команди модераторів контенту компанії, яка розуміє арабський контент, виявилось, що "представництва в Іраку практично не було".

Тоді на цю країну припадала третина всіх виявлених постів, що розпалюють ненависть, у регіоні; а 25 млн іракців, або дві третини населення, мали обліковий запис у Facebook, за оцінками самої компанії.

В іншому окремому документі без дати "Потенціал для значних змін в арабській системі" міститься попередження про те, що в групі модерації контенту майже немає людей, які говорять по-єменськи по-арабськи, хоча громадянська війна в цій країні посилювалася, а Facebook при цьому поставив перше місце у списку пріоритетних країн.

У відповідь Facebook заявила, що додала більше носіїв мови, у тому числі арабської, і розглядає можливість найму більшої кількості спостерігачів з певними мовними навичками, якщо такий персонал буде потрібний.

Відсутність розуміння місцевої специфіки у Facebook в Іраку сприяла активізації релігійних суперечок — сунітські та шиїтські групи били по один одному в соцмережі на тлі загострення міжконфесійного насильства в офлайні.

Згідно з внутрішніми документами в країні, як показує внутрішнє дослідження компанії, діють "кіберармії, які відстежують контент з метою блокування певних сторінок та контенту".

Сюди входили бойовики, що підтримуються Іраном і "Ісламською державою", які регулярно розсилали спам у групах та акаунтах своїх опонентів у Facebook, намагаючись обдурити техногіганта, щоб той відключив майданчики для цифрової пропаганди їхніх опонентів. Також войовничі екстремісти засипали соціальні мережі пропагандою, спрямованою на більшість шиїтів країни.

Наприклад, на початку липня особи, пов'язані з "Ісламською державою", провели скоординовану кампанію у Facebook, в якій нахвалювали смертельний вибух у Багдаді та нападали на тих, хто був пов'язаний з іракським урядом.

Згідно з дослідженням Інституту стратегічного діалогу за кілька днів у мережі було створено близько 125 екстремістських еккаунтів, які націлилися на суперників-шиїтів і публікують графічні зображення теракту.

"Ісламська держава" використовувала місцевий арабський сленг, щоб обійти правила Facebook і поширювати повідомлення, що розпалюють ненависть, принижують людську гідність їхніх опонентів, водночас відкрито зловтішаючись в інтернеті про те, що чиновники Іраку не можуть захистити своїх громадян. Вона також хвалила керівництво терористичної групи за проведення теракту – це пости, які прямо порушували правила технологічного гіганта.

Практично весь цей контент не видалено Facebook до публікації. Він був вилучений лише за кілька тижнів після липневого інциденту, коли представникам компанії повідомили про дані матеріали.

"Те, що відбувається в інтернеті, впливає на те, що відбувається офлайн, — каже Айад. — Мета — змусити людей почуватися невпевнено, і контент загострює напруженість між сунітськими і шиїтськими групами".

Алгоритми, що заблукали в перекладі

Першою лінією захисту Facebook у боротьбі з мовою ворожнечі є складні алгоритми, які автоматично виявляють та видаляють шкідливі матеріали.

Однак згідно з одним із внутрішніх документів компанії ("Аналіз ландшафту мови ворожнечі в Афганістані") за січень 2021 р. ці алгоритми, які націлені на максимальну ефективність у США, часто в країнах з конфліктами майже не працюють. Авторитарні режими та релігійні екстремістські групи засипали платформу посланнями ненависті та підбурюванням до насильства.

В основному проблема полягає в тому, як Facebook навчає свої алгоритми розпізнаванню мови ненависті.

Як і інші технологічні компанії, Facebook покладається на величезний масив наявного онлайн-контенту та інженерів з місцевою мовою, щоб запрограмувати технологію машинного навчання на відсіювання шкідливих матеріалів. Очікується, що ці так звані класифікатори або точки даних, на основі яких алгоритм може навчатися, навчать автоматизовані інструменти видаляти шкідливий контент, перш ніж він зможе швидко поширитися в інтернеті.

Але, згідно з внутрішніми дослідженнями, системи Facebook погано справляються з роботою багатьма іноземними мовами, в основному тому, що місцеві посилання мають культурну складову та алгоритмам складно повністю їх зрозуміти.

В іншому документі за серпень 2020 р., в якому описуються проблеми у боротьбі з розпалюванням ненависті в Ефіопії, інженери компанії були ще більш категоричними. Вони наголосили на відсутності мовних навичок, особливо менш поширених діалектів, а також на нездатність у деяких країнах запустити будь-які автоматизовані інструменти для виявлення шкідливих матеріалів.

"Одна з основних проблем для нормальної роботи в країнах, схильних до ризику, — це наша здатність оцінювати і вимірювати ризики та збитки, — йдеться в документі. — На багатьох із цих ринків у нас немає жодної класифікації, і їх може бути вкрай складно створити".

Такі проблеми повною мірою виявилися фактично одразу в Афганістані.

На початку 2021 р. дослідники Facebook розібралися в тому, як розпалювання ненависті поширюється в цій центральноазіатській країні — так само, як у серпні таліби готувалися відібрати Кабул у уряду, що підтримується США.

Навіть після того, як "Талібан" взяв на себе управління країною, його все ще офіційно заблокували у Facebook, тому що на міжнародному рівні визнано терористичним угрупованням. Проте, згідно з проведеним Politico оглядом онлайн-активності та аналізом сторонніх експертів з дезінформації, у соціальній мережі все ще залишаються десятки підтримуючих талібів повідомлень місцевими та англійською мовами.

Внутрішні документи компанії підтвердили, що місцеві розпалюючі ненависть повідомлення, що з'являються на платформі — все, від нападок на ЛГБТ-спільноту до знущань над нерелігійними афганцями і сторінок Facebook, де транслювався аудіоконтент талібів, є елементами етнічного і релігійного поділу.

Але коли дослідники проаналізували, яка частина цього контенту була автоматично видалена протягом 30 днів, вони виявили, що автоматизовані інструменти контролю контенту Facebook розпізнали лише 0,2%. Іншим контентом займалися рецензенти, хоча гігант соціальних мереж визнав, що в нього недостатньо людей, які говорять мовами пушту і дарі — двома основними мовами Афганістану.

У відповідь на це Facebook заявила, що вклала ресурси в розробку інструментів штучного інтелекту для автоматичного видалення контенту і виявлення повідомлень, що розпалюють ненависть, більш ніж на 50 мовах. Представник компанії додав, що з початку 2021 р. було найнято більше людей, які говорять на пушту та дарі, але відмовився повідомити точну кількість.

Інженери компанії причиною провалу назвали відсутність оновленого списку місцевих образ та інших виразів ненависті, які можна було б використати в алгоритмі контенту для Афганістану, а також суттєві недоліки в тому, як місцеві жителі можуть повідомляти про шкідливий контент у Facebook.

Наприклад, багато онлайн-інструментів, доступних афганцям для виявлення таких висловлювань, не були перекладені місцевими мовами. Натомість ці системи, які також допомогли Facebook навчити інструменти автоматичного виявлення контенту, були доступні лише англійською мовою. Експерти дійшли висновку, що такі обмеження не дали можливості місцевим жителям, більшість із яких говорить лише на пушту чи дарі, повідомляти про подібні повідомлення.

"У плані точності перекладу є величезні прогалини в процесі повідомлення про розпалювання ненависті на місцевих мовах", — йдеться у внутрішній документації. Компанія заявила, що вже перевела ці онлайн-інструменти на дарі та пушту.

У блокувальників знесло дах

Facebook щосили намагається зупинити поширення повідомлень, що розпалюють ненависть, у більшій частині арабомовного світу. Але алгоритми модерації контенту компанії, що погано працюють, мають і зворотний ефект: помилкове видалення дозволених повідомлень і обмеження свободи слова в регіоні.

У документах, опублікованих наприкінці 2020 р., йдеться про те, що інженери компанії виявили: більше трьох чвертей контенту арабською мовою автоматично видаляється нібито через пропаганду тероризму і були помилково позначені як шкідливі.

Згідно з аналізом алгоритми модерації контенту Facebook неодноразово надсилали правомірні політичні заяви, звичайні статті та пропагандистську роботу місцевих правозахисників на автоматичне вилучення. Місцевим філіям Facebook довелося витратити "масу зусиль" на те, щоб поновити ці пости.

До помилкових видалень, наприклад, увійшли новини з Лівану з критикою терористичного угруповання "Хезболла"; контент про ґендерні питання у Палестині; ЗМІ арабською мовою, які обговорювали вбивство іранського генерала Касема Сулеймані, який загинув внаслідок удару безпілотника за наказом тодішнього президента США Дональда Трампа в січні 2020 р.

Експерти дійшли висновку, що компанія, по суті, "закриває рот арабським користувачам і обмежує свободу слова".

У відповідь Facebook заявила, що немає жодних доказів того, що алгоритми компанії припускаються помилок так масштабно, як кажуть аналітики компанії. Її представник додав, що компанія була зобов'язана видалити контент, пов'язаний з ХАМАС та "Хезболлою", тому що уряд США позначив обидві групи як терористичні.

У Діа Кайялі, заступника директора з адвокації в Mnemonic, некомерційній організації, яка допомагає зберігати в соціальних мережах записи про потенційні військові злочини та інші порушення прав людини в Сирії, Ємені та Судані, внутрішні дослідження Facebook здивування не викликали.

Протягом багатьох років його команда та партнери в країні відслідковували часті вбивства політичних активістів, правозахисників та звичайних користувачів Facebook, коли ті публікували повідомлення на гарячі теми на Близькому Сході.

"У вас набагато більше шансів втратити ваш контент у регіоні, якщо він стосується політичних питань", — заявили вони.

Проте видалення Facebook дозволеного контенту спровокувало ефект доміно: згідно з дослідженням 2020 р., з метою покращення свого іміджу компанія в результаті допомогла авторитарним режимам, а не правозахисним групам.

Наприклад, як зазначає організація Syrian Archive, яка документує порушення прав людини, в Сирії, де за час уже десятирічної війни було видалено величезну кількість контенту журналістів і активістів, випадкове видалення таких постів компанією створювало враження, що Facebook підтримує автократичного лідера країни.

Соціальна мережа заявила, що не приймає рішення про те, кого слід визнати офіційним урядом у будь-якій країні, і видаляє контент лише тоді, коли публікації у соціальних мережах порушують її правила.

Для Кайялі, борця за права людини, такі помилки, у тому числі промахи зі зміною алгоритмів Facebook щодо моніторингу контенту в арабомовному світі, які потенційно порушували свободу слова людей, мали реальні наслідки.

За його словами, не лише на Близькому Сході вважають, що техногігант не переймається місцевими проблемами, а такі постійні помилкові видалення заважають документуванню потенційних військових злочинів, зафіксованих у соціальних мережах.

"Машинне навчання Facebook та аналіз арабської мови не такі хороші, як англійською, і упереджені, — зазначають вони. — Поєднання цих двох факторів справді смертельно небезпечне для контенту в цьому регіоні".