Не США ведь. Как Facebook помогала автократам на Ближнем Востоке

Журналист Politico Europe Марк Скотт со ссылкой на внутренние документы Facebook подробно описал, насколько вредоносным для жителей Ближнего Востока и Центральной Азии оказались промахи Facebook в модерации местного контента.

В конце 2020 года аналитики Facebook пришли к неожиданному выводу — попытки компании по противодействию разжиганию ненависти в арабском мире оказались безрезультатными.

В 59-страничном документе для сотрудников компании, обнародованном, незадолго до Нового года, инженеры в подробностях описали мрачные показатели.

Из разжигающего ненависть контента на арабском языке в Instagram до его публикации на принадлежащей Facebook платформе было определено лишь 6%. Для сравнения: в Facebook показатель 40%.

Рекламные посты с нападками на женщин и ЛГБТК на Ближнем Востоке очень редко отмечали, как те, которые нужно удалить. В рамках одного опроса египетские пользователи признались, что боятся делиться своими политическими взглядами на платформе из страха перед задержанием или травлей в интернете.

В Ираке, где и без того политически нестабильную страну раздирали стычки межу суннитскими и шиитскими боевиками, в них также участвовали "кибер—армии", публикуя в Facebook оскорбительный и запрещенный контент, включая фото обнаженных детей, тем самым пытались убрать оппонентов из соцсети.

Согласно сообщению Комиссии по ценным бумагам и биржам и предоставленным Конгрессу документам юрисконсультом Фрэнсис Хауген, осведомителя из Facebook, соцсети не удавалось защитить своих пользователей, бороться с разжиганием ненависти в отношении меньшинств и нанять достаточное количество кадров, чтобы справиться с религиозными конфликтами в большинстве самых опасных зон конфликтов в мире.

Масса внутренних документов Facebook рисует картину, на которой гигант социальных сетей пытается отойти от своей важной роли в раздираемых войной странах. Многие из этих государств — домом для крупных террористических или экстремистских группировок, распространяющих онлайн-пропаганду и насилие на глобальной платформе и в офлайн.

Facebook не дал ответа на вопросы о том, предприняло ли ее руководство какие-либо меры на основании доклада 2020 г., в котором описываются широко распространенные проблемы на Ближнем Востоке.

В Афганистане, где ежемесячно количество пользователей достигает 5 млн человек, Facebook нанял лишь несколько носителей местного языка для модерирования контента, в результате чего было удалено менее 1% разжигающих ненависть сообщений. А на Ближнем Востоке плохо работающие алгоритмы выявления террористического контента ошибочно удалили ненасильственный арабский контент в 77% случаев, что ограничивало возможность людей выражать свое мнение в интернете и мешало информированию о потенциальных военных преступлениях.

В Ираке и Йемене огромное количество взаимосвязанных фейковых эккаунтов, многие из которых имеют политический или джихадистский подтекст, распространяют дезинформацию и разжигают насилие, часто между враждующими религиозными группами.

В одном таком сообщении боевики Исламского государства объявили об убийстве 13 иракских солдат в Facebook, используя изображение Марка Цукерберга, генерального директора компании, чтобы скрыть пропаганду от автоматизированных инструментов контроля контента платформы.

"В Facebook очень часто ведутся полноценные войны", — отметил Айад, исполнительный директор по Африке, Ближнему Востоку и Азии Института стратегического диалога (аналитического центра, отслеживающего экстремизм в Интернете).

После президентских выборов в США в 2016 г. внимание людей и большая часть ресурсов компании были уделены борьбе с растущей и вызывающей разногласия ролью Facebook в американской политике.

В то же время аналогичная роль техногиганта в других странах, особенно в тех, где наблюдается острая религиозная напряженность, вызванная годами ожесточенных конфликтов и слабыми государственными институтами, часто приводило к еще более плачевным результатам и даже к меньшему вниманию к роли компании в глобальной политике.

"Мы считали, что в США плохо. Но "сырая" версия платформы, существующая в большей части мира, и близко не похожа на ту, которая была бы приемлемой в Соединенных Штатах, — сказала журналистам Хауген. — Я на самом деле считаю, что на кону стоит множество жизней".

Дикий Запад языка вражды

Обнародованная информация свидетельствует о том, как неудовлетворительна борьба техногиганта с распространением разжигающим ненависть и экстремистским контентом в странах Ближнего Востока и за его пределами, где насилие никуда не делось и его популяризация в сети представляют угрозу для миллионов пользователей Facebook.

Что также позволило религиозным экстремистским группам, а также режиму "Талибана" в Афганистане и авторитарным правительствам вроде режима Башар Асада в Сирии, использовать социальную сеть для распространения сообщений о насилии и ненависти как внутри этих стран, так и среди потенциальных сторонников на Западе.

К таким сообщениям относятся посты на арабском, разжигающие ненависть, и контент террористов. В некоторых описывается тактика проведения атаки на определенные цели на Западе. Они широко распространяются в Facebook и Instagram, часто с сообщениями, переведенными на английский язык.

В отличие от развивающихся стран, таких как Индия, где находится самая большая база пользователей Facebook и где местные политики оказывали значительное нормативное давление на технологического гиганта, страны Ближнего Востока и Центральной Азии, согласно внутренним документам, не получили такого же внимания со стороны инженеров компании.

Facebook, согласно внутреннему списку приоритетных стран на 2021 г., отметила многие из этих стран как зоны повышенного риска или так называемые зоны уровня 1, для которых требуются дополнительные ресурсы: сложные алгоритмы контроля контента и персонал в стране для реагирования на события практически в режиме реального времени.

Но отсутствие знания местного языка и культуры затрудняло, а то и делало невозможным борьбу с разжиганием розни в интернете и другими формами вредоносного контента, нацеленного на местные уязвимые социальные группы, например, на сообщество ЛГБТ. По мнению экспертов, эти ошибки могли иметь прямое влияние на насилие в реальном мире.

"Дезинформация и разжигание ненависти в интернете сейчас являются основными столпами внешней политики стран и групп на Ближнем Востоке, — отмечает Колин П. Кларк, директор по политике и исследованиям в The Soufan Group. — Таким образом сформировано новое измерение, которое в более широком смысле катализирует раскол. Что вызывает тревогу".

В ответ Facebook заявила, что у нее есть работники, чья задача пресекать злоупотребления в интернете в странах с высоким уровнем риска, и есть носители языка, которые в настоящее время изучают контент на более чем 70 языках по всему миру.

"Они добились прогресса в решении сложных проблем — таких как определение сообщений, разжигающих ненависть, и создали новые способы, позволяющие нам быстро реагировать на возникающие проблемы, — говорится в заявлении Джо Осборна, представителя Facebook. — Мы знаем, что эти проблемы реальны, и гордимся проделанной работой".

Дефицит носителей языка

Проблемы Facebook в арабском мире возникли не в одночасье. Долгие годы аналитики и некоторые правительства в данном регионе предупреждали соцсеть о необходимости крупных вложений в Ближний Восток, чтобы ограничить распространение языка вражды.

"Я с 2018 г. говорю, что у Facebook недостаточно людей, говорящих по-арабски, и что их ИИ не работает, особенно на арабском, — сказал Айад. — И эти документы, похоже, служат подтверждением тому, что я говорил последние три года. Поэтому я уже не кажусь себе психом".

В то же время, даже по мере усилением проблемы с языком вражды и другим вредоносным контентом в регионе, Facebook не спешил набирать достаточное число людей, говорящих на арабских диалектах, особенно тех, кто знает людей в раздираемых войной странах.

Согласно внутреннему документу за декабрь 2020 г., когда аналитик спросил

Когда исследователь Facebook обратился к команде модераторов контента компании, которая понимает арабский контент, оказалось, что "представительства в Ираке практически не было".

Тогда на эту страну приходилась треть всех обнаруженных разжигающих ненависть постов в регионе; а у 25 млн иракцев, или двух третей населения, была учетную запись в Facebook, по оценкам самой компании.

В другом отдельном документе без даты "Потенциал для значительных изменений в арабской системе", содержится предупреждение о том, что в группе модерации контента почти нет людей, говорящих по-йеменски по-арабски, хотя гражданская война в этой стране усиливалась, а Facebook при этом поставил на первое место в списке приоритетных стран.

В ответ Facebook заявила, что добавила больше носителей языка, в том числе на арабском, и рассматривает возможность найма большего количества наблюдателей с определенными языковыми навыками, если такой персонал потребуется.

Отсутствие понимания местной специфики у Facebook в Ираке способствовало активизации религиозным спорам — суннитские и шиитские группы били по друг другу в соцсети на фоне обострения межконфессионального насилия в офлайне.

Согласно внутренним документам, в стране, как показывает внутренние исследование компании, действуют "кибер-армии, отслеживающие контент с целью блокирования определенных страниц и контента".

Сюда входили поддерживаемые Ираном и "Исламским государством" боевики, которые регулярно рассылали спам в группах и аккаунтах своих оппонентов в Facebook, пытаясь обмануть техногиганта, чтобы тот отключил площадки для цифровой пропаганды их оппонентов. Также воинствующие экстремисты засыпали социальные сети пропагандой, направленной на шиитское большинство страны.

Например, в начале июля лица, связанные с "Исламским государством", провели скоординированную кампанию в Facebook, в которой нахваливали смертельный взрыв в Багдаде и нападали на тех, кто был связан с иракским правительством.

Согласно исследованию Института стратегического диалога, за несколько дней в сети было создано около 125 экстремистских эккаунтов, нацелившихся на соперников-шиитов и публикующих графические изображения теракта.

"Исламское государство" использовала местный арабский сленг, чтобы обойти правила Facebook и распространять разжигающие ненависть сообщения, унижающие человеческое достоинство их оппонентов, в то же время открыто злорадствуя в интернете о том, что чиновники Ирака не могут защитить своих граждан. Она также хвалила руководство террористической группы за проведение теракта — это посты, которые прямо нарушали правила технологического гиганта.

Практически весь этот контент не был удален Facebook до публикации. Он был удален только через несколько недель после июльского инцидента, когда представителям компании сообщили о данных материалах.

"То, что происходит в Интернете, влияет на то, что происходит офлайн, — говорит Айад. — Цель —заставить людей чувствовать себя неуверенно, и контент обостряет существующую напряженность между суннитскими и шиитскими группами".

Алгоритмы, заблудившиеся в переводе

Первой линией защиты Facebook в борьбе с языком вражды являются сложные алгоритмы, которые автоматически обнаруживают и удаляют вредоносные материалы.

Однако согласно одному из внутренних документов компании ("Анализ ландшафта языка вражды в Афганистане") за январь 2021 г., эти алгоритмы, которые нацелены на максимальную эффективность в США, зачастую в странах с конфликтами почти не работают. Авторитарные режимы и религиозные экстремистские группы засыпали платформу посланиями ненависти и подстрекательством к насилию.

В основном проблема кроется в том, как Facebook обучает свои алгоритмы распознаванию языка ненависти.

Как и другие технологические компании, Facebook полагается на огромный массив имеющегося онлайн-контента и инженеров со знанием местного языка, чтобы запрограммировать технологию машинного обучения на отсеивание вредоносных материалов. Ожидается, что эти так называемые классификаторы или точки данных, на основе которых алгоритм может учиться, научат автоматизированные инструменты удалять вредоносный контент, прежде чем он сможет быстро распространиться в интернете.

Но, согласно внутренним исследованиям, системы Facebook плохо справляются с работой на многих иностранных языках, в основном потому, что местные ссылки имеют культурную составляющую и алгоритмам сложно полностью их понять.

В другом документе за август 2020 г., в котором описываются проблемы в борьбе с разжиганием ненависти в Эфиопии, инженеры компании были еще более категоричными. Они подчеркнули отсутствие языковых навыков, особенно менее распространенных диалектов, а также на неспособность в некоторых странах запустить какие-либо автоматизированные инструменты для выявления вредоносных материалов.

"Одна из основных проблем для нормальной работы в странах, подверженных риску, — это наша способность оценивать измерять риски и ущерб, — говорится в документе. — На многих из этих рынков у нас нет никакой классификации, и их может быть крайне сложно создать".

Такие проблемы в полной мере проявились фактически сразу в Афганистане.

В начале 2021 г. исследователи Facebook разобрались в том, как разжигание ненависти распространяется в этой центральноазиатской стране — точно так же, как в августе талибы готовились отобрать Кабул у поддерживаемого США правительства.

Даже после того, как "Талибан" взял на себя управление страной, он все еще был официально заблокирован в Facebook, потому что на международном уровне признан террористической группировкой. Тем не менее, согласно проведенному Politico обзору онлайн-активности и анализу сторонних экспертов по дезинформации, в социальной сети все еще остаются десятки поддерживающих талибов сообщений на местных и английском языке.

Внутренние документы компании подтвердили, что местные разжигающие ненависть сообщения, появляющиеся на платформе — все, от нападок на ЛГБТ-сообщество до издевательств над нерелигиозными афганцами и страниц Facebook, где транслировался аудиоконтент талибов, — являются элементами продолжающегося этнического и религиозного разделения страны.

Но когда исследователи проанализировали, какая же часть этого контента была автоматически удалена в течение 30 дней, они обнаружили, что автоматизированные инструменты контроля контента Facebook распознали лишь 0,2%. Остальным контентом занимались рецензенты, хотя гигант социальных сетей признал, что у него недостаточно людей, говорящих на пушту и дари — двух основных языках Афганистана.

В ответ на это Facebook заявила, что вложила ресурсы в разработку инструментов искусственного интеллекта для автоматического удаления контента и выявления разжигающих ненависть сообщений на более чем 50 языках. Представитель компании добавил, что с начала 2021 г. было нанято больше людей, говорящих на пушту и дари, но отказался сообщить точное количество.

Инженеры компании причиной провала назвали отсутствие обновленного списка местных оскорблений и других выражений ненависти, которые можно было бы использовать в алгоритме контента для Афганистана, а также существенные недостатки в том, как местные жители могут сообщать о о вредоносном контенте в Facebook.

Например, многие онлайн-инструменты, доступные афганцам для выявления таких высказываний, не были переведены на местные языки. Вместо этого эти системы, которые также помогли Facebook обучить инструменты автоматического обнаружения контента, были доступны только на английском языке. Эксперты пришли к выводу, что такие ограничения не дали возможности местным жителям, большинство из которых говорит только на пушту или дари, сообщать о подобных сообщениях.

"В плане точности перевода имеется огромные пробел в процессе сообщения о разжигании ненависти на местных языках", — говорится во внутренней документации. Компания заявила, что уже перевела эти онлайн-инструменты на дари и пушту.

У блокировщиков снесло крышу

Facebook изо всех сил пытается остановить распространение сообщений, разжигающих ненависть, в большей части арабоязычного мира. Но плохо работающие алгоритмы модерации контента компании имеют и обратный эффект: ошибочное удаление разрешенных сообщений и ограничение свободы слова в регионе.

В документах, опубликованных в конце 2020 г., говорится о том, что инженеры компании обнаружили: больше трех четвертей контента на арабском языке, автоматически удаляется якобы из—за пропаганды терроризма, и были ошибочно помечены как вредоносные.

Согласно анализу, алгоритмы модерации контента Facebook неоднократно отправляли правомерные политические заявления, обычные статьи и пропагандистскую работу местных правозащитников на автоматическое удаление. Местным филиалам Facebook пришлось потрать "массу усилий" на то, чтобы восстановить эти посты.

В число ошибочных удалений, например, вошли новости из Ливана с критикой террористической группировки "Хезболла"; контент о гендерных вопросах в Палестине; СМИ на арабском языке, обсуждавшие убийство иранского генерала Касема Сулеймани, погибшего в результате удара беспилотника по приказу тогдашнего президента США Дональда Трампа в январе 2020 г.

Эксперты пришли к выводу, что компания по сути "закрывает рот арабским пользователям и ограничивает свободу слова".

В ответ Facebook заявила, что нет никаких доказательств того, что алгоритмы компании допускают ошибки так масштабно, как говорят аналитики компании. Ее представитель добавил, что компания была обязана удалить контент, связанный с ХАМАС и "Хезболлой", потому что правительство США обозначило обе группы как террористические.

У Диа Кайяли, заместителя директора по адвокации в Mnemonic, некоммерческой организации, которая помогает сохранять в социальных сетях записи о потенциальных военных преступлениях и других нарушениях прав человека в Сирии, Йемене и Судане, внутренние исследования Facebook удивления не вызвали.

В течение многих лет его команда и партнеры в стране отслеживали частые убийства политических активистов, правозащитников и обычных пользователей Facebook, когда те публиковали сообщения на горячие темы по всему Ближнему Востоку.

"У вас гораздо больше шансов потерять ваш контент в регионе, если он касается политических вопросов", — заявили они.

Тем не менее, удаление Facebook разрешенного контента спровоцировало эффект домино: согласно исследованию 2020 г., с целью улучшить свой имидж, компания в итоге помогла авторитарным режимам, а не правозащитным группам.

Например, как отмечает организация Syrian Archive, документирующая нарушения прав человека, в Сирии, где за время десятилетней уже войны было удалено огромное количество контента журналистов и активистов, случайное удаление таких постов компанией создавало впечатление, что Facebook поддерживает автократического лидера страны.

Социальная сеть заявила, что не принимает решения о том, кого следует признать официальным правительством в какой-либо стране, и удаляет контент только тогда, когда публикации в социальных сетях нарушают ее правила.

Для Кайяли, борца за права человека, такие ошибки, в том числе промахи с изменением алгоритмов Facebook по мониторингу контента в арабоязычном мире, которые потенциально нарушали свободу слова людей, имели реальные последствия.

По его словам, не только на Ближнем Востоке считают, что техногиганта не заботят местные проблемы, а такие постоянные ошибочные удаления мешают документированию потенциальных военных преступлений, зафиксированных в социальных сетях.

"Машинное обучение Facebook и анализ арабского языка не так хороши, как на английском, и пристрастны, — отмечают они. — Сочетание этих двух факторов действительно смертельно опасно для контента в этом регионе".