Ты - преступник, не знал? Как ученые из американского городка поставили на уши правозащитников
Ученые заявили, что создали программу, которая с 80-процентной точностью может заранее указать на преступника
Автор журнала Wired Сидни Фасселл посвятил свой материал изысканиям ученых в сфере технологий по распознаванию лиц, которые, по его мнению, свидетельствуют о возрождении расовой теории.
В начале мае Университет Харрисберга (Пенсильвания, США) опубликовал пресс-релиз, в котором утверждалось, что два профессора и аспирант разработали программу распознавания лиц, которая может спрогнозировать, кто станет преступником. В документе также говорится, что статья будет опубликована в журнале известного научного издательства Springer Nature.
С "80-процентной точностью и без расовой необъективности", как утверждают авторы статьи под названием "Модель глубокой нейронной сети для предсказывания совершения преступлений на основании обработки фотографий", ее алгоритм сможет прогнозировать, "является ли кто-то преступником, исходя исключительно из фото его лица". Впрочем пресс-релиз с сайта университета был удален.
А во вторник больше тысячи специалистов по машинному обучению и этике, социологов и историков обнародовали письмо, в котором раскритиковали эту статью. Springer Nature в свою очередь подтвердило в Twitter, что исследование публиковать не будет.
Однако, по словам ученых, это не конец истории. Подписанты письма, назвавшиеся "Коалицией за критические технологии" (CCT), подчеркнули, что утверждения, содержащиеся в исследовании, "основаны на необоснованных научных выводах, исследованиях и методах, которые... были уже опровергнуты ранее". В письме отмечается, что без расовой необъективности заранее указать на преступника невозможно, "поскольку само понятие "преступник" полно расистских предрассудков".
Достижения в области науки о данных и машинном обучении привели к появлению в последние годы многочисленных алгоритмов, цель которых спрогнозировать совершение преступления или определения преступника. И если данные, используемые для создания этих алгоритмов, предвзяты сами по себе, то и алгоритмы также будут таковыми. Авторы письма подчеркивают, что из-за расистской природы действий полицейских в США любой алгоритм, моделирующий совершение преступления, будет лишь отражать перекосы, которые имеют место быть в системе уголовного правосудия.
Перенос таких предрассудков на изучение лиц очень похож на мерзкую "расовую теорию" из прошлого века, которая предлагала использование технологий для определения различий между расами, например, путем измерения черепа или ширины носа, как якобы показателей интеллекта, добродетели или склонности к преступлениям.
Расовую науку уже давно похоронили, однако исследования, где используется машинное обучение для "предсказания" врожденных особенностей и их оценки, являются намеком на ее возрождение, что не может не беспокоить.
В 2016 г. ученые из шанхайского университета Цзяо Тун заявили, что их алгоритм может прогнозировать преступность на основании анализа лица. Инженеры из Стэнфорда и Google опровергли утверждения ученых, назвав этот подход новой "физиономистикой", опровергнутой расовой псевдонауки, популярной среди евгенистов, которая определяет черты характера исходя из формы головы.
А в 2017 г. двое ученых из Стэнфорда утверждали, что созданный ими искусственный интеллект может определить по лицу, кто гей, а кто натурал. ЛГБТ-организации выступили с критикой исследования, указав на то, насколько негативным может быть понятие автоматической идентификации сексуальности в странах, криминализующих гомосексуализм. В прошлом году исследователи из Кильского университета в Англии заявили, что их алгоритм, разработанный на базе видео с детьми из YouTube, может предсказать аутизм. Ранее в этом году в Journal of Big Data попытались не только "определить характер индивидуума по фотографиям его лица", но и цитировали Чезаре Ломброзо, ученого XIX века, который защищал идею о том, что преступность - это наследственное.
Каждое из этих исследований вызвало бурную реакцию, однако ни одно из них так и не привело к появлению новых технологий или медицинского оборудования. В то же время авторы исследования из Харрисберга говорят, что их алгоритм создан специально для применения правоохранительными органами.
"Преступность - одна из наиболее важных проблем современного общества, - пишет в уже удаленном пресс-релизе Джонатан Корн, аспирант из Харрисберга и бывший сотрудник полиции Нью-Йорка. - Создание машин, способных выполнять когнитивные задачи, такие как выявление склонности к совершению преступлений у человека по изображению его лица, предоставит правоохранительным органам и другим спецслужбам существенное преимущество в предотвращении совершения преступлений".
Springer Nature на просьбу о комментарии до публикации статьи не ответило. Но после заявило: "Мы понимаем беспокойство относительно этого исследования и хотели бы уточнить, что публиковать его не собирались. Его презентовали к предстоящей конференции, по случаю которой Springer опубликует материалы из серии книг "Операции в сфере вычислительной науки и вычислительного интеллекта", которые прошли тщательное рецензирование. Решение редактора серии отклонить итоговую статью было принято во вторник, 16 июня, о чем авторам официально сообщили в понедельник, 22 июня. Детали процесса рецензирования и сделанные выводы конфиденциальны, и известны лишь редактору, рецензентами и авторами".
Организации, отстаивающие гражданские свободы, уже давно выступают против использования правоохранительными органами технологии распознавания лиц. Согласно докладу Тимнит Гебру и Джой Буламуини, изучающих ИИ, которые подписали письмо CCT, соответствующий софт менее точен в отношении людей с более темной кожей, нежели для людей со светлой кожей.
В 2018 г. ACLU (Американское общество защиты гражданских свобод) установило, что технология Amazon по распознаванию лиц, Rekognition, ошибочно опознала членов Конгресса как преступников, при этом совершив больше ошибок в отношении черных законодателей. Недавно Amazon объявила о введении моратория сроком на год на продажу технологии полиции.
Исследование из Харрисберга, судя по всему, в открытом доступе так и не было опубликовано, но сама по себе публикация таких спорных исследований может быть опасным явлением. В прошлом году берлинский специалист по вопросам безопасности Адам Харви обнаружил, что базы данных программы распознавания лиц американских университетов использовались компаниями, связанными с правительством Китая. И т.к. научные работы в области ИИ, появившиеся с одной целью, могут быть использованы с другой, то такие исследования должны пройти серьезный контроль соблюдения норм этики, даже если после этих исследований и не появляются новые технологии или методы.
"Подобно компьютерам или двигателю внутреннего сгорания, ИИ - это технология общего назначения, которую можно использовать для автоматизации множества задач, в том числе тех, которые не являются первоочередными", - говорится в письме.
