Ти - злочинець, не знав? Учені з американського містечка поставили на вуха правозахисників

Автор журналу Wired Сідні Фасселл присвятив свій матеріал досліджень вчених у сфері технологій по розпізнаванню осіб, які, на його думку, свідчать про відродження расової теорії.

На початку травні Університет Харрисберга (Пенсільванія, США) опублікував прес-реліз, в якому стверджувалося, що два професори та аспірант розробили програму розпізнавання осіб, яка може спрогнозувати, хто стане злочинцем. У документі також зазначається, що стаття буде опублікована в журналі відомого наукового видавництва Springer Nature.

З 80-відсотковою точністю і без расової необ'єктивності", як стверджують автори статті під назвою "Модель глибокої нейронної мережі для прогнозування вчинення злочинів на підставі обробки фотографій", її алгоритм зможе прогнозувати, чи є хто-то злочинцем, виходячи виключно з фото його особи". Втім прес-реліз з сайту університету був видалений.

А у вівторок більше тисячі фахівців з машинного навчання та етики, соціологів та істориків оприлюднили лист, у якому розкритикували цю статтю. Springer Nature в свою чергу підтвердило в Twitter, що дослідження публікувати не буде.

Однак, за словами вчених, це не кінець історії. Підписанти листа, що назвали себе "Коаліцією за критичні технології" (CCT), підкреслили, що твердження, які містяться в дослідженні, "засновані на необґрунтованих наукових висновках, дослідженнях і методи, які... були вже спростовані раніше". У листі наголошується, що без расової необ'єктивності заздалегідь вказати на злочинця неможливо, "оскільки саме поняття "злочинець" повно расистських забобонів".

Досягнення в області науки про даних і машинному навчанні призвели до появи в останні роки численних алгоритмів, мета яких спрогнозувати вчинення злочину або визначення злочинця. І якщо дані, використовувані для створення цих алгоритмів, упереджені самі по собі, то й алгоритми також будуть такими. Автори листа наголошують, що через расистські природи дій поліцейських в США будь-який алгоритм, моделюючий вчинення злочину, буде лише відображати перекоси, які мають місце в системі кримінального правосуддя.

Перенесення таких забобонів на вивчення осіб дуже схожий на мерзенну "расову теорію" з минулого століття, яка пропонувала використання технологій для визначення відмінностей між расами, наприклад, шляхом вимірювання черепа або ширини носа, як нібито показників інтелекту, чесноти або схильності до злочинів.

Расову науку вже давно поховали, проте дослідження, де використовується машинне навчання для "передбачення" вроджених особливостей і їх оцінки, є натяком на її відродження, що не може не турбувати.

У 2016 р. вчені з шанхайського університету Цзяо Тун заявили, що їх алгоритм може прогнозувати злочинність на підставі аналізу особи. Інженери з Стенфорда і Google спростували твердження вчених, назвавши цей підхід нової "физиономистикой", спростованою расової псевдонауки, популярної серед евгенистов, яка визначає риси характеру виходячи з форми голови.

А в 2017 р. двоє вчених зі Стенфорда стверджували, що створений ними штучний інтелект може визначити по обличчю, хто гей, а хто натурал. ЛГБТ-організації виступили з критикою дослідження, вказавши на те, наскільки негативним може бути поняття автоматичної ідентифікації сексуальності в країнах, криминализующих гомосексуалізм. У минулому році дослідники з Кільського університету в Англії заявили, що їх алгоритм, розроблений на базі відео з дітьми з YouTube, може передбачити аутизм. Раніше в цьому році в Journal of Big Data спробували не тільки визначити характер індивідуума з фотографіями його особи", але і цитували Чезаре Ломброзо, вченого XIX століття, який захищав ідею про те, що злочинність - це спадкове.

Кожне з цих досліджень викликало бурхливу реакцію, однак жодна з них так і не привело до появи нових технологій або медичного обладнання. У той же час автори дослідження з Харрисберга кажуть, що їх алгоритм створений спеціально для застосування правоохоронними органами.

"Злочинність - одна з найбільш важливих проблем сучасного суспільства, - пише у вже віддаленому прес-релізі Джонатан Корн, аспірант з Харрисберга і колишній співробітник поліції Нью-Йорка. - Створення машин, здатних виконувати когнітивні завдання, такі як виявлення схильності до вчинення злочинів у людини за зображенням її обличчя, надасть правоохоронним органам та іншим спецслужбам істотну перевагу в запобіганні вчинення злочинів".

Springer Nature на прохання про коментар до публікації статті не відповіло. Але після заявило: "Ми розуміємо занепокоєння щодо цього дослідження і хотіли б уточнити, що публікувати його не збиралися. Його презентували до майбутньої конференції, з нагоди якої Springer опублікує матеріали із серії книг "Операції у сфері обчислювальної науки і обчислювального інтелекту", які пройшли ретельне рецензування. Рішення редактора серії відхилити підсумкову статтю було прийнято у вівторок, 16 червня, про що авторам офіційно повідомили в понеділок, 22 червня. Деталі процесу рецензування та зроблені висновки конфіденційні, і відомі лише редактору, рецензентами і авторами".

Організації, що відстоюють громадянські свободи, вже давно виступають проти використання правоохоронними органами технології розпізнавання осіб Згідно з доповіддю Тимнит Гебру і Джой Буламуини, вивчають ШІ, які підписали лист CCT, відповідний софт менш точний стосовно людей з більш темною шкірою, ніж для людей зі світлою шкірою.

У 2018 р. ACLU (Американське товариство захисту громадянських свобод) встановило, що технологія Amazon по розпізнаванню осіб, Rekognition, помилково впізнала членів Конгресу як злочинців, при цьому зробивши більше помилок щодо чорних законодавців. Нещодавно Amazon оголосила про введення мораторію строком на рік на продаж технології поліції.

Дослідження з Харрисберга, судячи з усього, у відкритому доступі так і не було опубліковано, але сама по собі публікація таких спірних досліджень може бути небезпечним явищем. Торік берлінський спеціаліст з питань безпеки Адам Харві виявив, що бази даних програми розпізнавання осіб американських університетів використовувалися компаніями, пов'язаними з урядом Китаю. І оскільки наукові роботи в галузі ШІ, що з'явилися з однією метою, можуть бути використані з іншою, то такі дослідження повинні пройти серйозний контроль дотримання норм етики, навіть якщо після цих досліджень і не з'являються нові технології чи методи.

"Подібно до комп'ютерів або двигуна внутрішнього згоряння, що ШІ - це технологія загального призначення, яку можна використовувати для автоматизації безлічі завдань, у тому числі тих, які не є першочерговими", - йдеться в листі.