Ваша компьютерная честь. Кого осудит искусственный интеллект в украинских судах

Судебная реформа – одна из тех, которые так и не были решены украинской властью. О коррумпированности работы судей слагают легенды. Потому идея Михаила Федорова об использовании искусственного интеллекта в работе судов выглядит уместно. По крайней мере, на первый взгляд.

Его желание решить проблему украинского судопроизводства цифровым путем понятно. И даже можно понять идею применить для решения этой проблемы современные технологические решения, которые по замыслу будут максимально беспристрастными, в отличие от украинских судей. Повязку на глазах Фемиды желают заменить нейронной сетью, которая научится на сотнях тысяч судебных дел и вынесенных приговоров, в результате чего будет объективно выносить приговоры, невзирая на смягчающие обстоятельства, которыми, в случае Украины, могут быть причастность к власти (прямая или опосредованная), родство с богатыми людьми или другие моменты вроде дачи взятки. Однако эта логическая цепочка на самом деле ошибочна. Считать, что искусственный интеллект беспристрастен, неверно. Искусственный интеллект на самом деле агрегирует все предрассудки, которыми располагает человечество, и использует их в гораздо больших масштабах.

Как алгоритмы пытались ввести в американских судах

В США с 2014 пытались использовать искусственный интеллект в судопроизводстве. Эти попытки возобновили в 2020 году. Алгоритм помогает судьям из Нью-Йорка с рекомендациями о том, каких подсудимых следует отпустить под залог, а каких нужно отправить в тюрьму еще на этапе предварительного следствия. Инструмент, являющийся результатом пятилетнего проекта стоимостью $2,7 млн, был разработан для использования 200 судьями, ежедневно принимающими решение относительно того, можно ли отпустить подозреваемого – будет ли он являться на судебные заседания или склонен бежать. Многие штаты в США и раньше использовали алгоритмы, которые помогали бы принимать решение об освобождении под залог, классифицировать заключенных и выносить приговоры осужденным.

Однако проблема этих алгоритмов заключалась в их предубежденности. Анализ показал, что они часто рекомендовали заключение для непропорционального количества молодых темнокожих и латиноамериканцев. Иными словами, эти алгоритмы автоматизировали существующие человеческие предубеждения. Алгоритм, разработанный специалистами из Стэнфордского университета, должен был устранить подобные предвзятости. Необходимость таких изменений стала очевидной после анализа решений судей по мерам пресечения. Как выяснилось, одни судьи в 90% разрешали выходить под залог, у других этот показатель не превышал 50%. Чтобы уменьшить это поразительное отличие, стали использовать алгоритмизированную систему.

Этим разработкам предшествовали другие эксперименты, сочетавшие алгоритмическую беспристрастность и работу судей. Среди них – пилотный проект, введенный в 2014 году в Нью-Джерси. С одной стороны, его работа была эффективной – он позволил снизить загруженность тюрем. Но демографические показатели подсудимых, оказавшихся в тюрьме, остались почти такими же, как и раньше: примерно 50% темнокожих и около 30% белых заключенных. Дальнейший анализ этого инструмента показал, что он работает так же предвзято, как и судьи, учитывающие расу или другие характеристики подозреваемого.

К примеру, афроамериканка Бриша Борден взяла непристегнутый детский велосипед, проехалась на нем и бросила неподалеку. Соседи вызвали полицию и девушка оказалась в тюрьме по обвинению в мелкой краже на сумму $80. Почти в то же время белого мужчину Вернона Пратера задержали за небольшую кражу на такую же сумму. В отличие от Бриши, Вернон ранее был осужден за вооруженное нападение. Однако алгоритмическая система решила, что для Бриши существует высокий риск совершения повторного преступления, а для Вернона он невелик, поэтому Вернон получил лишь предупреждение. Самое интересное, что в течение нескольких последующих лет Бриша больше не имела отношения к преступлениям, а Пратер был приговорен к 8 годам за повторную серьезную кражу со взломом.

Другие пострадавшие от предвзятости этого алгоритма – Дилан Фаджет и Бернард Паркер. Их обоих арестовали за хранение кокаина и марихуаны. Однако для афроамериканца Паркера алгоритм установил высокий риск повторного преступления, а для белого Фаджета – низкий. Впоследствии Фаджета еще трижды арестовывали из-за таких же случаев. В результате анализа работы этой судебно-алгоритмической системы на 7 тысячах дел журналисты ProPublica обнаружили, что система в большинстве случаев прогнозирует рецидив совершения преступлений для афроамериканцев.

Именно поэтому еще в 2019 году 27 известных американских ученых из Гарварда, Принстона, Колумбийского университета и Массачусетского технологического института опубликовали открытое письмо, в котором выразили серьезную обеспокоенность практикой алгоритмической оценки досудебных рисков в отношении людей, подозреваемых в совершении преступлений.

Почему алгоритмы в судах действуют предвзято

Есть несколько проблем использования алгоритмов в судах. И одна из них – закрытость принципов их работы. Разработчики часто не объясняют, как работают эти платформы, ссылаясь на защиту интеллектуальной собственности. Однако судьям и подозреваемым приходится им просто верить, не понимая причин, заставивших алгоритмы принять то или иное решение. Кроме того, до сих пор не прописаны механизмы того, как действовать, если алгоритм ошибается – существуют ли способы обжалования его решения вроде апелляции по решению судей

Наибольшая сложность использования таких автоматизированных систем заключается в том, что прежде чем начать работу, они учатся на уже существующих решениях. Их обучение состоит в поиске закономерностей, их анализе и использовании этих закономерностей. Если есть ложные закономерности, к примеру, о том, что афроамериканцы чаще совершают повторные преступления, то используемая в суде система искусственного интеллекта будет всем афроамериканцам приписывать высокий риск повторного преступления, даже если конкретный человек ошибочно оказался в зале суда. Другими словами, системы искусственного интеллекта в судопроизводстве часто автоматизируют предубеждения или расширяют закономерности на большую выборку людей, превращая таким образом в жертв одних и снимая ответственность с других.

Главный советник по вопросам политики организации общественных защитников Bronx Defenders Скотт Леви считает, что алгоритмы в судах "кодируют структурные неравенства в инструментах. Это особенно губительно, потому что это делается под прикрытием науки".

Укротить судебный искусственный интеллект

Все чаще разные страны разрабатывают механизмы и законы, позволяющие решить проблемы использования искусственного интеллекта в судопроизводстве. В 2019 году член палаты представителей США Марк Такано представил Закон о правосудии в судебных алгоритмах, цель которого – обеспечить защиту гражданских прав обвиняемых по уголовным делам и урегулировать использование искусственного интеллекта в судах.

Еще в 2018 году в Европе была принята "Этическая хартия по использованию искусственного интеллекта в судебной системе", которая описывала основные принципы использования искусственного интеллекта в правосудии. В ней отдельно указывается недопустимость какой-либо дискриминации при использовании таких инструментов, а также идет речь об усиленном контроле за такими системами.

В 2021 году в ЕС было принято новое, гораздо более жесткое решение об использовании искусственного интеллекта в Европе в целом. Главное положение этого документа: запрет использования искусственного интеллекта в отдельных сферах. Для этого планируется определить четыре уровня развития для ИИ-технологий и чем выше уровень развития технологии, тем большие ограничения для нее будут применяться. Опасными назвали направления, где алгоритмы смогут манипулировать решениями людей. Особенно опасными сферами использования искусственного интеллекта считаются именно судопроизводство и правоохранительная деятельность.

Тогда же, в ноябре 2021 года, десятки правозащитных организаций призвали Европарламент запретить искусственный интеллект по всем вопросам, связанным с судопроизводством и профилактикой нарушений. Одна из причин такой рекомендации, кроме вопросов прозрачности работы этих инструментов, – опасение, что злоупотребление возможностями ИИ приведет к тотальной слежке и нарушит право на личную жизнь.

В докладе о развитии искусственного интеллекта, опубликованном уже в мае 2022 года, речь также идет о глобальных рисках для развития этой технологии.

Украинский опыт

Идея Михаила Федорова в использовании искусственного интеллекта в судопроизводстве на самом деле не нова. Дискуссии об этом ведутся уже более двух лет. В 2020 году министр юстиции Денис Малюська анонсировал запуск "Кассандры" — программы с элементами искусственного интеллекта, которая будет работать так, как многие описанные выше американские аналоги: анализировать личность обвиняемого и давать рекомендации по приговору или досудебным решениям. Учитывая успехи цифровизации, которая до войны двигалась по Украине семимильными шагами, вряд ли власть откажется от ее внедрения. Однако проблемы в самой идее алгоритмических решений в судопроизводстве и правоохранительной деятельности в Украине будут такими же, как во всем мире – непрозрачность алгоритмов, сложности в обжаловании, риски глобальной слежки и, самое главное, предвзятость и скрытые принципы работы таких систем.

Как мы видим, мир в целом и Европа особенно постепенно отказываются от таких инструментов, не позволяя алгоритмам принимать решения там, где нужен человек и его оценка ситуации. Каким подходом воспользуется Украина – прогнозировать сложно. Хотя на этом этапе есть прекрасная возможность не бросаться в крайности алгоритмизации и цифровых инструментов, а изучить опыт других стран и выбрать оптимальное для себя решение.