$1 млрд за не то лицо. Почему проблемы Apple не замедлят захват Земли искусственным интеллектом

Еще недавно специалисты по кибербезопасности уверяли, что система распознавания лиц от Apple на много лет опережает ближайших конкурентов - намекая, разумеется, на Android. А несколько дней назад именно эта система стала причиной судебного иска, поданного на компанию.

Нью-йоркский студент Усман Бах был обвинен в серии краж в магазинах Apple в разных штатах. Краж, которых он не совершал - почти по всем эпизодам Баху удалось опровергнуть обвинения. В том, что с ним случилось, Бах винит систему распознавания лиц, подозревая, что именно она идентифицировала его как преступника. Теперь Бах намерен отсудить у Apple 1 млрд долларов компенсации морального ущерба.

В комментарии к делу компания постаралась выгородить свой ИИ, заявив, что в магазинах система распознавания лиц не используется. Однако это историю с ложной идентификацией не только не объяснило, но даже больше запутало.

Хотя странностей в ней и так предостаточно. Ордер, с которым полиция пришла арестовывать подозреваемого, содержал фото. Бах утверждает, что это фото не имеет с ним ничего общего. Есть версия, что проблема - в утерянном некоторое время назад ученическом билете. На нем не было фото, но были личные данные Баха, которыми могли воспользоваться настоящие воры, а система Apple просто "сжульничала", связав эти данные с аккаунтом студента и "не обратив внимания" на то, что "физическое" лицо не совпадает с лицом в аккаунте.

Эта догадка отчасти подтверждается тем, что в ответ на запрос адвоката к компании предоставить записи с камер наблюдения в ограбленных магазинах, пришел ответ, что "таких записей не существует". Это означает, что наблюдение не ведется? Может, и так, если компания использует свою систему распознавания лиц для отслеживания людей, подозреваемых в кражах. Именно такую версию выдвинул Усман Бах: вор авторизировался, используя данные с утерянного документа, а система распознавания лиц просто "привязала" лицо вора к его аккаунту без всякой верификации. Поэтому личные данные в ордере совпадают, а фото - нет.

Интересно, что Бах при этом даже не заметил, что кто-то использует его аккаунт.

Если вор действительно не похож на Баха, и смог совершить кражи, прикрывшись его аккаунтом, это компрометирует не столько систему распознавания лиц, сколько вообще систему безопасности Apple. Миллиард студенту, конечно, не выплатят - сумма сильно похудеет в процессе суда. Но если пользователи заинтересуются этой дыркой в безопасности их личных данных, убытки могут быть большие.

Apple поспешила сообщить, что система распознавания лиц в магазинах не используется. То есть ИИ вне подозрений.

Но если нет ни камер, ни системы распознавания лиц - откуда взялось чужое лицо на ордере об аресте Усмана Баха? Или студент просто так разнервничался, что сам себя не узнал?

Ошибка компании, которая не залатала вовремя дырку в системе безопасности пользовательского аккаунта, - это обычное дело. Но на информационные просторы эта новость вырвалась именно как ошибка системы распознавания лиц. Ошибка искусственного интеллекта. Возможно, то, что именно сейчас в крупных городах США и в Европе дебатируются границы использования ИИ вообще и системы распознавания лиц в особенности - не простое совпадение. Отношение к ИИ и его повсеместному внедрению у широкой публики довольно противоречивое. И если вдруг окажется, что кто-то пострадал от его ошибки, это может затормозить разработку и внедрение (т.е. продажу и прибыль) технологии.

Компаниям выгодно поддерживать иллюзию в массах полной безопасности ИИ. Искусственный интеллект - это удобно, безошибочно и просто круто. Он знает все, делает за нас большую часть неинтересной работы - и делает ее быстро и точно, в отличие от нас самих. За этой рекламной картинкой скрывается еще пара менее праздничных вещей.

Мы примерное знаем, что можем простить человеческому разуму (подсказка: если лично своему - то буквально все). Но что мы готовы простить искусственному интеллекту? На самом деле разработчики и маркетологи, прикрывающие от нас ошибки ИИ, совершенно правы: ему мы готовы простить совсем немного. Можно сказать, ничего.

Усман Бах еще легко отделался. Он пережил несколько неспокойных часов и встречу с полицией, которая редко бывает приятной, но почти по всем эпизодам смог доказать свою невиновность. Но что бы вы сказали, если бы ИИ неправильно определил ваш диагноз или дозировку лекарств? Если бы ИИ, управляющий машиной, в которой вы сидите, допустил аварию? Если бы автономный беспилотник перепутал ишака с арабской невестой с ишаком, навьюченным оружием? Да и камеры с распознаванием лиц - этот Грааль полицейских и служб безопасности - как видите, вовсе небезупречны. Мало того, что они найдут вас даже в многолюдной толпе и идентифицируют как злостного алиментщика, так они еще и ошибиться при этом могут.

Собственно, вопрос о том, стоит ли оснащать камеры наблюдения системой распознавания лиц, дебатируются - по крайней мере в Европе и США. В отличие от Китая, где они, как известно, используются очень активно. Западный мир сковывает почтение к прайвиси, которого совсем нет у Востока.

К чему это приводит? Только к тому, что Запад начинает отставать от Востока в разработке технологии, которую придумали на Западе. Это естественно: в Китае собирают и могут обрабатывать (т.е. "учить ИИ") огромные массивы данных, не считаясь с такими химерами, как правйвиси. Например, один из гигантов разработки системы распознавания лиц Cloudwalk ежедневно сканирует более 1 млрд лиц в 29 провинциях Китая. В недавнем отчете компания объявила, что за четыре года своего существования помогла полиции КНР задержать 10 тыс. преступников.

Кстати, пресс-служба Киевской городской государственной администрации также недавно сообщила о внедрении системы распознавания лиц. Пока в тестовом режиме. Предполагается, что система будет подключена к полиции, и если она обнаружит человека, находящегося в розыске, то укажет его местонахождение полицейским. Поиск преступников будет упрощен и ускорен. Интересно, что в основе проекта - все те же китайские разработки.

А вот Microsoft отказалась предоставлять полиции свои технологии распознавания лиц. По мнению президента компании Брэда Смита, компаниям не стоит спешить с внедрением технологий распознавания лиц, поскольку это может привести к нарушению прав человека. Менее щепетильным оказалась компания Amazon, которая неоднократно подвергалась резкой критике из-за продажи технологии распознавания лиц полиции.

Для китайских властей, само собой, не стоит вопрос о том, можно ли устраивать тотальную слежку за всеми, ради того, чтобы поймать немногих (вот и для КГГА, кажется, это тоже не вопрос). До сих пор дело упиралось только в невозможность поставить такую слежку на широкую технологическую ногу. Доносы - это, конечно, прекрасно, но человеческий фактор сильно усложняет обработку информации. ИИ, конечно, эффективнее. И в перспективе - дешевле.

Главный аргумент сторонников введения такой тотальной слежки - "ИИ не ошибается". Именно это подкупает в ИИ китайцев, которые веками поклоняются идее Справедливого Чиновника. Человек, как известно, слаб. Он может оступиться, устать, обмануть, просто допустить досадную ошибку. ИИ не может. Он, как мифический Аргус, может следить в миллион глаз за каждым, оценивать поступки беспристрастно и, следовательно, справедливо. Нагрубил продавцу - минус в карму. Перевел бабушку через дорогу - получи плюсик. В общем, как в "Черном зеркале", только гораздо лучше - тут тебе рейтинг просто от плохого настроения или от стервозности никто не испортит. У машины не бывает ни плохого настроения, ни мстительных побуждений, ни ревности, ни праведного гнева.

Однако вот ведь как неудобно получилось со студентом Бахом - кто-то ошибся, и вполне возможно, что этот кто-то - ИИ. Неважно, как именно он ошибся (и даже ошибся ли на самом деле), но он указал полиции на невиновного. И как уже говорилось выше - это не самое страшное, что может случиться при ошибке ИИ (или, скорее, ошибке, ассоциированной с ИИ).

Так, может, мы напрасно ему доверяем?

Вопрос этот звучит очень часто. И притом он совершенно праздный. Потому что ничего лучше у нас нет. Это может показаться циничным, но в данном случае истина устанавливается путем статистики. А статистика - на стороне ИИ. Он ошибается гораздо, гораздо реже, чем люди. Если робомобиль Tesla попадает в ДТП один раз на 5,3 млн км, а люди - примерно раз на 791 тыс. км (статистика дорожной безопасности США), то цифры - хоть они и небезупречны - в пользу робомобиля. И 90%-ная точность диагностики и выбора протокола лечения ИИ-системы WeDoctor, которая работает в сельских местностях Китая, - лучше, чем то, что обычно предоставляет сельская медицина Поднебесной. А алгоритмы китайской же ИИ-системы PereDoc определяют наличие опухолей у пациентов с точностью в 99,7%, в то время как опытные врачи - с точностью в 95,3%.

Но вот в чем беда: решать вопрос простым подсчетом в человекомерных сферах - не комильфо. Человеку мы склонны простить, а ИИ - нет. Потому что все мы люди и каждый ошибается. Люди имеют права - в том числе право на ошибку. Машина - нет. Она либо безупречна, либо опасна.

Поэтому разработчики, как могут, стараются закрыть собой свой ИИ, пускай даже ценой ущерба для репутации. Хотя это выглядит немного странно, учитывая то, что мы все равно обречены на ИИ. Однако у нашего предубеждения есть положительная сторона: пока мы предубеждены, разработчики ИИ будут прикладывать максимум усилий к тому, чтобы сделать свое детище более совершенным и снизить риск ошибки.