Ужасы нейронных сетей. Часть 4.5: Clearview AI и ложные обвинения

С помощью распознавания лиц на базе искусственного интеллекта полиция успешно ловит преступников и спасает людей. Но, как и любая технология, при неправильном использовании она может принести много вреда. В этой статье разберу случаи ложных арестов, произведённых на основании неверной идентификации в программе распознавания лиц.

Как следует из названия, это пятая статья в серии. С остальными можете ознакомиться по ссылкам ниже:

Ужасы нейронных сетей. Часть 1: Нейросети и авторское право.

Ужасы нейронных сетей. Часть 2: На каких ваших данных обучаются нейросети.

Ужасы нейронных сетей. Часть 3: Как сделать шапочку из фольги или стоит ли опасаться ИИ?

Ужасы нейронных сетей. Часть 4: Генерация и распознавание лиц.

Эта часть, по большей части, является продолжением предыдущей, поэтому рекомендую с ней ознакомиться.

На всякий случай вкратце напомню основные моменты.

Clearview AI — это частная компания по распознаванию лиц с обширной базой данных, которая содержит более чем 50 миллиардов фотографий. Они были автоматически собраны со всего интернета, включая Instagram, Facebook, YouTube, Twitter и другие площадки (несмотря на то, что некоторые из них запрещают это делать). Clearview AI предоставляет свою базу и технологию распознавания лиц на основе искусственного интеллекта свыше двум тысячам организаций (правоохранительным, в основном) в более чем 20 странах. Среди их клиентов были университеты, сети супермаркетов и даже пара игорных бизнесов.

В прошлой части я упоминал случаи, когда Clearview AI помогала ловить преступников и спасать детей от сексуального насилия, но у этой технологии есть и обратная сторона.

На официальном сайте утверждается, что технология точна на «99+%» для всех демографических групп. Казалось бы, всё прекрасно. Есть непогрешимый способ вычислять преступников по фотографиям, которые они же и опубликовали в сети. Но... не боитесь оказаться среди 1% ошибочных результатов? В этой статье речь пойдёт как раз о таких случаях.

Я остановился на разборе утечки документов, проведённом BuzzFeed News. Помимо анализа полученных данных, они пытались связаться с организациями, указанными среди клиентов Clearview AI. Кто-то отрицал, кто-то был не в курсе, что сотрудник использовал сервис, а иногда и вовсе игнорировали запрос издания. Но были и те, кто шли на контакт. Там довольно много интересного, но хотелось бы обратить внимание на два ответа.

Первый ответ пришёл от департамента полиции Чикаго. Они заплатили 49 875 долларов за 2 года лицензии на 30 человек и провели в сервисе более 1500 поисков. Но они использовали это ПО как дополнительную меру, если поиск через DataWorks (внутренней базе данных, собранной в Чикаго и его окрестностях) результатов не дал.

Вторым ответом являются слова капитана полиции Джейсона Эрколе (Jason Ercole) из полицейского департамента Сеноии (город расположен в штате Джорджия). Он не стал отрицать, что использовал сервис, и объяснил свою позицию. По словам Джейсона, поначалу он использовал пробную версию, а после перешёл на платную. С тех пор он сделал одну успешную идентификацию подозреваемого в подделке чеков. По его словам, ему не нужно было проходить обучение или сертификацию для получения или использования этого ПО (запомните этот момент, он пригодится).

Также он заверил, что никогда не использовал результаты совпадения как единственное основание для получения ордера на арест. Он убеждён, что это хороший инструмент, если использовать его должным образом и с осторожностью.

И это весьма здравый подход. Сделаю небольшое отступление.

Люди порой могут слепо довериться нейросетям в каких-то не особо важных моментах. Например, узнать, как правильно переводится слово, или когда хотят доказать существование Windows 97, дабы скинуть сгенерированный ответ в комментариях и утереть собеседнику нос.

Но нейросети могут допускать ошибки, как через галлюцинации, так и посредством неверных или устаревших данных, на которые ссылаются. Даже у ChatGPT ниже окна ввода есть строчка «ChatGPT может допускать ошибки. Рекомендуем проверять важную информацию». Поэтому нельзя просто забить в промт вопрос на незнакомую тему и скопировать ответ, понадеявшись, что чат-бот всё перепроверил, а не скинул какую-то чушь. Проверять должны вы сами. Нет ничего постыдного в использовании нейросетей для поиска информации. Но важно, чтобы они не были единственным способом поиска. И не помешало бы переходить в издания, на которые она ссылается, чтобы перепроверить.

Но если неправильный ответ при повседневном использовании может привести к неверной трактовке слова или к ошибке в комментарии, то к чему могут привести ошибки в более важных задачах, таких как распознавание лиц?

В 2023 году вышла очень хорошая статья от The New Yorker, посвящённая данной проблеме. В частности, в ней упоминается о Алонзо Сойере (Alonzo Sawyer), которого обвинили в нападении на водителя автобуса. Из оснований для ареста 50-летнего мужчины было только то, что его лицо программа посчитала похожим на фото разыскиваемого. В день нападения Алонзо гостил с женой у невестки, которая живёт в 40 минутах езды от места преступления. Он не мог вспомнить, отлучался ли куда-нибудь, но заверял, что ни в каких конфронтациях не участвовал. Тем не менее его задержали и держали под арестом, пока благодаря усилиям его жены не были предоставлены доказательства его невиновности. Хоть отпустили относительно быстро, Сойер был другого мнения.

Он упоминает, что, сидя в камере, размышлял о том, что если его приговорят, он остаток дней проведёт в тюрьме (статья, по которой его обвиняли, грозила до 25 лет тюрьмы). От этих мыслей было ощущение беспомощности, чувствовал себя маленьким человеком, затерявшимся в системе. Если бы не жена, он готов был признать вину в преступлении, которого не совершал, лишь бы получить менее суровое наказание.

Это не первый случай, когда только на основании совпадения в базе человек был ложно обвинён.

Ниджер Паркс (Nijeer Parks) вышел из тюрьмы в 2016 году и решил начать вести честную жизнь. Устроился клерком в одну компанию, хотел жениться, строил планы на жизнь, но в 2019 был обвинён в краже из магазина в городе, где никогда не был. Полицейские были уверены, что это он, только на основании результатов поиска через Clearview AI. Ему грозило до 20 лет лишения свободы (прошлые преступления, которые искупил, были отягощающими обстоятельствами). Прокуратура предлагала ему признать вину в обмен на 6 лет тюрьмы без права досрочного освобождения. Паркс с невестой потратили более шести тысяч долларов на адвокатов, и он добился освобождения. Хоть он вышел из тюрьмы спустя 10 дней, ещё целый год шли тяжбы, по итогу которых судья отклонил обвинение против него, так как кроме совпадения в сервисе никаких других улик не было.

Паркс до сих пор судится чтоб отстоять свои права.

К слову, после данного инцидента, полицейским в Нью-Джерси запретили использовать этот инструмент.

Проблема заключается даже не в самом ИИ, а в том, как люди его применяют. В начале статьи упоминал капитана полиции, который заявлял, что не требовалась какая-то специальная подготовка для того, чтоб пользоваться приложением. И очень зря. Недобросовестное использование технологии (тем более без предварительного обучения) может привести к печальным последствиям.

Одно дело провести за решёткой пару дней или даже пару недель. Но что, если ошибка, допущенная при использовании нейросети, будет стоить кому-то год жизни, а то и два?

Так было и с 22-летним Крисом Гатлином, который провёл 17 месяцев за решёткой только из-за совпадения в Clearview AI, сообщает Fox2. Его обвинили в нападении в метро. Перед его арестом к жертве, 62-летнему охраннику Майклу Фельдману (Michael Feldman), пришли полицейские с 6 фотографиями, на одной из которых был «подозреваемый». Из-за черепно-мозговой травмы ему было сложно вспомнить лицо нападавшего. Но полицейские настаивали, чтоб он взглянул на фото, что он и сделал. Он долго всматривался в лица и откидывал варианты, пока не осталось две карточки, среди которых был и Гатлин. Однако Фельдман вначале выбрал другое фото, но из-за вопросов полиции поменял своё решение. Всё бы так и осталось, если бы не всплыла запись с нагрудной камеры одного из полицейских, присутствовавших при показе снимков. (Запись есть в нижеприведённой статье.)

Можно было подумать, что такие случаи очень редки, но расследование Washington Post «Police ignore standards after AI facial recognition matches», показывает обратное. Известно как минимум о 8 ложных обвинениях, но это только те, которые получили огласку. Поискать другие случаи можно при помощи Artificial Intelligence Incident Database, которая индексирует сведения о инцидентах, связанных с использованием нейронных сетей. Теперь поговорим о том, почему так происходит.

В лабораторных условиях, с качественными снимками, система работает безупречно, однако, по заявлениям Washington Post, не было независимых проверок, при которых качество фото было приближено к «полевым» условиям. Зачастую у полиции есть только нечёткие кадры, по которым распознать лицо становится проблематично.

Приведу примеры фотографий, прикреплённых к записям о розыске, со страниц полицейских департаментов в Facebook (один из постов (признано в России экстремистской организацией) для примера).

Порой системы не справляются с опознанием, потому что камеры не смогли чётко запечатлеть лицо преступника. Это может произойти из-за погодных условий, освещения, угла обзора или капюшона с маской. Так, было и в случае убийства генерального директора United Healthcare Брайана Томпсона в центре Манхэттена. Убийцу помогли вычислить не алгоритмы, а люди. После того как полиция не смогла пробить фото по базам, она опубликовала самые лучшие из получившихся снимков на своих страницах. Благодаря этому полиция получила сведения о том, что его видели в «Макдоналдсе» примерно в 200 милях от Нью-Йорка. Там преступника и задержали.

Помимо плохого качества снимков, есть и другая проблема. Clearview AI зачастую предлагает несколько совпадений и указывает процент схожести. Но именно люди выбирают, какое из фотографий больше подходит (и использовать ли найденное совпадение как улику). Порой полицейский может быть предвзятым в своих выводах, полагаясь, что система лучше разбирается в лицах, чем человек.

Неудивительно, что и сами полицейские, нечасто уведомляют об использовании спорной технологии (тем самым не давая возможности оспорить результаты). Это следует из другого расследования Washington Post, проведённого в 2024 году. В нём журналисты изучили внутренние документы некоторых департаментов, использующих распознавание лиц. Согласно им, распознавание лиц применялось в более чем 1000 дел (с 2020 по 2024 год). Но об их применении редко когда писалось в публичных отчётах (а порой и в письменных, из-за законов некоторых штатов касательно персональной информации).

Помимо расследований разных изданий, существует проект The Atlas of Surveillance. В нём собрана информация о технологиях слежки, которые использовались правительственными органами. Данные получают путём исследования открытых источников (новости, отчёты, планы бюджета и т. д.). Студенты, преподаватели, журналисты и исследователи по крупицам вносят свой вклад в наполнение проекта. Касательно Clearview AI в базе нашлось 55 подтверждённых случаев использования технологии в правоохранительных органах.

Нежелание раскрывать использование программы ещё может быть связано с тем, что уже не первый раз в суде результаты совпадений отклоняют в качестве улик. Помимо ранее упомянутого случая в 2020 году, в январе этого года (2025, если статью читают в будущем), судья отклонил результат распознавания лиц, в деле об убийстве. По его словам, сведений анонимного источника и совпадения в программе недостаточно для обвинения. Тем более в лицензионных документах Clearview AI ясно говорится, что его результаты нельзя использовать в суде, в том числе как основание для ордера на арест. Там много всего интересного говорится, но если обобщить, то «Если что, система может ошибаться. Мы не несём ответственности. Не ссылайтесь на нас в суде».

Как-то и сказать особо нечего. Дико, что на основании результатов программы человеку могут разрушить жизнь. Надеюсь, этих случаев с годами будет меньше. Хотелось бы верить...

Ну а на этом всё. Статья получилась короткая, но, надеюсь, информативная.