По СЕРГИО АМАДЕУ ДА СИЛЬВЕЙРА*
Риски чрезвычайно пагубного воздействия на общество.
Существует логика, усиленная нынешним неолиберальным превосходством, что все изобретенные технологии должны быть использованы. Вариант этой мысли можно найти во фразе «когда технология представляет коммерческий интерес, ее невозможно остановить». Однако факты указывают на другие возможности. Многие технологии были запрещены, а другие через определенный период были запрещены.
Например, химическое оружие считается неприемлемым, и демократические страны его не применяют. Некоторые пестициды были отменены, например, опасный ДДТ. В 2015 году сотни известных личностей, включая Ноама Хомского и Стивена Хокинга, подписали открытое письмо под названием «Автономное оружие: открытое письмо от исследователей искусственного интеллекта и робототехникипризывающий к запрету оружия с искусственным интеллектом. Европейский союз ввел мораторий на трансгенные продукты более чем на пять лет. Наконец, некоторые технологии всегда регулировались демократиями, поскольку их производство или использование могло создавать риски и крайне вредные последствия для общества.
В настоящее время во всем мире растет движение за запрет технологий распознавания лиц. В 2019 году, до пандемии, законодатели Сан-Франциско, штат Калифорния, решили запретить использование системы распознавания лиц местными ведомствами, в том числе полицией и транспортными властями. Также было определено, что любая технология наблюдения должна быть одобрена городской администрацией и больше не может считаться исключительно техническим решением. Причина проста. Преимущества распознавания лиц не перевешивают его риски и опасные применения. По словам нескольких членов городского совета Сан-Франциско, эта технология использовалась для дальнейшего ослабления маргинализированных социальных групп.
По данным Network of Security Observatories, в Бразилии 90% людей, арестованных за распознавание лиц, — чернокожие. Биометрия идентификации по лицам, как правило, использует так называемые алгоритмы идентификации. глубокое обучение или глубокое обучение, одна из зонтичных ветвей технологий искусственного интеллекта, которые полагаются на большое количество данных для получения приемлемого качества. Как правило, эти алгоритмы обучаются на базе данных фотографий, чтобы улучшить извлечение паттернов лица и их способность идентифицировать лица.
Исследователь MIT-Media Lab Джой Буоламвини продемонстрировала, что алгоритмы машинного обучения могут различать людей по классу, расе и полу. В тексте, подписанном Тимнитом Гебру, под названием Гендерные оттенки: межсекторные различия в точности в коммерческой гендерной классификации, Буоламвини проанализировал 3 коммерческие системы классификации полов по набору фотографий. Они обнаружили, что более темнокожие женщины были самой неправильно классифицированной группой (с частотой ошибок до 34,7%).
Важно понимать, как работает алгоритмическая система распознавания лиц. Это автоматизированный процесс, который сравнивает изображение, снятое камерой или устройством для сбора данных, с изображениями, хранящимися в базе данных. Одной из первых задач алгоритма является обнаружение лица человека на изображении. После обнаружения лица его необходимо выровнять, виртуально поместить в определенное положение, что облегчает следующий этап — извлечение измерений. Алгоритм, согласно своему предыдущему обучению, измерит расстояние между глазами, между глазами и носом, положение рта, текстуру кожи, короче, извлечет измерения из изображения, выполнит количественную оценку это.
Затем, в зависимости от вашей модели, вы сравните количественное изображение с каждой из фотографий, отсканированных и вставленных в вашу базу данных. Таким образом, алгоритм выдает оценку при сравнении двух изображений, двух лиц, изображения вашей цели и лица, хранящегося в структуре данных. Как я пытался показать здесь, системы распознавания являются вероятностными. Они не могут ответить, принадлежит ли это изображение определенному человеку. Они обеспечивают сходство и различия в процентах.
Некоторые системы могут предлагать процент сравнения нескольких изображений и предлагать альтернативы лиц для идентификации определенной цели. Обучение алгоритмам необходимо для извлечения шаблонов из фотографий, поскольку они должны извлекать шаблоны из изображений в разных положениях. Этот процесс требует тысячи фотографий для проведения обучения. Им часто требуется подкрепление и пометка, выполняемая людьми.
Действия военных дронов, использующих системы идентификации по лицам, могут помочь нам разобраться в этой проблеме. Исследователь Грегори С. Макнил, в тексте «Практика США по оценке и смягчению побочного ущерба», проанализированы побочные эффекты атак, проводимых дронами. Такие беспилотные летательные аппараты имеют камеры высокого разрешения, позволяющие идентифицировать цели. Макнил оценил побочный ущерб от дронов, который привел к гибели мирных жителей в Ираке и Афганистане. Он пришел к выводу, что 70% из них были связаны с ошибками в определении личности, то есть они были связаны с так называемым сбоем «положительной идентификации». Но какой должна быть положительная идентификация в вероятностной системе? 80% сходства? 90%? 98%? Каков допустимый процент для нас, чтобы считать, что разыскиваемое лицо обнаружено?
Распознавание лиц является биометрическим и составляет категорию так называемых конфиденциальных данных. Они могут создавать стигмы. Их использование должно быть проанализировано с точки зрения принципа предосторожности. В настоящее время они используются для выявления опасных классов и маргинализированных сегментов. Они позволяют преследовать цели в режиме реального времени. Автоматизированные системы распознавания лиц усиливают предрассудки и расширяют структурный расизм в обществе, а также способствуют преследованию гомосексуалистов, транссексуалов и нежелательных для полиции активистов. Это технологии травли, бдительности и преследования.
В Бразилии меня считают белым человеком. Учитывая мой возраст и тип телосложения, если бы алгоритмическая система полиции неправильно идентифицировала меня с камер в районе среднего класса, в котором я живу, она, вероятно, прибегла бы к более цивилизованному подходу. Его даже могут доставить в полицейский участок. Там будет обнаружена ошибка системы распознавания лиц и будет сообщено о «ложном срабатывании».
Однако представьте себе молодого темнокожего мужчину, прибывшего с работы в Jardim Ângela или Sapopemba и ошибочно идентифицированного системой распознавания лиц как опасного преступника. В зависимости от отряда роты, который приблизился к нему, у него может не быть никаких шансов остаться в живых. Я утверждаю, что сегодня технологии распознавания лиц могут способствовать истреблению молодых чернокожих на периферии. Они могут служить для политического преследования лидеров общественных движений, особенно в районах, где ополченцы соседствуют с государственной машиной.
Кроме того, биометрическая идентификация является типичным устройством старых устройств евгеники. Они используются для выявления иммигрантов и нежелательных сегментов в Европе и США. В Китае они служат неприемлемому авторитаризму в условиях демократии. У людей, идентифицированных камерами, связанными с системами распознавания лиц, выполняющими нерекомендуемые действия, будет изменена оценка, и им будет трудно получить льготы от государства.
Без возможности защиты, без возможности оспорить вероятностную модель распознавания, повсеместная охрана с помощью камер, которые передают данные системам распознавания лиц, неприемлема в демократиях. Нам нужно остановить его расширение. На самом деле, нам нужно запретить их, если мы хотим иметь минимальное соответствие принципу предосторожности. Мы не можем использовать технологию, использующую ошибочные алгоритмические системы, которые до сих пор не допускают адекватного объяснения. Нам нужно запретить технологии распознавания лиц до тех пор, пока они не станут социально недискриминационными, проверяемыми и более безопасными.
* Серхио Амадеу да Силвейра является профессором Федерального университета ABC. Автор, среди прочих книг, Свободное программное обеспечение – борьба за свободу знаний (Конрад).
