У искусственного интеллекта есть проблема смещения, и это наша вина

В 2016 году исследователи из Бостонского университета и Microsoft работали над алгоритмами искусственного интеллекта, когда обнаружили расистские и сексистские тенденции в технологии, лежащие в основе некоторых из самых популярных и критически важных услуг, которые мы используем каждый день. Это открытие противоречило общепринятому мнению, что искусственный интеллект не страдает от гендерных, расовых и культурных предрассудков, которые мы, люди, делаем.

Исследователи сделали это открытие, изучая алгоритмы встраивания слов, тип ИИ, который находит корреляции и ассоциации между различными словами, анализируя большие объемы текста. Например, обученный алгоритм встраивания слов может понять, что слова для цветов тесно связаны с приятными чувствами. На более практическом уровне встраивание слов подразумевает, что термин «компьютерное программирование» тесно связан с «C ++», «JavaScript» и «объектно-ориентированным анализом и проектированием». Когда эта функция интегрирована в приложение для сканирования резюме, она позволяет работодателям находить подходящих кандидатов с меньшими усилиями. В поисковых системах это может обеспечить лучшие результаты, вызывая контент, семантически связанный с поисковым термином.

Исследователи из BU и Microsoft обнаружили, что алгоритмы встраивания слов имеют проблематичные предубеждения, такие как связывание «программиста» с местоимениями мужского пола и «домохозяйка» с женскими. Их выводы, которые они опубликовали в исследовательской работе под названием «Мужчина для программиста, а женщина для домохозяйки?» Это был один из нескольких докладов, разоблачающих миф о нейтральности ИИ и проливающий свет на алгоритмическую предвзятость, явление, которое достигает критических размеров, поскольку алгоритмы становятся все более вовлеченными в наши повседневные решения.

Истоки алгоритмического смещения

Алгоритмы машинного обучения и глубокого обучения лежат в основе большинства современных программ на базе искусственного интеллекта. В отличие от традиционного программного обеспечения, которое работает на основе заранее определенных и проверяемых правил, глубокое обучение создает свои собственные правила и учится на примере.

Например, чтобы создать приложение для распознавания изображений, основанное на глубоком обучении, программисты «обучают» алгоритм, предоставляя ему помеченные данные: в этом случае фотографии помечаются названием объекта, который они содержат. Как только алгоритм принимает достаточно примеров, он может собирать общие шаблоны среди данных с одинаковыми метками и использовать эту информацию для классификации немаркированных образцов.

Этот механизм позволяет глубокому обучению выполнять многие задачи, которые были практически невозможны с помощью программного обеспечения на основе правил. Но это также означает, что программное обеспечение для глубокого обучения может наследовать скрытые или явные предубеждения.

«Алгоритмы искусственного интеллекта не являются предвзятыми по своей сути», - говорит профессор Венкатеш Салиграма, который преподает на факультете электротехники и вычислительной техники Бостонского университета и работал над алгоритмами встраивания слов. «Они обладают детерминированной функциональностью и улавливают любые тенденции, которые уже существуют в данных, на которых они обучаются».

Алгоритмы встраивания слов, протестированные исследователями Бостонского университета, прошли обучение на сотнях тысяч статей из Новостей Google, Википедии и других онлайн-источников, в которых глубоко заложены социальные предубеждения. Например, из-за того, что братская культура доминирует в технологической индустрии, мужские имена чаще приходят на работу, связанную с технологиями, и это приводит к тому, что алгоритмы связывают мужчин с такими работами, как программирование и разработка программного обеспечения.

«Алгоритмы не обладают способностью человеческого разума отличать правильное от неправильного», - добавляет Толга Болукбаси, аспирант последнего года обучения в BU. Люди могут судить о нравственности наших действий, даже если мы решаем действовать против этических норм. Но для алгоритмов данные являются определяющим фактором.

Салиграма и Болукбаси были не первыми, кто поднял тревогу по поводу этой предвзятости. Исследователи из IBM, Microsoft и Университета Торонто подчеркнули необходимость предотвращения алгоритмической дискриминации в статье, опубликованной в 2011 году. В то время алгоритмическое смещение было проблемой эзотерического характера, и глубокое обучение все еще не нашло своего распространения в мейнстриме. Сегодня, однако, смещение алгоритмов уже оставляет след во многих вещах, которые мы делаем, таких как чтение новостей, поиск друзей, покупки в Интернете и просмотр видео на Netflix и YouTube.

Влияние алгоритмического смещения

В 2015 году Google пришлось извиниться после того, как алгоритмы для приложения «Фото» пометили двух чернокожих как горилл - возможно, из-за того, что в наборе учебных данных не было достаточно изображений чернокожих. В 2016 году из 44 победителей конкурса красоты, по оценкам AI, почти все были белыми, некоторые были азиатами, и только у одного была темная кожа. Снова, причина была в том, что алгоритм был в основном обучен с фотографиями белых людей.

Google Фото, вы все облажались. Мой друг не горилла. pic.twitter.com/SMkMCsNVX4

- Jackyalciné не отвечает на многое здесь. DM (@jackyalcine) 29 июня 2015 г.

Совсем недавно, тестирование IBM и служб анализа лица Microsoft показало, что алгоритмы компаний были почти безупречны при определении пола мужчин со светлой кожей, но часто ошибались при представлении фотографий женщин с темной кожей.

Хотя эти инциденты, вероятно, нанесли незначительный ущерб, этого нельзя сказать об алгоритмах ИИ в более критических областях, таких как здравоохранение, правоохранительные органы и набор персонала. В 2016 году расследование ProPublica показало, что COMPAS - программное обеспечение, основанное на искусственном интеллекте, которое оценивает риск рецидивизма у преступников, - было предвзятым по отношению к цветным людям. Это открытие было особенно актуальным, потому что судьи в некоторых штатах используют COMPAS, чтобы определить, кто ходит на свободе, а кто остается в тюрьме.

В другом случае исследование рекламной платформы Google, основанной на алгоритмах глубокого обучения, показало, что мужчины показывали объявления о высокооплачиваемой работе чаще, чем женщины. В отдельном исследовании была обнаружена аналогичная проблема с объявлениями о работе LinkedIn. Еще один пример показал, что предвзятые алгоритмы найма на 50 процентов чаще отправляют приглашение на собеседование человеку, чье имя было европейским, а не кому-то с афро-американским именем.

Такие области, как одобрение кредита, кредитный рейтинг и стипендия, сталкиваются с аналогичными угрозами.

Алгоритмический уклон вызывает дальнейшее беспокойство из-за того, как он может усиливать социальные уклоны. В иллюзии, что ИИ холоден, математический расчет лишен предрассудков или предвзятости, люди могут склоняться к алгоритмическому суждению, не подвергая его сомнению.

В интервью Wired UK преподаватель криминологии Эдинбургского университета Нейпир Эндрю Вуфф заметил, что «ограниченный временем, ресурсоемкий» мир полицейских может заставить сотрудников правоохранительных органов слишком полагаться на алгоритмические решения. «Я могу представить себе ситуацию, когда сотрудник полиции может больше полагаться на систему, чем на свои собственные процессы принятия решений», - сказал он. «Отчасти это может быть так, чтобы вы могли обосновать решение, если что-то пойдет не так».

Опора на предвзятые алгоритмы создает петлю обратной связи: мы принимаем решения, которые создают более предвзятые данные, которые алгоритмы затем будут анализировать и обучать в будущем.

Такое уже происходит в социальных сетях, таких как Facebook и Twitter. Алгоритмы запуска новостных лент создают «пузырьки фильтров», которые показывают контент, который соответствует предпочтениям и предпочтениям пользователей. Это может сделать их менее терпимыми к противоположным взглядам, а также может еще больше поляризовать общество, вбив клин через политический и социальный разрыв.

«Алгоритмическое смещение может потенциально повлиять на любую группу», - говорит Дженн Вортман Воган, старший научный сотрудник Microsoft. «Группы, которые недостаточно представлены в данных, могут быть особенно подвержены риску».

В областях, которые уже известны своей предвзятостью, таких как эндемическая дискриминация женщин в сфере технологий, алгоритмы искусственного интеллекта могут усиливать эти предубеждения и приводить к дальнейшей маргинализации групп, которые недостаточно представлены.

Здоровье - еще одна важная область, указывает Вортман. «Это может вызвать серьезные проблемы, если алгоритм машинного обучения, используемый для медицинской диагностики, обучается на данных одной популяции и, как следствие, не дает хороших результатов другим», - говорит она.

Предвзятость также может быть вредна более тонкими способами. «В прошлом году я планировал взять мою дочь для стрижки и искал в Интернете изображения« стрижки малышей »для вдохновения», - говорит Вортман. Но возвращенные изображения были почти всеми белыми детьми, в основном с прямыми волосами, и что еще более удивительно, в основном с мальчиками, заметила она.

Эксперты называют это явление «репрезентативным вредом»: когда технология усиливает стереотипы или уменьшает конкретные группы. «Трудно измерить или измерить точное влияние такого рода предвзятости, но это не значит, что это не важно», - говорит Вортман.

Устранение смещения из AI алгоритмов

Все более критические последствия предвзятости ИИ привлекли внимание нескольких организаций и государственных органов, и предпринимаются некоторые позитивные шаги для решения этических и социальных проблем, связанных с использованием ИИ в различных областях.

Microsoft, чьи продукты в значительной степени опираются на алгоритмы ИИ, три года назад запустила исследовательский проект под названием «Справедливость, подотчетность, прозрачность и этика в ИИ» (FATE), цель которого - дать пользователям возможность получать расширенные знания и повышать эффективность услуг на основе ИИ без дискриминации и смещение.

В некоторых случаях, таких как конкурс красоты по решению AI, найти и исправить источник предвзятого поведения алгоритма AI может быть так же просто, как проверить и изменить фотографии в наборе обучающих данных. Но в других случаях, таких как алгоритмы встраивания слов, которые исследовали исследователи из Бостонского университета, смещение вносится в обучающие данные более тонкими способами.

Команда BU, к которой присоединился исследователь Microsoft Адам Калай, разработала метод классификации вложений слов на основе их гендерной классификации и выявления аналогий, которые могли быть предвзятыми. Но они не приняли окончательного решения и будут управлять каждой из подозрительных ассоциаций по 10 человек на Mechanical Turk, онлайн-рынке Amazon для задач, связанных с данными, которые будут решать, следует ли удалить эту ассоциацию или нет.

«Мы не хотели вставлять собственные предубеждения в процесс», - говорит Салиграма, профессор и исследователь БУ. «Мы только что предоставили инструменты для выявления проблемных ассоциаций. Люди приняли окончательное решение».

В более поздней статье Калай и другие исследователи предложили использовать отдельные алгоритмы для классификации разных групп людей вместо того, чтобы использовать одни и те же меры для всех. Этот метод может оказаться эффективным в областях, где существующие данные уже смещены в пользу определенной группы. Например, алгоритмы, которые будут оценивать кандидатов-женщин на работу по программированию, будут использовать критерии, которые лучше всего подходят для этой группы, вместо того, чтобы использовать более широкий набор данных, который находится под сильным влиянием существующих предубеждений.

Вортман из Microsoft видит инклюзивность в индустрии искусственного интеллекта необходимым шагом для борьбы с предвзятостью в алгоритмах. «Если мы хотим, чтобы наши системы ИИ были полезны для всех, а не только для определенных демографических групп, тогда компаниям нужно нанимать разные команды для работы над ИИ», - говорит она.

В 2006 году Вортман помог основать компанию «Женщины в машинном обучении» (WiML), которая проводит ежегодный семинар, на котором женщины, обучающиеся и работающие в индустрии искусственного интеллекта, могут встречаться, обмениваться идеями и посещать групповые дискуссии со старшими женщинами в отрасли и в научных кругах. Аналогичным усилием является новый Black in AI Workshop, основанный Тимнитом Гебру, другим исследователем Microsoft, который стремится развивать более разнообразные таланты в искусственном интеллекте.

Болукбаси из Бостонского университета также предлагает изменить способ, с помощью которого алгоритмы ИИ решают проблемы. «Алгоритмы будут выбирать набор правил, который максимизирует их цель. Может быть много способов прийти к одному и тому же набору выводов для заданных пар вход-выход», - говорит он. «Возьмите пример тестов с множественным выбором для людей. Можно прийти к правильному ответу с неправильным процессом мышления, но, тем не менее, получить ту же оценку. Должен быть разработан высококачественный тест, чтобы минимизировать этот эффект, позволяя только тем, кто действительно знать предмет, чтобы получить правильные оценки. Создание алгоритмов, учитывающих социальные ограничения, можно рассматривать как аналог этого примера (хотя и не точного), где изучение неправильного набора правил наказывается в данной цели. Это постоянное и сложное исследование тема."

Непрозрачность ИИ усложняет справедливость

Еще одна проблема, стоящая на пути повышения справедливости алгоритмов ИИ, - это феномен «черного ящика». Во многих случаях компании ревностно охраняют свои алгоритмы: например, Northpointe Inc., производитель программного обеспечения для прогнозирования преступлений COMPAS, отказывается раскрывать свой собственный алгоритм. Единственными людьми, которые знакомы с внутренней работой КОМПАС, являются его программисты, а не судьи, использующие его для вынесения суждения.

Помимо корпоративной секретности, алгоритмы ИИ иногда становятся настолько запутанными, что причины и механизмы их решений ускользают даже от их создателей. В Великобритании полиция Дарема использует систему искусственного интеллекта HART, чтобы определить, имеют ли подозреваемые низкий, средний или высокий риск совершения новых преступлений в течение двухлетнего периода. Но академический обзор HART в 2017 году показал, что «непрозрачность, кажется, трудно избежать». Отчасти это связано с большим количеством и разнообразием данных, которые использует система, что затрудняет анализ причин ее решений. «Эти детали можно было бы сделать свободно доступными для общественности, но для их полного понимания потребовалось бы огромное количество времени и усилий», - говорится в документе.

Несколько компаний и организаций прилагают усилия для обеспечения прозрачности для ИИ, в том числе Google, которая запустила GlassBox - инициативу, направленную на то, чтобы сделать алгоритмы машинного обучения более понятными, не жертвуя качеством вывода. Агентство перспективных исследовательских проектов в области обороны (DARPA), которое контролирует использование ИИ в армии, также финансирует усилия, направленные на то, чтобы алгоритмы ИИ могли объяснить свои решения.

В других случаях человеческое суждение будет иметь ключевое значение для решения проблемы предвзятости. Чтобы предотвратить проникновение существующих расовых и социальных предрассудков в алгоритмы HART, полиция Дарема организовывала для своих сотрудников сеансы осведомленности о бессознательном уклоне. Полиция также предприняла шаги по удалению данных, таких как расовые признаки, которые могут создать основу для необъективных решений.

Ответственность человека

С другой стороны, алгоритмы искусственного интеллекта могут предоставить возможность поразмышлять о наших собственных предубеждениях и предубеждениях. «Мир смещен, исторические данные смещены, поэтому неудивительно, что мы получаем смещенные результаты», - сказала The Guardian Сандра Вахтер, исследователь по этике и алгоритмам данных в Оксфордском университете.

Вахтер является частью исследовательской группы из Института Алана Тьюринга в Лондоне и Оксфордского университета, которая опубликовала статью, призывающую к нормативным актам и учреждениям расследовать возможную дискриминацию с помощью алгоритмов ИИ.

Говоря с The Guardian , Джоанна Брайсон, специалист по информатике в Университете Бата и соавтор исследовательской работы по алгоритмическому уклону, сказала: «Многие люди говорят, что они показывают, что ИИ предубежден. Нет. Это показывает, что мы Вы предубеждены и что ИИ это изучает ".

В 2016 году Microsoft запустила Tay, бота в Твиттере, который должен был учиться у людей и вести умные разговоры. Но в течение 24 часов после запуска Tay Microsoft пришлось закрыть его после того, как он начал извергать расистские комментарии, которые он обнаружил в ходе своих бесед с пользователями Twitter. Возможно, это напоминание о том, что уже давно мы, люди, признаем нашу собственную роль в появлении и распространении явления алгоритмического смещения и предпринимаем коллективные шаги для устранения его последствий.

«Это очень сложная задача, но это ответственность, от которой мы как общество не должны уклоняться», - говорит Вахтер.