Учиться на ошибках Алексы

Устройство Amazon Echo недавно записало личный разговор пользователя и отправило его одному из своих контактов без его ведома и согласия. Это (опять же) вызывает обеспокоенность по поводу безопасности и конфиденциальности интеллектуальных колонок. Однако позже стало очевидно, что странное поведение Алексы не было частью зловещего шпионского заговора, скорее, оно было вызвано серией связанных отказов, связанных с тем, как работает умный динамик.

Согласно сообщению, предоставленному Amazon: «Эхо проснулось из-за слова в фоновом разговоре, звучащего как« Алекса ». Затем последующий разговор был услышан как запрос «отправить сообщение». В этот момент Алекса произнесла вслух «Кому?» В этот момент исходный разговор был истолкован как имя в списке контактов клиента, после чего Алекса вслух спросила: Алекса тогда интерпретировала фоновую беседу как «правильную». Как бы ни была маловероятна эта строка событий, мы оцениваем варианты, чтобы сделать этот случай еще менее вероятным ».

Сценарий - крайний случай, вид инцидента, который случается очень редко. Но это также интересное исследование в области технологии искусственного интеллекта, которая питает Эхо и другие так называемые «умные» устройства.

Слишком большая облачность

Для понимания голосовых команд умные динамики, такие как Echo и Google Home, используют алгоритмы глубокого обучения, которые требуют значительных вычислительных мощностей. Поскольку у них нет вычислительных ресурсов для локального выполнения задачи, они должны отправлять данные на облачные серверы производителя, где алгоритмы ИИ преобразуют речевые данные в текст и обрабатывают команды.

Но умные динамики не могут отправлять все, что слышат, на свои облачные серверы, потому что это потребует от производителя хранить чрезмерное количество данных на своих серверах, большинство из которых будут бесполезны. Случайная запись и хранение частных разговоров, происходящих в домах пользователей, также представляет собой проблему конфиденциальности и может создать проблемы для производителей, особенно с новыми правилами конфиденциальности данных, которые накладывают жесткие ограничения на то, как технические компании хранят и используют данные.

Вот почему умные колонки предназначены для запуска после того, как пользователь произносит слово «будильник», например «Алекса» или «Привет, Google». Только после прослушивания этого слова они начинают отправлять аудиовход своих микрофонов в облако для анализа и обработки.

Хотя эта функция улучшает конфиденциальность, она представляет свои собственные проблемы, как подчеркнул недавний инцидент с Alexa.

«Если слово - или что-то очень похожее - отправляется в середине разговора, у Alexa не будет никакого предыдущего контекста», - говорит Джошуа Марч, генеральный директор Conversocial. «В этот момент он очень внимательно слушает любые команды, связанные с установленными вами навыками (например, их приложение для обмена сообщениями). По большей части конфиденциальность значительно улучшается за счет ограничения контекста, на который Alexa обращает внимание (так как это не запись или прослушивание любых ваших обычных разговоров), хотя в данном случае это имеет неприятные последствия ».

Прогресс в области периферийных вычислений может помочь решить эту проблему. По мере того как ИИ и глубокое обучение находят все больше и больше устройств и приложений, некоторые производители оборудования создали процессоры, специализированные для выполнения задач ИИ без особой зависимости от облачных ресурсов. Процессоры Edge AI могут помочь таким устройствам, как Echo, лучше понимать и обрабатывать разговоры, не нарушая конфиденциальность пользователей, отправляя все данные в облако.

Контекст и Намерение

Помимо получения разрозненных и фрагментированных фрагментов звука, AI Амазонки изо всех сил пытается понять нюансы человеческого разговора.

«Несмотря на то, что за последние несколько лет были достигнуты огромные успехи в области глубокого обучения, что позволило программному обеспечению лучше понимать речь и изображения, чем когда-либо прежде, все еще существует множество ограничений», - говорит Марч. «Хотя голосовые помощники могут распознавать слова, которые вы говорите, они не обязательно имеют какое-либо реальное понимание значения или намерения, стоящего за ним. Мир - сложное место, но любая система ИИ сегодня способна справиться только с очень конкретные, узкие варианты использования."

Например, у нас, людей, есть много способов определить, направлено ли нам предложение, например, тон голоса, или следовать визуальным подсказкам - скажем, направление, на которое смотрит говорящий.

Напротив, Алекса предполагает, что он является получателем любого предложения, содержащего слово «А». Вот почему пользователи часто запускают его случайно.

Частично проблема заключается в том, что мы преувеличиваем возможности современных приложений ИИ, часто ставя их в один ряд с человеческим разумом или выше их и слишком доверяя им. Вот почему мы удивляемся, когда они эффектно терпят неудачу.

«Отчасти проблема заключается в том, что термин« ИИ »продавался настолько агрессивно, что потребители оказали незаслуженное доверие продуктам с этим термином, связанным с ними, - говорит Паскаль Кауфманн, нейробиолог и основатель Starmind. «Эта история иллюстрирует, что у Alexa есть много возможностей и относительно ограниченное понимание того, как и когда их следует применять соответствующим образом».

Алгоритмы глубокого обучения склонны к сбою, когда сталкиваются с настройками, которые отличаются от данных и сценариев, для которых они подготовлены. «Одной из определяющих характеристик ИИ на уровне человека будет самодостаточная компетентность и истинное понимание содержания», - говорит Кауфманн. «Это важная часть для того, чтобы по-настоящему считать ИИ« умным »и жизненно важным для его развития. Создание самоосознающих цифровых помощников, которые несут с собой полное понимание человеческой природы, ознаменует их превращение из забавной новинки в по-настоящему полезный инструмент."

Но создание ИИ на уровне человека, также называемого общим ИИ, легче сказать, чем сделать. В течение многих десятилетий мы думали, что это уже не за горами, только чтобы встревожиться, поскольку технологические достижения показали, насколько сложен человеческий разум. Многие эксперты считают, что преследовать общий ИИ бесполезно.

Между тем узкий ИИ (как описываются современные технологии искусственного интеллекта) по-прежнему предоставляет множество возможностей и может быть исправлен, чтобы избежать повторяющихся ошибок. Чтобы быть ясным, глубокое обучение и машинное обучение все еще находятся на стадии становления, и такие компании, как Amazon, постоянно обновляют свои алгоритмы ИИ для решения крайних случаев каждый раз, когда они происходят.

Что нам нужно сделать

«Это молодая, развивающаяся область. Понимание естественного языка особенно зарождается, поэтому мы многое можем здесь сделать», - говорит Эрик Моллер, технический директор Atomic X.

Моллер считает, что алгоритмы ИИ голосового анализа можно настроить для лучшего понимания интонации и перегиба. «Использование слова« Алекса »в более широком предложении звучит не так, как вызов или команда. Алекса не должна просыпаться, потому что вы произносите это имя попутно, - говорит Моллер. При достаточной тренировке ИИ должен уметь различать, какие именно тоны направлены на умного оратора.

Технологические компании также могут обучать свой ИИ, чтобы они могли различать, когда он получает фоновый шум, а не разговаривать напрямую. «Фоновая болтовня имеет уникальную слуховую« подпись », которую люди очень хорошо умеют улавливать и выборочно настраивать. Нет никаких причин, по которым мы не можем обучить модели ИИ делать то же самое», - говорит Моллер.

В качестве меры предосторожности помощники ИИ должны оценивать влияние принимаемых ими решений и включать человеческое решение в тех случаях, когда они хотят сделать что-то потенциально чувствительное. Производители должны внедрить больше средств защиты в свои технологии, чтобы предотвратить передачу конфиденциальной информации без явного и четкого согласия пользователя.

«Хотя Amazon и сообщала, что Alexa пыталась подтвердить действие, которое она интерпретировала, некоторые действия необходимо более тщательно контролировать и придерживаться более высоких стандартов подтверждения намерений пользователя», - говорит Саги Элияхи, генеральный директор Tonkean. «У людей одни и те же проблемы с распознаванием речи, иногда с ошибочными запросами. Однако, в отличие от Alexa, человек с большей вероятностью полностью подтвердит, что он понимает неясный запрос, и, что более важно, оценивает вероятность запроса по сравнению с прошлыми запросами».

В это время…

В то время как технологические компании настраивают свои приложения ИИ для уменьшения ошибок, пользователи должны будут принять окончательное решение о том, насколько они хотят быть подвержены потенциальным ошибкам, которые могут совершать их устройства на базе ИИ.

«Эти истории противоречат количеству данных, которыми люди готовы поделиться с обещаниями новых технологий искусственного интеллекта», - говорит Дуг Роуз, эксперт по науке о данных и автор нескольких книг по искусственному интеллекту и программному обеспечению. «Вы могли бы дразнить Сири за ее медлительность. Но лучший способ для нее добиться большего интеллекта - вторгаться в наши частные разговоры. Поэтому ключевой вопрос в течение следующего десятилетия или около того - насколько мы позволим агентам ИИ заглянуть в наше поведение». ?»

«Какая семья поместит помощника-человека в гостиную и позволит этому человеку все время слушать любые разговоры?» говорит Кауфманн, невролог из Starmind. «Мы должны, по крайней мере, применять те же стандарты к так называемым устройствам« ИИ »(если не выше), которые мы также применяем к интеллектуальным существам человека, когда речь идет о конфиденциальности, секретности или надежности».