Когда облако затоплено, это крайние вычисления, ai на помощь

Вдоль береговой линии штата Новый Южный Уэльс Австралии (NSW) парит флот беспилотных летательных аппаратов, помогающих обеспечивать безопасность воды. Ранее в этом году дроны помогли спасателям на Крайнем Северном побережье штата спасти двух подростков, которые боролись в тяжелом прибое.

Дроны приводятся в действие алгоритмами искусственного интеллекта (ИИ) и машинного зрения, которые постоянно анализируют свои видеопотоки и выделяют предметы, которые требуют внимания: скажем, акулы или пловцы. Это та же технология, которая позволяет Google Фото сортировать фотографии, камера домашней безопасности для обнаружения посторонних и умный холодильник, чтобы предупредить вас, когда ваши скоропортящиеся продукты близки к истечению срока годности.

Но в то время как эти службы и устройства нуждаются в постоянном подключении к облаку для своих функций искусственного интеллекта, дроны NSW могут выполнять свои задачи по обнаружению изображений как с подключением к Интернету, так и без него, благодаря микросхемам нейронных вычислений, которые позволяют им выполнять вычисления с углубленным изучением локально,

Эти чипы являются частью растущей тенденции инновационных компьютерных технологий, которые позволяют нашим программным устройствам выполнять хотя бы некоторые критические функции без постоянной связи с облаком. Рост современных вычислений помогает решать проблемы, новые и старые, и прокладывает путь для следующего поколения интеллектуальных устройств.

Разгрузка Облака

За последние два десятилетия облако стало непрофессиональным способом размещения приложений по уважительной причине.

«То, что делает облако таким привлекательным, заключается в том, что оно снижает нагрузку на запуск любой деятельности, которую вы хотите выполнить», - говорит Роб Хай, технический директор IBM Watson. «Облако… позволяет людям… решать реальные проблемы сегодня без необходимости затрат на создание инфраструктуры».

Благодаря повсеместному подключению к Интернету и почти бесчисленному количеству облачных приложений, сервисов и платформ разработки, барьеры для создания и развертывания приложений значительно уменьшились. Огромные ресурсы облачных провайдеров, таких как IBM, Google и Amazon, ускорили разработку не только тривиальных бизнес-приложений, но и сложного программного обеспечения, требующего огромных объемов вычислений и хранения - алгоритмов ИИ и машинного обучения, а также потоковой передачи и AR. (дополненная реальность) приложения.

Но эти достижения также создали проблему: большинство приложений, которые мы используем, не могут функционировать, если они не подключены к облаку. Это включает в себя большинство приложений, которые работают на компьютерах и телефонах, а также программное обеспечение для холодильников, термостатов, дверных замков, камер наблюдения, автомобилей, беспилотных летательных аппаратов, датчиков погоды и так далее.

С появлением Интернета вещей (IoT) все большее число устройств используют программное обеспечение и генерируют данные, и большинству из них потребуется ссылка на облако для хранения и обработки этих данных. Величина мощности и пропускной способности, необходимых для отправки этих данных в облако, огромна, а пространство, необходимое для хранения данных, бросит вызов ресурсам даже самых могущественных облачных гигантов.

«В этих системах мы собираем много данных, будь то на периферии, или это IoT-устройство, или любое другое место, о котором вы могли бы почти решить не заботиться», - говорит Хай. Но если каждое решение должно приниматься в облаке, все эти данные должны будут отправляться по сети на облачные серверы для очистки и фильтрации.

В качестве примера, High называет современные самолеты, которые содержат сотни датчиков, которые контролируют реактивные двигатели и собирают сотни гигабайт данных о состоянии и характеристиках во время каждого полета. «Сколько из этих данных действительно имеет значение, если вы хотите проанализировать их по совокупности? Вероятно, только часть их», - говорит Хай. «Почему бы просто не избавиться от этого в источнике, когда это не нужно ни для чего другого, что вы делаете?»

Выполнение того, что предлагает High вне облака, ранее было практически невозможным, но достижения в области низкоэнергетических и недорогих процессоров System-on-Chip (SoC) дали периферийным устройствам большую вычислительную мощность и позволили им взять на себя часть вычислительной нагрузки своих экосистемы, такие как выполнение аналитики в реальном времени или фильтрация данных.

«В пограничной среде так много данных, что имеет смысл перенести некоторые возможности облачных вычислений в вычислительные возможности пограничного устройства», - говорит Хай.

Конфиденциальность

Преимущества пограничных вычислений не ограничиваются высвобождением облачных ресурсов.

Реми Эль-Уаззан (Remi El-Ouazzane), группа новых технологий и генеральный директор Movidius (Intel), приводит коммерческие камеры видеонаблюдения в качестве еще одного примера того, когда периферийные вычисления могут иметь огромное значение. Вы видите эти камеры на светофорах, в аэропортах и ​​на входах в здания, которые круглосуточно записывают и транслируют высококачественное видео по сети.

«Чем меньше данных вам нужно перенести обратно на сервер или в центр обработки данных, тем больше вы можете очищать и обрабатывать локально, тем выше будет общая стоимость владения с точки зрения хранения и передачи», - говорит Эль-Уаззан.

Это означает предоставление камерам возможности анализировать свои собственные видеопотоки, определять, какие кадры или длительности видео требуют внимания, и отправлять только эти данные на сервер.

Когда эти камеры установлены в вашем доме, офисе или в любом другом месте, соединение с облаком также становится потенциальной проблемой безопасности. Хакеры и исследователи безопасности смогли скомпрометировать соединение между бытовыми устройствами и их облачными серверами для перехвата конфиденциальных видеопотоков. Локальный анализ данных устраняет необходимость в видеосвязи между вашим домом, личной жизнью и поставщиком услуг.

Movidius, приобретенный Intel в 2016 году, является одним из нескольких стартапов, которые делают компьютерные чипы специализированными для задач ИИ, таких как распознавание речи и компьютерное зрение. Компания производит Vision Processing Units (VPU) - процессоры с низким энергопотреблением, работающие на нейронных сетях, которые анализируют и «понимают» контекст цифровых изображений без необходимости отправлять их обратно в облако.

Movidius Myriad 2 - это постоянно работающий видеопроцессор, разработанный для сред с ограниченным энергопотреблением.

«Когда камера понимает семантику того, на что она смотрит, тогда способность навязывать правила относительно того, что камера может делать или не делать, становится очень легкой задачей», - говорит Эль-Уаззан. «Вам не нужно фактически захватывать вашу гостиную в течение следующих 12 часов, просто чтобы знать, что в определенный момент времени ваша собака пересекла ковер перед диваном».

Другие компании изучают возможность использования специализированных периферийных вычислений на основе искусственного интеллекта для сохранения конфиденциальности пользователей. Например, Apple iPhone X оснащен чипом A11 Bionic, который может выполнять задачи AI локально, что позволяет ему выполнять сложное распознавание лиц без отправки фотографии пользователя в облако.

Больше обработки ИИ на грани может проложить путь к децентрализованному искусственному интеллекту, где пользователям приходится делиться меньшим объемом данных с крупными компаниями, чтобы использовать приложения ИИ.

Уменьшение задержки

Другая проблема с крупными облачными провайдерами заключается в том, что их центры обработки данных расположены за пределами больших городов, на расстоянии сотен и тысяч миль от людей и устройств, использующих их приложения.

Во многих случаях задержка, вызванная передачей данных в облако и из него, может привести к низкой производительности или, что еще хуже, к фатальным результатам. Это может быть беспилотник, пытающийся избежать столкновений или приземление на неровной поверхности, или автомобиль с самостоятельным вождением, пытающийся решить, сталкивается ли он с препятствием или пешеходом.

Легкая реализация Movidius с глубокими нейронными сетями и компьютерным зрением делает его чипы подходящими для мобильных периферийных устройств, таких как дроны, для которых энергопотребляющее оборудование, такое как графические процессоры, невозможно. Дроны представляют собой особенно интересное исследование, потому что они нуждаются в доступе к вычислениям искусственного интеллекта с низкой задержкой и должны продолжать работать в автономном режиме.

Обнаружение жестов как еще одна область, где новейшие вычисления помогают улучшить работу дронов. «Цель состоит в том, чтобы сделать дроны доступными для многих людей, и жесты, по-видимому, являются хорошим способом их использования. Задержка имеет значение, когда вы жестом дрон выполняете какую-то задачу», - говорит Эль-Уаззан.

Для таких стартапов, как Skylift Global, который предоставляет тяжелые дроновые услуги для спасателей и лиц, принимающих первые ответные меры, доступ к ИИ и вычислительным ресурсам с малой задержкой может спасти деньги и жизни. «Это значительно сократит затраты на загрузку данных, сократит задержку в сети, повысит безопасность и поможет превратить потоковые данные в решения в режиме реального времени», - говорит Амир Эмади, генеральный директор и основатель Skylift.

Доставка предметов первой помощи требует решения за доли секунды. «Чем больше времени уходит, например, на борьбу с лесным пожаром, тем дороже становится исправление ситуации. По мере того, как наши беспилотники смогут принимать решения в режиме реального времени на грани, даже когда они теряют связь, мы сможем сэкономить больше жизнь, деньги и время ", говорит Эмади.

Другими областями, нуждающимися в вычислениях почти в реальном времени, являются приложения дополненной и виртуальной реальности и автономные транспортные средства. «Это все вычислительные среды, основанные на опыте. Они будут происходить вокруг людей», - говорит Захари Смит, генеральный директор Packet, нью-йоркского стартапа, ориентированного на предоставление разработчикам доступа к высокораспределенному оборудованию.

Приложение AR или VR, которое не успевает за движениями пользователя, может вызвать головокружение или помешать им стать захватывающим и реальным. И задержка станет еще большей проблемой, когда автомобили с самостоятельным вождением, которые в значительной степени зависят от компьютерного зрения и алгоритмов машинного обучения, станут массовыми.

«Задержка в 30 миллисекунд не будет иметь значения для загрузки вашей веб-страницы, но действительно будет иметь значение для автомобиля, который будет определять скорость 60 миль в час, если она должна повернуть влево или вправо, чтобы избежать столкновения с маленькой девочкой», - говорит Смит.

Отвечая на вызовы края

Несмотря на необходимость приблизить вычислительные возможности, использование специализированного оборудования на каждом устройстве может быть не окончательным решением, признает Смит. «Почему бы просто не поставить все компьютеры в машину? Я думаю, что это действительно связано с эволюцией того, насколько быстро вы можете контролировать жизненный цикл этого», - говорит он.

«Когда вы внедряете аппаратное обеспечение в мир, оно обычно остается там в течение пяти-десяти лет», - говорит Смит, в то время как технологии, на которых основаны эти основанные на опыте варианты использования, развиваются каждые шесть-двенадцать месяцев.

Даже очень крупные компании со сложными цепочками поставок часто испытывают трудности с обновлением своего оборудования. В 2015 году Fiat Chrysler пришлось отозвать 1, 4 миллиона автомобилей, чтобы исправить уязвимость, обнаруженную пять лет назад. А гигантский производитель микросхем Intel все еще борется за то, чтобы справиться с недостатком дизайна, который предоставляет хакерам сотни миллионов устройств.

El-Ouazzane Мовидия признает эти проблемы. «Мы знаем, что каждый год нам придется менять ряд продуктов, потому что каждый год мы собираемся приносить больше интеллектуальных возможностей, и мы будем просить наших клиентов модернизировать», - говорит он.

Чтобы избежать постоянных обращений и позволить клиентам в долгосрочной перспективе использовать свое новейшее оборудование, Movidius предоставляет своим процессорам дополнительные ресурсы и емкость. «В течение следующих нескольких лет нам понадобится возможность обновить эти продукты», - говорит Эль-Уаззан.

Packet, компания Smith, использует другой подход: он создает центры микро-данных, которые могут быть развернуты в городах, ближе к пользователям. Затем компания может предоставить разработчикам вычислительные ресурсы с очень малой задержкой - настолько близко, насколько это возможно, к пользователям, не ставя перед собой фактическое оборудование.

«Мы верим, что для доставки оборудования, к которому могут обращаться разработчики, в каждом городе во всем мире потребуется механизм доставки инфраструктуры», - говорит Смит. Компания уже работает в 15 местах и ​​планирует в конечном итоге расширить до сотен городов.

Но амбиции Packet идут дальше, чем создание миниатюрных версий растягивающихся средств, управляемых подобными Google и Amazon. Как объясняет Смит, развертывание и обновление специализированного оборудования невозможно в общедоступном облаке. В бизнес-модели Packet производители и разработчики устанавливают специализированное оборудование в периферийных дата-центрах компании, где они могут быстро обновлять и обновлять его по мере необходимости, а также обеспечивать пользователям быстрый доступ к вычислительным ресурсам.

Hatch, один из клиентов Packet, является дочерним предприятием Rovio, компании по разработке мобильных игр, которая создала Angry Birds. Компания использует Android на пограничных вычислительных серверах для предоставления многопользовательских потоковых сервисов с малой задержкой для пользователей с низкоуровневыми устройствами Android.

«На всех этих рынках по всему миру нужны достаточно специализированные серверы ARM», - говорит Смит. «У них есть индивидуальные конфигурации нашего серверного предложения, и мы разместили его на восьми глобальных рынках по всей Европе, и вскоре это будет 20-25 рынков. Для них это похоже на Amazon, но они могут запускать специализированное оборудование на каждом европейском рынке. «.

Теоретически, Hatch может сделать то же самое в публичном облаке, но затраты сделают его неэффективным бизнесом. «Разница заключается в том, что 100 пользователей на ЦП устанавливаются по сравнению с 10 000 пользователей на ЦП», - говорит Смит.

Смит полагает, что эта модель понравится поколению разработчиков, которое будет стимулировать следующие программные инновации. «Мы сосредоточены на том, как соединить поколение программного обеспечения, людей, которые выросли в облаке, со специализированными аппаратными примитивами», - говорит Смит. «Мы говорим о пользователях, которые не могут даже открыть свой MacBook, чтобы заглянуть внутрь, и это тот человек, который собирается внедрять инновации в аппаратном / программном стеке».

Облака рассеются?

С появлением периферийных устройств, способных выполнять сложные вычислительные задачи, находится ли будущее облака в опасности?

«Для меня граничные вычисления - это естественное и логичное последующее развитие облачных вычислений», - говорит IBM Watson's High.

Фактически, в 2016 году IBM выпустила набор инструментов, которые позволяют разработчикам беспрепятственно распределять задачи между периферией и облаком, особенно в экосистемах IoT, где пограничные устройства уже собирают много данных о своей ближайшей среде. А в конце 2016 года Amazon Web Services, еще одна крупная облачная платформа для разработки, анонсировала Greengrass - сервис, который позволяет разработчикам IoT запускать части своих облачных приложений на своих периферийных устройствах.

Ничто из этого не означает, что облако уходит. «Есть только много вещей, которые лучше сделать в облаке, даже когда много работы еще делается на грани», - говорит Хай. Это включает в себя такие задачи, как объединение данных из разных источников и проведение масштабной аналитики с огромными наборами данных.

«Если нам необходимо создать модели в алгоритмах ИИ, которые мы используем в этих периферийных устройствах, создание и обучение этих моделей по-прежнему является очень сложной вычислительно-сложной задачей, и зачастую требует вычислительной мощности, которая намного превышает возможности, доступные на этих периферийных устройствах», - высокий говорит.

Эль-Оззан соглашается. «Возможность обучать модели искусственного интеллекта на местах чрезвычайно ограничена», - говорит он. «С точки зрения глубокого изучения, обучение имеет только одно место, и оно находится в облаке, где вы получаете достаточно вычислительных ресурсов и достаточно памяти, чтобы иметь возможность работать с большими наборами данных».

El-Ouazzane также предоставляет случаи использования, когда периферийным устройствам назначаются задачи, требующие срочного и срочного выполнения, в то время как облако заботится о более продвинутом выводе, который не зависит от задержки. «Мы живем в мире непрерывности между облаком и краем».

«Существует очень симбиотическая и синергетическая связь между граничными вычислениями и облачными вычислениями», - говорит Хай.