Планы Microsoft по смешанной реальности выходят далеко за рамки гололинов

Когда Microsoft сделала неожиданный анонс нового продукта дополненной реальности (AR) на мероприятии Windows 10 в начале 2015 года, сама гарнитура Microsoft HoloLens была не первой вещью, которую увидела аудитория. Открывая миру новую технологию, Алекс Кипман (Microsoft Kipman), создатель контроллера движений Microsoft Kinect и HoloLens, вместо этого продемонстрировал логотип для Windows Holographic, программной платформы, ориентированной на Windows 10, которая лежит в основе амбиций Microsoft в отношении AR.

Более чем через два года программное обеспечение, обеспечивающее растущую экосистему AR-устройств Microsoft, по-прежнему является лучшим индикатором того, где компания планирует занять будущее «смешанной реальности» (MR). Теперь у него другое имя; Microsoft переименовала Windows Holographic в Windows Mixed Reality, но цель не изменилась. Microsoft хочет создать совместимую сеть из AR, VR и гарнитур смешанной реальности от разных производителей, которые общаются друг с другом и работают под управлением универсальных приложений Windows 10.

У этого подхода есть три аспекта: собственное оборудование Microsoft (HoloLens), развивающийся программный стек, размещенный на платформе Windows Mixed Reality, и сторонние аппаратные партнерства Microsoft с Acer, Asus, Dell, HP и Lenovo для создания 299 долларов. гарнитуры смешанной реальности под управлением Windows 10. Первая из них, гарнитура Acer Windows Mixed Reality Development Edition, уже поставляется разработчикам.

Что такое смешанная реальность?

Microsoft - не единственная AR-компания, которая начала использовать термин смешанная реальность, чтобы различать различные точки спектра AR / VR. С одной стороны, у вас есть монокулярные очки, которые вы видите от таких компаний, как Vuzix, и AR на базе смартфона, популяризируемые приложениями, такими как Pokemon Go.

С другой стороны, существуют более захватывающие ощущения от бинокулярной установки на голове (дисплеи на обоих глазах с углом обзора 360 градусов) таких устройств, как HoloLens, очки ODG R-9 или еще невидимый Волшебный прыжок. Говоря упрощенно, вы можете думать о AR как о добавлении наложенной информации или виртуальных объектов в более двумерном виде поверх того, что перед вами.

Но континуум, в котором существуют такие виды технологий, идет глубже, чем это. Если вы представите спектр с физическим миром с одной стороны и истинной виртуальной реальностью с другой, это будет выглядеть так:

Физический мир -> Дополненная реальность -> Смешанная реальность <- Дополненная виртуальность <- Виртуальная реальность

(Не беспокойтесь об увеличенной виртуальности прямо сейчас. Мы еще не совсем там).

В настоящее время отрасль погрязла в запутанной терминологии, но выделение всего жаргона важно не только для понимания экосистемы, но и для определения всех точек, в которых Microsoft планирует подключиться к ней. Если мечта технического гиганта осуществится, ПО Microsoft для смешанной реальности может работать на гарнитурах стоимостью от 299 до 3000 долл. США, встроенных в потребительский и корпоративный опыт в играх, электронной коммерции, промышленном дизайне и производстве, интерактивной визуализации корпоративных данных, медицине и за его пределами.

Как вы строите ОС смешанной реальности

Во время недавнего брифинга в Microsoft PCMag получил возможность вкратце ознакомиться с новой гарнитурой-партнером Acer. Мы также получили разбивку программного стека Windows Mixed Reality, в том числе некоторые сведения о том, как Microsoft работает с OEM-производителями над созданием гарнитур стоимостью 299 долл., А также о недавнем обновлении для создателей Windows 10 для приложений смешанной реальности для Windows на различных компьютерных устройствах.

Платформа Windows Mixed Reality подразделяется на несколько разных уровней. В верхней части стопки у вас есть дисплей, монтируемый на голову (HMD) с шестью степенями свободы (6DoF), представляющий поддерживаемый уровень трехмерного движения и отслеживания положения. HoloLens использует то, что Microsoft называет наизнанку 6DoF, что означает отслеживание положения, которое объединяет данные от нескольких входных датчиков и камер с алгоритмами для обеспечения бесперебойной работы.

Для контекста, гарнитуры виртуальной реальности без привязки, которые используют дисплей смартфона, включая Samsung Gear VR и Google Daydream View, в настоящее время поддерживают 3DoF, иногда известную как абсолютный рывок. Гарнитуры с привязанными VR, такие как Oculus Rift и HTC Vive, имеют отслеживание положения 6DoF.

Обновление Creators для Windows 10 включает поддержку управления движением 6DoF в Acer и других будущих OEM-гарнитурах. Acer Windows Mixed Reality Development Edition включает две фронтальные камеры слежения за положением и два дисплея, по сравнению с четырьмя камерами, которые вы найдете в более дорогих HoloLens (две добавленные камеры HoloLens используются для пространственного картирования), но все пять партнеров гарнитуры будут поддерживать 6DoF. Обновление, которое выйдет позднее в этом году, добавит поддержку интегрированных графических чипов в гарнитурах смешанной реальности, хотя аппаратному обеспечению потребуется сравнительно недавний чип Intel 7- ^го поколения, чтобы получить обновление.

Следующие слои в стеке Windows Mixed Reality обрабатывают ввод, промежуточное ПО и интерфейсы прикладного программирования (API) для смешанной реальности и пространственного восприятия. Входной слой обрабатывает все визуальные, гироскопические, голосовые и пространственные входные данные, которые устройство AR / VR собирает в любой момент времени. Это может включать данные из источников, включая системы координации, взгляд и направление, жесты, голосовой ввод, пространственный звук и пространственное отображение.

Уровни промежуточного программного обеспечения и API являются ключом к пониманию того, как платформа начинает соединяться с остальной частью программной экосистемы AR / VR. Документация для разработчиков Windows Mixed Reality уже содержит инструкции по созданию голографических приложений с использованием популярных платформ, включая Unity (кроссплатформенный механизм разработки), Vuforia (платформа разработки AR) и протокол промежуточного программного обеспечения для создания приложений MR с использованием среды выполнения Microsoft DirectX.

Платформа сама по себе не открыта - вы должны играть по правилам универсального приложения для Windows от Microsoft, - но Microsoft предоставляет ряд опций для подключения к своему программному стеку MR. В качестве примера можно привести гарнитуру Intel Project Alloy VR, ожидаемую в конце этого года, на которой установлена ​​версия программного обеспечения Windows Mixed Reality.

К последним слоям стека добавляется пользовательский интерфейс (UI), который Microsoft называет «оболочкой», а также облачные сервисы, такие как аутентификация и синхронизация Xbox Live, и обмен сообщениями для совместной работы через такие сервисы, как Skype. В выпуске Acer Windows Mixed Reality Development Edition мы кратко рассмотрели, что «оболочка» - это, по сути, операционная система, спроектированная как комнаты в доме.

Затем пользователь может телепортироваться в разные комнаты и запускать различные приложения, отображаемые в виде плавающих значков или занимая плитку на стене. Это могут быть простые приложения, такие как «Фотографии», «Фильмы и ТВ», Microsoft Edge или даже полноценное меню «Пуск» Windows 10, в котором можно перемещаться в интерфейсе, который работал с контроллером Xbox. Конечно, есть и некоторые забавные возможности интерактивного трехмерного моделирования, как и в случае с HoloLens. Демонстрационные примеры варьировались от слонов и тигров, бродящих вокруг, до машущего астронавта, которого вы можете разместить в комнате, и приложения, которое запускает вас в трехмерную солнечную систему. Это всего лишь пара примеров, учитывая, что гарнитуры OEM могут работать с любым универсальным приложением Windows. С точки зрения программного обеспечения Microsoft рассматривает все эти устройства как компьютеры Windows 10 для вашей головы.

Компания может выпустить стандартную аппаратную спецификацию смешанной реальности в какой-то момент в будущем, но в данный момент Microsoft сосредоточена на программном стеке и совместно разрабатывает грядущую волну партнерских гарнитур. Если вы поближе познакомитесь с выпуском Windows 10 Anniversary Release (и с коммерческим пакетом HoloLens в нем), вы также можете увидеть программные функции, которые Microsoft добавила изнутри, чтобы сделать корпоративные решения HoloLens более привлекательными для массового развертывания бизнеса.

HoloLens Commercial Suite поддерживает базовый набор функций HoloLens Development Edition, позволяя предприятиям рассматривать гарнитуру смешанной реальности как еще одно устройство в своей корпоративной ИТ-сети. Microsoft выпустила коммерческий пакет HoloLens в августе прошлого года по цене 5000 долларов, а за эти дополнительные 2 тысячи долларов вы получаете такие функции, как более глубокое управление мобильными устройствами (MDM) с Microsoft Intune и режимом киоска, который запускает HoloLens непосредственно в конкретном приложении. опыт для демонстрации в магазине в розничной среде.

Коммерческий пакет также поставляется с Microsoft BitLocker Drive Encryption и доступом к защите виртуальной частной сети (VPN), которая теперь важнее, чем когда-либо. Блестящему оборудованию всегда будет уделяться больше внимания, особенно в связи с тем, что в ближайшие месяцы Asus, Dell, HP и Lenovo выпустят собственные гарнитуры для партнеров. Но для самой ясной картины того, куда движется стратегия смешанной реальности Microsoft, внимательно следите за программным обеспечением.