Как единство строит свое будущее на ar, vr и ai

Unity является наиболее широко используемой платформой 3D-разработки в мире. По данным аналитической компании Apptopia, она обеспечивает 40 процентов из 1000 лучших мобильных игр и более половины всех новых мобильных игр. Наряду с Unreal Engine, два популярных игровых движка лежат в основе большинства игровых процессов в Интернете.

Тем не менее, пространство трехмерной разработки гораздо теснее, чем когда-либо, особенно когда речь идет о разработке дополненной и виртуальной реальности.

Unity служит строительными блоками или интегрируется с большинством более новых платформ AR / VR, включая Apple ARKit и Google ARCore, но теперь он также сталкивается с конкуренцией со стороны Amazon Sumerian и других интерфейсов перетаскивания, стремящихся упростить взаимодействие с пользователем. менее технические создатели.

Чтобы оставаться впереди конкурентов и развивать свою платформу для растущей экосистемы новых устройств и 3D-приложений, Unity продвигает двустороннюю стратегию, которую возглавляют подразделения AR / VR и AI. PCMag побеседовал с Тони Паризи (Tony Parisi), глобальным руководителем Unity по решениям для брендов VR / AR, и Дэнни Ланге, вице-президентом Unity по искусственному и машинному обучению Unity, чтобы взглянуть изнутри на будущее Unity и на то, как платформа и создаваемые игры становятся умнее без Вы даже понимаете это.

Unity's Взгляд на ландшафт AR / VR

IDC прогнозирует, что в этом году расходы на продукты и услуги AR / VR достигнут 27 миллиардов долларов, и рынок оттуда только растет. По словам Паризи, Unity стремится поддерживать каждую платформу в космосе.

«Три или четыре года назад, прежде чем я присоединился, Unity начала вкладывать значительные средства в развивающийся рынок виртуальной реальности - Oculus Rift, HTC Vive, Samsung Gear VR и т. Д. - с целью создания своего рода полнофункциональной системы для разработчиков. поэтому им не нужно разбираться в деталях низкого уровня о том, как поддерживать эти платформы », - сказал Паризи. «Мы дошли до того, что вы пишете большинство своих приложений один раз, и вы можете перенести их на эти устройства».

По его словам, это не всегда так, потому что приложение, которое вы создаете для гарнитуры для мобильных устройств просмотра, будет несколько отличаться от приложения, оптимизированного для работы на ПК. Но согласно внутренним показателям Unity, платформа в настоящее время обеспечивает 69% опыта Oculus Rift, 74% в HTC Vive, 87% в Gear VR и 91% в смешанной реальности (MR) в Microsoft HoloLens.

• Работа с растущей экосистемой

  Parisi работает в AR / VR с середины 90-х, занимаясь трехмерной визуализацией. Он участвовал в создании формата файлов VRML и других спецификаций, лежащих в основе WebGL, а также основал и работал в нескольких других компаниях VR. Он присоединился к Unity в конце 2016 года, чтобы возглавить рекламу, маркетинг и стратегию в AR, VR, MR и в сфере расширенной реальности (XR).

  "сразу после бума Pokemon Go, который был своего рода упрощенным AR больше о местоположении, о том, чтобы отправиться куда-нибудь и найти покемона, плюс немного камеры. Это фактор, который мы продолжаем увеличивать. Речь идет о местоположении настолько, насколько оно о погружении ", сказал Паризи.

  На фронте AR Паризи рассказал о том, как Facebook и Snap используют свои платформы Camera Effects и Lens Studio для разработки того, что вы можете сделать с помощью камер смартфонов, чтобы отобразить окружающую среду вокруг вас. Соединение смартфона и AR на основе гарнитуры - это игра Star Wars: Jedi Challenges, которая также была создана с Unity и работает со смартфоном в сочетании с гарнитурой Lenovo Mirage AR.

  По словам Паризи, следующая волна - это телефоны с поддержкой операционной системы AR через Apple ARKit и Google ARCore. Как и в случае с Amazon Sumerian, Unity сотрудничает с Apple и Google в создании AR-контента с использованием 3D-инструментов. Unity также служит основой для таких инструментов Google с открытым исходным кодом, как Tilt Brush и Blocks. Parisi представляет общий расширенный мир, охватывающий мобильные операционные системы.

  «Apple и Google являются отличными партнерами. Мы тесно сотрудничаем с ними, чтобы разрабатывать и поддерживать этот опыт и контент XR с помощью 3D-инструментов Unity», - сказал Паризи. «В наш движок встроено множество демократизированных инструментов создания, которые не предназначены для программистов, разработчиков или профессиональных дизайнеров. Что еще лучше, вы можете взять модели Blocks или Tilt Brush и перенести их в другие приложения Unity, как любое другое программное обеспечение. это входит в Единство ".

  Что касается MR и VR, то крупными игроками устройств и программного обеспечения являются Oculus, HTC и, конечно, Microsoft и ее экосистема Windows Mixed Reality. По словам Паризи, Unity создает 3D-приложения для всех из них, но Microsoft немного стирает грани между смешанной и виртуальной реальностью. HoloLens - это устройство смешанной реальности, но гарнитуры Windows Mixed Reality - это виртуальная реальность.

  «Индустрия все еще сталкивается с тем, что мы должны называть всем этим», - сказал Паризи. «В зависимости от того, разрабатываете ли вы контент, который сочетает в себе цифровой и реальный мир, а не погружение в полностью погруженный мир, у вас возникают разные проблемы. В VR проблемы с производительностью выше. Вам нужно создать полностью синтетический мир. Это означает, что ПК виртуальные гарнитуры на базе виртуальной реальности воспроизводятся со скоростью 90 кадров в секунду, что повышает производительность. Смешанная реальность менее интенсивна, но она также должна адаптироваться в реальном времени ко всей среде, которую она обрабатывает ».

• Эволюция создания 3D контента

  Unity - демократизированный инструмент для создания 3D-изображений для создания захватывающего контента. Существуют бесплатные, плюсовые и профессиональные версии, которые вы можете купить за ежемесячную абонентскую плату, и это бесплатно. То, что вы строите с Unity, принадлежит вам. В настоящее время Unity поддерживает создание около 30 различных платформ, от смартфонов и операционных систем ПК до множества игровых систем, умных телевизоров и гарнитур виртуальной реальности.

  В последнее время Unity используется для создания широкого спектра захватывающего контента и опыта. Они варьируются от серии кинофестиваля Sundance под названием «Сферы», которая позволяет зрителям исследовать космическое столкновение двух черных дыр в виртуальной реальности, до игры CocoVR Диснея, в которой используются проекции на 360 градусов, переносящие игроков в фильм «Земля мертвых» из фильма Pixar.

  Паризи также рассказал об использовании Unity для создания забавных VR-игр, таких как Beat Sabre, и о дополненных впечатлениях, включая приложение MLB At Bat AR, которое позволяет зрителям бейсбола направлять свои смартфоны на игру и видеть статистику на экране над игроками.

  Unity может создавать все эти типы приложений, но при разработке нужно учитывать множество нюансов. Опыт работы с ПК более мощный, что позволяет использовать большие трехмерные модели в более насыщенных условиях, а гарнитуры, такие как Oculus Rift и HTC Vive, также предоставляют вам контроллеры ввода наряду с позиционным и масштабированием в помещении. Паризи сказал, что вы должны разрабатывать приложения такого типа иначе, чем при просмотре с 3 степенями свободы на гарнитуре, такой как Google Daydream View. Это не так просто, как нажать кнопку, но Unity позаботилась о том, чтобы создаваемый вами 3D-контент мог перемещаться с одного устройства на другое без чрезмерного перекодирования.

  Помимо игровых и развлекательных приложений для AR / VR, один из вопросов, с которыми Unity в последнее время сталкивался, заключается в том, как улучшить свою среду создания 3D-изображений для удовлетворения потребностей различных отраслей, уровней квалификации и вариантов использования. Как и в случае с инструментами разработки с низким кодом, предназначенными для удовлетворения как серьезных программистов, так и нетехнических пользователей, Unity ищет способы заставить свой интерфейс, хранилище ресурсов и остальную часть своей платформы работать для различных типов компаний и пользователей, чтобы расширить своих клиентов. база.

  «Мы рассматривали различные отрасли, где появляются AR и VR. Это могут быть автомобильные, кино, архитектурные, медицинские или другие организации, где вы распространяете программное обеспечение на сотни тысяч рабочих мест», - сказал Паризи. «Это совершенно разные миры, разные предприятия, разные фоны и производственные инструменты. Изначально мы были сосредоточены на мобильной и игровой индустрии, потому что там был рост, но сейчас колесо вращалось, и пришло время взять этот сборник и принести его. в некоторые из этих других отраслей сейчас, потому что мир идет B2B ".



Текущие ограничения AR / VR

По словам Паризи, на данный момент самым большим препятствием для более широкого внедрения MR и VR является не отсутствие контента, а аппаратные ограничения, когда речь идет о комфорте и портативности в сравнении с вычислительной мощностью. Тяжелое путешествие предстоящей гарнитуры Magic Leap служит примером из учебника, когда мы пытаемся сжать достаточно мощный процессор в достаточно малый форм-фактор для массового потребления.

«Сложно создать опыт смешанной реальности, который будет обходить вашу гостиную, а не выходить на открытые улицы», - сказал Паризи. «Мы находимся в месте, где мы все еще проходим итерации по аппаратному обеспечению, чтобы найти наилучшее место между вычислительной мощностью и портативностью. С виртуальной гарнитурой VR вы можете перемещаться, пока не почувствуете эту зацепку. Нам нужен еще один способ передачи этих данных. Этот провод - боль; он ломает погружение. Я был где-то в другом месте в течение минуты, но затем я что-то запутал вокруг моей ноги ».

На стороне AR ограничения разные; это гораздо больше о компьютерном зрении и вычислительной мощности для 3D-графики в реальном времени. Когда дело доходит до компьютерного зрения и использования различных типов машинного обучения (ML), чтобы заполнить пробелы и сделать AR / VR опыт более интеллектуальным и беспроблемным, вот где появляется растущий отдел ИИ Unity.

• Стратегия единства ИИ

  Unity использует AI различными способами: от улучшения игрового процесса и дизайна движка до отслеживания поведения пользователя и изменения способа, которым разработчики игр могут монетизировать свои приложения. Командой AI, насчитывающей более 100 сотрудников по всему миру, руководит Дэнни Ланге, вице-президент Unity по искусственному интеллекту и машинному обучению.

  Ланге присоединился к Unity около 18 месяцев назад после того, как стал главой машинного обучения в Uber и генеральным директором Amazon Machine Learning. Он также работал в IBM и Microsoft. Он пришел в игровой мир с другим взглядом на ML и помог превратить традиционные усилия Unity по ML в более амбициозные проекты.

  «Такие компании, как Amazon и Uber, в большой степени ориентированы на машинное обучение. Выходя из мира автомобилей с автоматическим управлением в эту среду 3D-игр, вы хотите найти идеальное место, чтобы расширить границы искусственного интеллекта», - сказал Ланге.

  «Когда я пришел, я предпринял ряд усилий по машинному обучению, в ходе которых я приобрел опыт работы с обучением с подкреплением и динамическими системами, в которых вы в основном улучшаете поведение», - продолжил Ланге. «Это то, что мы много сделали как в Amazon, так и в Uber. Отправляете ли вы книги или оптимизируете пикап для Uber без трения, все это на самом деле не люди, которые сидят и проектируют его, это компьютерные системы, которые учатся, где сказать Вы, где встретить своего водителя Uber. И когда я пришел в Unity, я увидел огромную возможность привнести эти идеи в игровой мир ».

  Как объяснил Ланге, ML-проекты Unity охватывают все, от игрового процесса до монетизации. В одном случае команда ищет кластеры пользователей, которые имеют определенные схемы расходов, которые разработчики Unity хотят монетизировать посредством рекламы или покупок внутри приложения. Затем Unity представляет эти результаты разработчикам для более эффективного и долгосрочного участия.

  Компания также применяет ML для улучшения игрового процесса, дизайна движка и помощи в процессе создания контента. Всеобъемлющая стратегия Unity по существу разбита между стороной разработки по более высокому уровню обслуживания ML и более продвинутыми глубокими исследованиями в академической части. Ланге сказал, что это также пересекается с тем, что делает отдел Parisi с разработкой XR, где Unity предоставляет исследователям трехмерную графическую среду для тестирования новых алгоритмов ML.

  «AR и VR - действительно фантастические области для машинного обучения и искусственного интеллекта. Я часто думаю об искусственном интеллекте как о улучшенной реальности, и с реальностью трудно иметь дело», - сказал Ланге. «Трудно придумать фиксированные алгоритмы, которые понимают все в комнате и могут перекрывать эту комнату. Вы не можете действительно кодировать это. Вы должны использовать машинное обучение и ИИ, чтобы поместить виртуальные объекты в комнату, которая распознает, что таблица поверхность, и если вы положите ее на край стола, она упадет. Это области, где машинное обучение играет очень важную роль из-за этого динамичного поведения в реальном мире, понимания глубины и размеров в виртуальных пространствах. стремясь вывести на передний край глубокого обучения революционизировать, как эти игры создаются и ведут себя ".



Машинное обучение за кулисами

Что касается разработки игр и геймплея, то Ланге отодвинул занавес к тому, как Unity внедряет алгоритмы ML в опыт для автоматизации процесса создания и итерации.

«Мы собираем много поведенческих данных: когда начинается игра - сколько времени вы играли, какие сцены вы проходите в этой игре», - сказал Ланге. «В этом смысле мы используем машинное обучение и аналитику данных в том же контексте, что и Amazon или Google - собираем поведенческие данные и передаем их разработчику игры. Это своего рода эквивалент веб-аналитики, дающей вам действенные данные использовать сразу, чтобы увидеть, на каких уровнях игроки застряли, какие сцены не работают и т. д."

Эти данные можно использовать для оптимизации таких факторов, как покупки в приложениях и реклама, но Ланге сказал, что алгоритмы помогают найти баланс между показом интересующего их контента и монетизацией игр до предела. На макроуровне он объяснил, что это больше о создании самосохраняющегося цикла поведенческих данных, чтобы помочь играм развиваться органично, исключая ручную работу разработчика из уравнения.

«Машинное обучение - это то, где вы можете взять данные и начать устанавливать связи», - сказал Ланге. «Когда вы помещаете это в цикл, как то, что вы часто видите в игре, данные приводят к предсказаниям со стороны игры и игроков. Это создает больше поведенческих данных, и теперь у вас действительно есть система, которая может взаимодействовать и изучать от пользователей и от того, как они взаимодействуют друг с другом. Одним из наших больших усилий является использование технологии искусственного интеллекта для создания более органических игр, которые эволюционируют с использованием ».

• Агенты машинного обучения

  Самый важный способ, которым Unity делает это, - это ML Agents, бета-инициатива с открытым исходным кодом, которая превращает игры и 3D-симуляции в тренировочные площадки для автономных интеллектуальных агентов. По сути, Unity позволяет разработчикам развертывать эти гибкие ML-агенты в любом сценарии, и они будут действовать как губка: учиться и развиваться индивидуально в зависимости от виртуальной среды, в которую вы их перетянете.

  «Мое определение машинного обучения по сравнению с ИИ состоит в том, что с помощью машинного обучения вы собираете данные, обучаете систему, и все», - объяснил Ланге. «ИИ - это когда система постоянно переобучается и становится все лучше и лучше. Мы хотим, чтобы игры могли развиваться, и одна из наших публичных инициатив по продвижению - агенты машинного обучения».

  Unity имеет несколько целевых аудиторий для своих агентов ML. Один сценарий предназначен для разработчиков, позволяя этим автоматизированным персонажам перемещаться и взаимодействовать с игроками. Вместо того, чтобы кодировать свои действия, агенты ML учатся на подкреплении, поскольку имитируют различные уровни и помогают разработчикам быстро тестировать игры, выступая в качестве виртуальных игроков, параллельно тестируя тысячи игровых уровней.

  Еще один пример использования агентов ML сосредоточен вокруг повествования. Ланге сказал, что Unity тестирует агентов, пытаясь выяснить, что игрок будет делать дальше, а затем следовать за ними по шагам. Идея состоит в том, чтобы понять, что делают люди-игроки и как игра компенсирует эти решения в более широкой схеме повествования. В играх, где миллионы игроков активны, агенты ML могут изучать и настраивать уровни или сюжетные линии игры в огромных масштабах.

  В приведенном выше моделировании «Goodboy» команда Ланге создала простую мобильную игру, используя модель машинного обучения из набора инструментов Unity ML-Agents. В игре маленький корги приносит палку с милыми движениями, и все это без жесткой кодировки. Вместо этого его действия и поведение контролируются агентами ML. Unity планирует работать с партнерами по платформам для расширения ML Agents на все поддерживаемые платформы Unity.

  «Если вы думаете о таких способностях в игре на том уровне, который мы называем повествованием, то обязательно контролируются не персонажи, движущиеся в игре, а сам игровой сюжет. Таким образом, у вас есть игра, пытающаяся сыграть вас в какой-то момент». очень захватывающие дороги. Таким образом, вы можете выбрать движение влево или вправо по дорожке, и игра будет в основном организовывать ряд событий в зависимости от того, что вы собираетесь делать, через пять, 10, 15 ходов ». сказал Ланге.

  «Вы можете представить, как это может работать в многопользовательской игре», - продолжил он. «Один из классических примеров: в начале игры встречаются два человека. Один грабит все золото у другого игрока, а затем они разделяются с плохой кровью между ними. Таким образом, игра обеспечит повествование, в котором каждый игрок окажется в конечном итоге. вместе, чтобы выжить, им придется работать вместе. Им нужно пересечь мост, и они могут сделать это только вместе, иначе они выйдут из игры. Было бы очень трудно жестко закодировать ваш путь через это с обширным симуляции, но с агентами ML игра может динамически создавать подобные симуляции ».

• Создание виртуальных миров с помощью AI

  Демонстрация «Пирамиды», представленная выше, представляет собой среду, демонстрирующую результаты проекта обучения подкреплению под названием «Любопытство», в котором агенты ML быстро исследуют мир, чтобы обнаружить скрытые награды на карте.

  Другая сторона операций ИИ в Unity заключается в использовании ML для создания более захватывающих сцен и текстур при создании 3D-контента. Ланге сказал, что это новое, но очень многообещающее поле, где автономные системы в игре могут генерировать управляемый движением контент и заполнять естественные движения, изучая, как движется персонаж, человек или животное, а затем подражая этой анимации в игре.

  «У нас тысячи разработчиков тестируют это», - сказал Ланге. «С академической точки зрения, мы начали видеть много студентов и докторов наук из НАСА в Массачусетском технологическом институте и Институте Пола Аллена в Сиэтле, которые выпускают материалы по Unity. Я только что встречался с разработчиками в Лондоне, которые рассматривали это для разработки NPC, которые действительно настаивают на ограничение графической производительности на iPhone и устройствах Android."

  В Unity также есть механизм Extreme AI для отображения личностей персонажей, аналогично тому, как Amazon Sumerian создает «хосты» с искусственным интеллектом. По словам Ланге, для неиграбельных персонажей в игре Unity начала экспериментировать с этим для более естественного моделирования в прошлом году или двух.

  «Поэтому, если вы хотите построить робота или автомобиль с автоматическим управлением или спроектировать дом, вы можете сделать это в Unity и заселить этот дом неигровыми персонажами», - сказал Ланге. «Вы можете смоделировать 1000 семей, живущих в этом доме, и собрать информацию о том, как персонажи перемещаются. Правильно ли открываются двери? В комнатах достаточно света? Если вы сделаете это в облаке, у вас может быть 1000 разных домов». с 1000 разных семей. Это может показаться выходом за рамки самих игр, но в основе всего этого лежит игровая технология ».

• Будущее иммерсивных приложений

  По мере расширения амбиций компании в области AR / VR и искусственного интеллекта, Unity не ограничивается игрой для нового поколения 3D-приложений. Одним из примеров является автомобильная промышленность, для которой Unity недавно создала специальную команду, которая поможет создавать контент AR / VR для таких клиентов, как Audi, Toyota, Lexus и Volkswagen. По словам Паризи, Unity стремится использовать всю мощь своей кроссплатформенной экосистемы для разработки приложений для AR / VR-приложений в новых отраслях.

  «Мы меняем то, как вы проектируете автомобили, снимаете фильмы; как вы делаете все это как компания, которая знает, как продавать разработчикам игр», - сказал Паризи. «В качестве примера, скажем, Ford хочет создать приложение в своей инновационной лаборатории. У них высококлассное аппаратное и программное обеспечение, а затем выходит Rift, и они решают просто сделать это на игровом ПК. Они выпускают рекламу. и, скорее всего, кто-то в Детройте - программист на Unity. Один человек начинает создавать прототипы, он превращается в инновационную команду из трех человек, а затем они начинают разрабатывать новые способы проектирования автомобилей вместо физических прототипов ».

  Parisi также видит большой потенциал для снижения трения, когда дело доходит до AR и электронной коммерции. Большой переломный момент - предстоящая ратификация Консорциумом World Wide Web (W3C) WebXR, нового стандарта, который позволит AR и VR работать в качестве веб-приложений непосредственно в настольных и мобильных браузерах.

  Представьте себе объявление о новом кухонном приборе в своей социальной сети, а затем перетаскивание этой 3D-модели в среду смешанной реальности, связанную с вашей камерой, чтобы увидеть, как она выглядит на вашей кухне. Паризи сказал, что для того, чтобы такого рода технологии 3D-рекламы работали в массовом масштабе, веб-интерфейс должен быть беспроблемным. Если вам нужно установить приложение для просмотра каждого 3D-объекта, помеченного виртуальной информацией, просто для подключения его к вашей камере, модель не будет работать, но Unity видит себя в качестве инструмента наряду со стандартами, такими как WebXR, которые могут преодолеть эти пробелы в совместимости.

  Parisi представляет будущее, в котором форм-фактор для AR / VR-приложений представляет собой автономное развлекательное устройство, будь то домашний опыт, приложение на основе определения местоположения или корпоративная симуляция для обучения. Он также сказал, что пользовательский интерфейс должен стать полностью захватывающим. Технология еще не там, но он не верит, что это так далеко, как некоторые могут подумать.

  «Некоторые люди думают, что пройдут десятилетия, прежде чем мы сможем получить действительно хорошую иммерсивную гарнитуру или очки с достаточной вычислительной мощностью», - сказал Паризи. «Если учесть все чудесные прорывы в миниатюризации, все эти аспекты вычислений - ЦП, ГП, сети 5G - через несколько лет мы сможем перенести часть этой обработки на грани или в облако. Форм-фактор может что угодно, но общим элементом, безусловно, является захватывающий пользовательский интерфейс, где вы можете нажать кнопку и испытать полностью реализованные цифровые символы или многоуровневую среду, смешивая цифровой и реальный миры ».