Вычислительная фотография готова к крупному плану

В 2017 году более 87 миллионов американцев путешествовали по всему миру, что является рекордным показателем, согласно данным Национального бюро путешествий и туризма США. Если вы были среди них, возможно, вы посетили такой пункт назначения, как Стоунхендж, Тадж-Махал, залив Халонг или Великая китайская стена. И вы, возможно, использовали свой телефон для съемки панорамы, возможно, даже вращаясь вокруг телефона, чтобы получить сверхширокий, 360-градусный обзор ландшафта.

Если вы добились успеха - то есть не было смещенных участков, виньетирования или цветовых сдвигов - тогда вы увидели простой, но эффективный пример компьютерной фотографии. Но в последние несколько лет компьютерная фотография вышла за рамки такого узкого применения. Это могло бы не только дать нам другой взгляд на фотографию, но и изменить то, как мы воспринимаем наш мир.

Что такое компьютерная фотография?

Марк Левой, профессор компьютерных наук (почетный) в Стэнфордском университете, главный инженер Google и один из пионеров в этой развивающейся области, определил компьютерную фотографию как целый ряд «вычислительных методов визуализации, которые расширяют или расширяют возможности цифровой фотографии». на выходе получается обычная фотография, но она не могла быть сделана традиционной камерой ".

По словам Джоша Хафтеля (Josh Haftel), главного менеджера по продукту в Adobe, добавление вычислительных элементов к традиционной фотографии открывает новые возможности, особенно для компаний, работающих с изображениями и программного обеспечения: «Я вижу вычислительную фотографию в том, что она дает нам возможность сделать две вещи. Одна из они должны попытаться укрепить множество физических ограничений, которые существуют в мобильных камерах ».

Хороший пример - получение смартфона для имитации малой глубины резкости (DOF) - отличительного признака профессионально выглядящего изображения, поскольку он визуально отделяет объект от фона. Что мешает камере на очень тонком устройстве, таком как телефон, сделать снимок с неглубокой степенью свободы, так это законы физики.

"Вы не можете иметь мелкий Глубина резкости с очень маленьким сенсором », - говорит Хафтель. Но для большого сенсора требуется большой объектив. И поскольку большинство людей хотят, чтобы их телефоны были ультратонкими, большой сенсор в сочетании с большим громоздким объективом не подходит. Вместо этого Телефоны построены с небольшими объективами и крошечными датчиками, создавая большую глубину резкости, что позволяет сфокусировать все объекты вблизи и далеко.

Хафтель говорит, что производители смартфонов и простых камер могут компенсировать это, используя компьютерную фотографию, чтобы «обмануть, имитируя эффект способами, которые обмануты». Следовательно, алгоритмы используются для определения того, что считается фоном, а что - объектом переднего плана. Затем камера имитирует неглубоко ФО, размывая фон.

Второй способ, которым Хафтель говорит, что вычислительная фотография может быть использована, - это использование новых процессов и методов, помогающих фотографам делать то, что невозможно с использованием традиционных инструментов. Haftel указывает на HDR (высокий динамический диапазон) в качестве примера.

«HDR - это возможность делать несколько снимков одновременно или в быстрой последовательности, а затем объединять их вместе, чтобы преодолеть ограничения естественных возможностей датчика». В действительности, HDR, особенно на мобильных устройствах, может расширить тональный диапазон за пределы, которые датчик изображения может снимать естественным образом, позволяя вам захватывать больше деталей в самых светлых и темных тенях.

Когда вычислительная фотография терпит неудачу

Не все реализации компьютерной фотографии были успешными. Двумя смелыми попытками были камеры Lytro и Light L16: вместо того, чтобы смешивать традиционные и вычислительные функции фотографии (как iPhone, телефоны Android и некоторые автономные камеры), Lytro и Light L16 пытались сосредоточиться исключительно на вычислительной фотографии.

Первой, кто появился на рынке, была камера Lytro со световым полем в 2012 году, которая позволяла вам отрегулировать фокусировку фотографии после того, как вы сделали снимок. Это было сделано путем записи направления света, попадающего в камеру, чего не делают традиционные камеры. Технология была интригующей, но у камеры были проблемы, в том числе низкое разрешение и сложный интерфейс.

У этого также был довольно узкий случай использования. Как отмечает Дейв Этчеллс, основатель, издатель и главный редактор Imaging Resource: «Хотя возможность сфокусироваться после факта была отличной особенностью, апертура камеры была настолько мала, что вы не могли различить расстояния. если не было чего-то действительно близкого к камере."

Например, скажем, вы стреляете в бейсболиста в местном бейсбольном алмазе. Вы можете сфотографироваться рядом с забором, а также захватить игрока через забор, даже если он далеко. Тогда вы легко смените фокус с ограждения на игрока. Но, как отмечает Этчеллс: «Как часто вы на самом деле снимаете такую ​​фотографию?»

Более свежим устройством, нацеленным на создание автономной вычислительной камеры, была Light L16, попытка создать тонкую портативную камеру с качеством и производительностью изображения наравне с высококачественной D-SLR или беззеркальной камерой. L16 был разработан с 16 различными объективно-сенсорными модулями в одном корпусе камеры. мощный встроенное программное обеспечение будет создавать одно изображение из различных модулей.

Etchells был первоначально впечатлен концепцией Light L16. Но, как реальный продукт, он сказал: «У него было множество проблем».

Например, свет, камера а также Фотографическая компания Light L16, утверждающая, что данные со всех этих маленьких датчиков будут эквивалентны наличию одного большого датчика. «Они также утверждали, что это будет качество D-SLR», - говорит Этчеллс. Но в ходе полевых испытаний Imaging Resource обнаружил, что это не так.

Существовали и другие проблемы, в том числе то, что в некоторых областях фотографии имел место чрезмерный шум, «даже в светлых областях изображения… А динамического диапазона практически не было: тени просто сразу затухали», - говорит Этчеллс, имея в виду, что в некоторых случаях в разделах фотографий, включая образцы фотографий, которые компания использовала для продвижения камеры, в тенях почти не было деталей.

«Это была просто катастрофа при слабом освещении», - говорит Этчеллс. «Это просто была не очень хорошая камера, точка».

Что дальше?

Несмотря на эти недостатки, многие компании продвигаются вперед с новыми реализациями компьютерной фотографии. В некоторых случаях они стирают грань между тем, что считается фотографией, и другими типами медиа, такими как видео и виртуальная реальность.

Например, Google расширит приложение Google Photos, используя AI (искусственный интеллект) для новых функций, включая раскрашивание черно-белых фотографий. Microsoft использует AI в своем приложении Pix для iOS, чтобы пользователи могли легко добавлять визитки в LinkedIn. Вскоре Facebook выпустит функцию 3D-фотографий, которая «является новым типом мультимедиа, который позволяет людям делать трехмерные снимки во времени с помощью смартфона и делиться ими на Facebook». А в приложении Adobe Lightroom фотографы на мобильных устройствах могут использовать функции HDR и захватывать изображения в формате RAW.

VR и компьютерная фотография

В то время как мобильные устройства и даже автономные камеры используют вычислительную фотографию интригующими способами, даже Больше мощные сценарии использования происходят из мира платформ расширенной реальности, таких как VR и AR (дополненная реальность). Для Джеймса Джорджа, генерального директора и соучредителя Scatter, иммерсивной медиа-студии в Нью-Йорке, компьютерная фотография является открывая новые пути для художников, чтобы выразить свое видение.

«В Scatter мы рассматриваем компьютерную фотографию как основную технологию новых творческих дисциплин, которую мы пытаемся открыть… Добавление вычислений может затем начать синтезировать и моделировать некоторые из тех же вещей, которые наши глаза делают с изображениями, которые мы смотри в наши мозги ", говорит Джордж.

По сути, все сводится к интеллекту. Мы используем свой мозг, чтобы думать и понимать образы, которые мы воспринимаем.

«Компьютеры начинают смотреть на мир, видеть вещи и понимать, что они собой представляют так же, как мы», - говорит Джордж. Таким образом, компьютерная фотография - это «дополнительный слой синтеза и интеллекта, который выходит за рамки простого захвата фотографии, но фактически начинает имитировать человеческий опыт восприятия чего-либо».

Способ, которым Scatter использует вычислительную фотографию, называется объемной фотографией, которая представляет собой метод записи объекта с различных точек зрения и последующего использования программного обеспечения для анализа и воссоздания всех этих точек зрения в трехмерном представлении. (И фото, и видео могут быть объемными и отображаться в виде трехмерных голограмм, которые вы можете перемещать в рамках опыта VR или AR.) "Меня особенно интересует возможность реконструировать вещи не только в двухмерном виде, "говорит Джордж. «В нашей памяти, если мы пройдем через пространство мы можем фактически вспомнить пространственно, где вещи были связаны друг с другом ".

Джордж говорит, что Scatter способен извлекать и создавать представление пространства, которое «полностью и свободно ориентируется, таким образом, как вы могли бы перемещаться по нему, как видеоигра или голограмма. Это новый носитель, родившийся из пересечение между видеоиграми и кинопроизводством, которое дает возможность компьютерной фотографии и объемного кинопроизводства ".

Чтобы помочь другим в создании объемных VR-защит, Scatter разработал DepthKit, программное приложение, которое позволяет кинематографистам использовать датчик глубины от таких камер, как Microsoft Kinect, в качестве аксессуара для HD-видеокамеры. При этом DepthKit, гибрид CGI и видео-программного обеспечения, создает реалистичные 3D-формы, «подходящие для воспроизведения в реальном времени в виртуальных мирах», - говорит Джордж.

Scatter создал несколько впечатляющих виртуальных реальностей с DepthKit с использованием методов компьютерной фотографии и объемного кинопроизводства. В 2014 году Джордж совместно с Джонатаном Минардом создал документальный фильм «Облака», в котором исследуется искусство кода, включающее интерактивный компонент. В 2017 году Scatter выпустил адаптацию виртуальной реальности, основанную на фильме « Ноль дней» , используя виртуальную реальность, чтобы предоставить зрителям уникальную перспективу в невидимом мире кибервойн - увидеть вещи с точки зрения вируса Stuxnet.

Одним из самых мощных проектов, связанных с DepthKit, является «Терминал 3», опыт дополненной реальности пакистанского художника Асада Дж. Малика, премьера которого состоялась в начале этого года на кинофестивале TriBeCa. Этот опыт позволяет вам виртуально вступить в контакт с офицером пограничного патрулирования США с помощью Microsoft HoloLens и опросить трехмерную объемную голограмму, похожую на привидение, человека, который выглядит мусульманином (всего можно взять интервью у шести персонажей).

«Асад - пакистанский уроженец, который эмигрировал в США, чтобы поступить в колледж, и у него был довольно негативный опыт, когда его допрашивали о его прошлом и причинах его пребывания там. В шоке от этого опыта он создал« Терминал 3 », - говорит Джордж.

Одним из ключей к тому, что делает этот опыт настолько привлекательным, является то, что команда Малика в 1RIC, его студии дополненной реальности, использовала DepthKit для превращения видео в объемные голограммы, которые затем можно импортировать в движки видеоигр в реальном времени, такие как Unity или 3D. графические инструменты, такие как Maya и Cinema 4D. Добавляя данные датчика глубины от Kinect к видео D-SLR, чтобы правильно расположить голограмму в виртуальном пространстве AR, программное обеспечение DepthKit превращает видео в вычислительный видео. Черно-белая шахматная доска используется для калибровки D-SLR и Kinect вместе, тогда обе камеры могут использоваться одновременно для захвата объемных фотографий и видео.

• 10 быстрых советов, чтобы исправить плохие фотографии 10 быстрых советов, чтобы исправить ваши плохие фотографии
• 10 дополнительных базовых советов по цифровой фотографии 10 дополнительных базовых советов по цифровой фотографии
• 10 простых советов и приемов для улучшения фотографий смартфонов 10 простых советов и приемов для улучшения фотографий смартфонов

Поскольку этот опыт AR, созданный с помощью DepthKit, похож на работу видеоигр, такой опыт, как «Терминал 3», может создавать мощные интерактивные эффекты. Например, Джордж говорит, что Малик позволяет голограммам изменять форму по мере их допроса: если во время допроса ваши вопросы становятся обвинительными, голограмма дематериализуется и выглядит менее человечной. «Но когда вы начинаете ссылаться на биографию человека, его собственный опыт и его ценности, - говорит Джордж, - голограмма фактически начинает заполняться и становится более фотореалистичной».

Создавая этот тонкий эффект, он говорит, что вы можете размышлять о восприятии следователя и о том, как они могут видеть человека «просто как эмблему, а не как человека с истинной идентичностью и уникальностью». В некотором смысле, это может дать пользователям более высокий уровень понимания. «Через серию подсказок, где вам разрешено задавать тот или иной вопрос, - говорит Джордж, - вы сталкиваетесь со своими собственными предубеждениями и в то же время с этой отдельной историей».

Как и большинство новых технологий, компьютерная фотография испытывает свою долю как успехов, так и неудач. Это означает, что некоторые важные функции или целые технологии могут иметь короткий срок годности. Возьмите Lytro: в 2017 году, перед тем, как Google купил компанию, Lytro закрыл pictures.lytro.com, чтобы вы больше не могли размещать изображения на веб-сайтах или в социальных сетях. Для тех, кто пропускает его, Panasonic имеет функцию фокусировки, похожую на Lytro, называемую Post Focus, которую он включил в различные высококачественные беззеркальные камеры и наведи и снимай.

Инструменты и функции вычислительной фотографии, которые мы видели до сих пор, - это всего лишь Начало , Я думаю, что эти инструменты станут намного более мощными, динамичными и интуитивно понятными, поскольку мобильные устройства оснащены более новыми, более универсальными камерами и объективами, более мощными встроенными процессорами и более широкими возможностями сотовой связи. В самом ближайшем будущем вы можете начать видеть истинные цвета компьютерной фотографии.