Как технологии естественного языка, голограммы сохраняют свидетельство Холокоста

В 1990-х годах Фонд USC Shoah провел видео-интервью с тысячами людей, переживших Холокост, чтобы их истории никогда не были забыты. Цифровая библиотека некоммерческой организации в настоящее время содержит 53 000 видео свидетельств, а в последние годы расширилась, чтобы собрать свидетельства тех, кто был свидетелем Геноцида руандийских тутси в 1994 году, Нанкинской резни 1937 года и Геноцида армян, который совпал с Первой мировой войной.

Но в эпоху, когда наблюдается рост виртуальной и дополненной реальности, не говоря уже о роботах и ​​виртуальных помощниках, организация изучает более современные способы сбора свидетельских показаний: интерактивные, похожие на голограммы представления выживших, которые могут взаимодействовать и отвечать на вопросы от будущие поколения.

Фонд сотрудничает с Институтом креативных технологий USC и Conscience Display в рамках проекта, известного как «Новые измерения в свидетельстве». Он работает с 2012 года и в конечном итоге будет доступен в музеях и учебных заведениях по всему миру. PCMag недавно отправилась в Плайя Виста, Калифорния, чтобы посмотреть, как выжившая в Освенциме Ева Кор дает показания на звуковой сцене.

Руководитель проекта д-р Стивен Д. Смит, исполнительный директор USC Shoah Foundation, сказал, что он «хотел иметь возможность поговорить с людьми, которые сами пережили геноцид, услышать непосредственно от свидетелей, а не увидеть их отправленными стать статистикой истории». «.

В течение пяти дней команда Смита брала интервью у Кора, которому было восемь, когда началась Вторая мировая война. «Записывая ее ответы, мы можем создать живой ресурс для будущих поколений», - сказал он.

Хизер Майо, управляющий директор Conscience Display, экспериментировала с различными технологиями для музеев и образовательных учреждений, чтобы поделиться историей, прежде чем она узнала о работе в области ИКТ.

«Я провел тест с 3D, используя настройку с двумя камерами, но я действительно искал технологию, которая была бы наиболее далекой в ​​технологии голографического типа. Я нашел ИКТ в 2010 году и принес весь проект в Фонд USC Shoah».

Майо хотел выйти за рамки традиционных повествовательных свидетельств и решил исследовать обработку естественного языка, чтобы посетители музея могли иметь реальный диалог с записанными свидетелями.

Большая часть распознавания речи все еще находится в разработке. «Мы подключили Google ASR (автоматическое распознавание речи), которое является лучшим языковым программным обеспечением, особенно потому, что оно имеет самый большой естественный разговорный словарь и словосочетание и понимание контекста», - сказал Майо. «Но наши свидетели используют слова, в частности термины польский и идиш, которые менее используются сегодня, начиная с эпохи Второй мировой войны. Однако я заметил, что он учится очень быстро, подбирает новые слова и понимает больше каждый день».

Пора было идти в студию цифрового захвата. Команда настраивала обширную буровую установку с фоном с зеленым экраном, задрапированным на две трети пространства, чтобы позже опрашиваемый мог быть помещен в любую среду или фон.

Команда снимает в 360 градусах через установку со 112 камерами, комбинацию Ximea MQ042MG-CM, Red Epic M Dragons и Panasonic HC-X900. «Это сложный проект, поэтому ICT разработала пользовательские системы, работающие поверх Vegas Pro от Sony, для процесса редактирования, включающего программное обеспечение, созданное командой Natural Language из ICT», - сказал Майо.

Со всеми на месте Ева Кор заняла свое место в центре установки камеры. Ева была выбрана потому, что она основала организацию CANDLES («Дети выживших в нацистских экспериментах в Освенциме») в 1984 году и открыла музей CANDLES в 1995 году. Сейчас ей 83 года, и она по-прежнему проницательна, она внимательно выслушала инструкции о том, как держите ее торс в том же положении, чтобы ее цифровой рендеринг имел непрерывность позже. Тогда это было так же, как настоящий фильм.

"Тихо на съемочной площадке."

«Звук!»

"Ролл Панасоникс".

"Проверяю всю паназонику!"

"Ролл Ред".

"Шифер, пожалуйста."

С 'хлопушкой' рухнуло, чтобы дать редактору свои записи, все посмотрели на сценарий дня вниз, и Смит наклонился к микрофону снаружи буровой установки.

"Что твои родители рассказали тебе о Гитлере и Оккупации?" он спросил.

Кор глубоко вздохнула и рассказала, как венгерские солдаты пришли на маленькую ферму ее семьи в деревне в Трансильвании, Румыния.

После того, как показания свидетелей будут установлены, будут применены звуковые триггеры, чтобы будущие зрители могли задавать вопросы различными способами и получать убедительный ответ от Кор. Это означало, что Кор должен был ответить на один и тот же вопрос по-разному, просто для того, чтобы программа правильно классифицировала ее ответы и применяла ключевые слова с семантическим пониманием.

Вопросы, которые вызывали наибольшее количество эмоций у тех, кто смотрел, были такими, какие дети будут задавать. На самом деле они имели. Более 2000 вопросов были получены краудсорсингом из исследовательских испытаний, и многие из них касались повседневных деталей жизни в те дни. Кор вспомнила детские воспоминания, которые росли до того, как ее семью отправили в Освенцим. Она рассказала о том, как готовила ее мать, о проблемах с издевательствами в школе и любимом питомце ее сестры-близнеца Мириам.

Это потому, что Ева и Мириам - близнецы, и поэтому они являются частью ужасающих экспериментов, проведенных в лагере, что они оба выжили. Остальная часть семьи была убита по прибытии.

После часовой записи Кор нуждался в отдыхе. Итак, во время паузы в разбирательстве Смит отвел нас в боковую комнату, чтобы показать нам законченное свидетельство. Выходные данные ИКТ позволяют проецировать интервьюируемых в формате 2D HD, 3D, в режиме VR или с помощью любого монитора или устройства.

На ноутбуке Смит открыл окно браузера, и там появился Пинхас Гуттер, еще один переживший Холокост, его руки нежно лежали на его ногах, и, казалось, нас ожидали бдительные глаза.

Смит положил палец на клавиатуру ноутбука, чтобы Гаттер ответил. Лицо Гаттера осветилось. Смит задал вопрос, отпустил палец, и Гаттер ответил, как будто он сидел там на телеконференции в другом городе.

Мы все задали вопрос - несколько из нас с нашими разными национальностями и, следовательно, с акцентом. Он получил каждый и дал убедительные ответы. Это было убедительно. Приостановка веры была полной.

Ева Кор была готова к следующим 100 вопросам в студии. Все подали обратно. Но что удивительного в этом проекте, так это то, что Кор будет отвечать на вопросы людей о том, что с ней произошло, еще долго после того, как она оставила нас в физическом мире.