Ibm Watson помогает студентам университета изучать мандарин

Университеты прошли долгий путь в изучении языка, выходя за рамки традиционных занятий в лекционном зале и предварительно записанных уроков без взаимодействия. Теперь студенты имеют доступ к таким технологиям, как искусственный интеллект (ИИ) и обработка естественного языка (НЛП), в условиях погружения в учебу. Именно это происходит в Лаборатории когнитивных и иммерсивных систем (CISL) в Трое, Нью-Йорк, в кампусе Политехнического института Rensselaer (RPI). Именно здесь институт объединился с IBM Research, чтобы создать технологию для шестинедельного летнего курса, на котором студенты взаимодействуют с агентами ИИ в среде, включающей уличные рынки и рестораны.

Курс, озаглавленный «Иммерсивный китайский с искусственным интеллектом», включает 360-градусную панорамную систему отображения компьютерных сцен в Cognitive Immersive Room (CIR) лаборатории, которая также называется «Ситуационная комната». Виртуальные сцены происходят в Китае. Студенты общаются с аватарами, созданными на основе Watson Assistant, и корректируют свою речь и произношение. В CIR учащиеся используют разговорный ИИ, генерацию повествования, понимание пространственного контекста и технологию распознавания жестов и лиц.

CIR является примером разнообразных возможностей IBM Watson в нескольких отраслях, помимо образования. Эти отрасли включают сельское хозяйство, человеческие ресурсы (HR) и управление автопарком.

В RPI, в дополнение к Watson Assistant, студенты используют Watson Speech to Text, Watson Text to Speech и Language Translator в своих занятиях.

Студенты изучают мандарин с помощью ИИ в кампусе RPI. (Изображение предоставлено: IBM Research / RPI)

Активный учебный опыт

Для Джулиана Вонга, младшего в RPI, опыт погружения в искусственный интеллект был привлекательным способом изучения мандарина, поскольку он дает ему более активный способ обучения. Поскольку мандарин - это тональный язык, в котором изменение высоты тона может изменить значение слов, аватары в опыте ИИ обеспечивают обратную связь по тону, чтобы убедиться, что Вонг и другие ученики правильно произносят произношение.

По словам Вонга, работа с ИИ в CIR обеспечивает хороший баланс с обычным временем в классе. «Встреча, чтобы поговорить с компьютером… определенно помогает во многих аспектах изучения языка, особенно в устных навыках», - сказал Вонг.

Урок Мандарина Вонга встречается четыре раза в неделю. По понедельникам и пятницам он посещает занятия в традиционной классной комнате с Хелен Чжоу, доцентом RPI. Там он изучает новый словарный запас и знакомится с фразами и грамматическими структурами. По вторникам и четвергам класс встречается в CIR, где студенты проводят беседы с виртуальными агентами. В ресторанной среде Вонг сказал, что студенты могут пройти через весь процесс сидения в ресторане, просмотра меню, заказа еды, разговора с официантом о том, как готовится еда, и оплаты счета. Другие среды включают сад, рынок и школьный городок.

По словам Чжоу, класс «Мандарин» в классной комнате с эффектом погружения отличается от традиционной среды, поскольку он обеспечивает мультимодальное восприятие языка и видео. Она сказала, что традиционный урок будет менее захватывающим и интерактивным. «В симуляции в иммерсивном классе у нас есть два агента, чтобы сражаться друг с другом, чтобы убедить студентов купить продукт», - сказал Чжоу. «Таким образом, студенты будут понимать на личном опыте, а не смотреть видео или слушать только лекции. Я считаю, что им будет легче освоить культуру, чем просто изучая учебники или слушая кассеты».

В CIR учащиеся проводят викторины, связанные со сценами, с которыми они общались, и поднимают руки, чтобы дать ответы. Технологии компьютерного зрения с камер в комнате фиксируют их жесты. Помощник по искусственному интеллекту проводит тест, связанный со сценой, и студенты должны ответить фразой на китайском языке.

«Если вы хотите выбрать одно из всплывающих окон, отображаемых на экране, вы можете протянуть руку ладонью, а затем закрыть ладонь», - объяснил Вонг. «Вы выбираете то, на чем курсор находится в данный момент. Для небольших тестов, если вы знаете, каков правильный ответ, тогда вы можете подвести руку к символам, которые вы хотите выбрать, и затем закрыть свою руку, чтобы выбрать их. даст вам знать, если вы поняли это правильно или нет ".

Виртуальный агент понимает студентов большую часть времени, за исключением случаев, когда у них может не быть микрофона близко ко рту. Система имеет различные настройки распознавания голоса, которые выбирают учеников, если они потеряли свое произношение. Это также обеспечивает немедленную обратную связь в разговоре, если у вас нет профессора. В свое свободное время ученики класса Мандарин посещают веб-сайт, чтобы получить доступ к голосовым клипам для практики.

Крутой особенностью погружения в RPI является пространственное понимание контекста, в котором несколько виртуальных агентов на экране могут определить, с кем вы смотрите в глаза. «Если вы скажете что-то, глядя на одного агента, то этот агент ответит, а не другой», - сказал Вонг.

Студент использует технологию жестов и распознавания лиц IBM Watson как часть класса Мандарин в RPI. (Изображение предоставлено: IBM Research / RPI )

Как развивался опыт погружения

Впечатляющий опыт в RPI был создан, когда профессора языка и гейм-дизайнеры встретились, чтобы обсудить лучший способ обучения языку. План развития ролевой игры вскоре перешел в дискуссию о том, как научить Mandarin с помощью симуляции реальных сценариев, по словам Хуи Су, который является одновременно директором по когнитивному опыту пользователей в IBM Research и директором CISL. IBM и RPI начали разработку курса в конце 2015 года, и в то время они создали совместную лабораторию. CISL тогда сформировался вскоре после этого.

«Цель лаборатории - создать когнитивную и иммерсивную среду для улучшения групповой деятельности, для повышения группового интеллекта в контексте обучения и принятия решений», - сказал Су. «Мы также сосредоточены на создании когнитивных иммерсивных залов заседаний… чтобы посмотреть на данные критической ситуации и попытаться разобраться в информации и выработать решения или рекомендации для лиц, принимающих решения».

В рамках программы изучения языка AI IBM и RPI экспериментируют с анализом контуров основного тона. Су описал, как работает эта технология. «Когда вы произносите слог, когда произносите слог, базовая технология улавливает голос и создает визуальный контур того, как вы произносите этот слог», - сказал Су. «Затем он использует этот визуальный контур и сравнивает этот визуальный контур с визуальным контуром носителя языка».

Затем студенты могут внести коррективы в свое произношение, чтобы достичь правильного тона. Они узнают, что им нужно изменить произношение определенных слогов. По словам Су, ученики приобретают знания, изучая мандарин в классной комнате с использованием технологий Уотсона, и у них будет больше уверенности в общении в реальной жизни.

«Вся идея состоит в том, чтобы обеспечить достаточно культурного контекста с помощью нашей захватывающей среды и технологий искусственного интеллекта, чтобы позволить студентам выполнять упражнения», - сказал Су. «Таким образом, они не будут бояться разговаривать с людьми в реальной жизни».

Студент практикует Мандарин в среде виртуальных ресторанов с использованием технологии IBM Watson. (Изображение предоставлено: IBM Research / RPI )

Мост между технологической индустрией и академией

IBM и RPI способны построить мост между исследователями и преподавателями IBM, а IBM внедряет исследователя в университетском городке, а именно Su. Тем временем, Чжоу, профессор класса в RPI, также предоставляет обратную связь дизайнерам, пользователям и учителям о том, как улучшить погружение в класс.

«Мне нужно дать им немедленную обратную связь для отладки или улучшения дизайна, чтобы мы могли предложить более естественную классную комнату для студентов», - сказал Чжоу. «Так что есть много работы, но оно того стоит».

Будущее изучения языка

• Лучшее программное обеспечение для изучения языка в 2019 году Лучшее программное обеспечение для изучения языка в 2019 году
• IBM выпускает предварительно обученные инструменты Watson AI в нескольких отраслях IBM выпускает предварительно обученные инструменты Watson AI в нескольких отраслях
• ИИ действительно говорит на нашем языке? ИИ действительно говорит на нашем языке?

По словам Чжоу, этот тип иммерсивного окружения ценен благодаря способности создавать, казалось бы, реальную среду. «Окружающая среда ИИ может улучшить не только говорение и аудирование студентов, но и прагматику использования этого языка в реальных ситуациях», - сказал Чжоу. «Вот почему ИИ более идеален для меня, как для преподавателя, так что учащиеся могут получить представление об использовании языка на раннем этапе, даже для начинающих, без поездок в страну».

Среды мультимодального обучения, подобные тем, которые предлагаются в RPI, расширят роль ИИ в классе. Благодаря опыту, который ИИ предоставляет через виртуальных агентов, студенты будут готовы решать различные сценарии в реальном мире с необходимыми языковыми навыками.