Почему важно научить играть в игры | Бен Диксон

OpenAI, исследовательская лаборатория искусственного интеллекта, основанная Сэмом Альтманом и Элоном Маском, недавно объявила, что отправит команду в Ванкувер в августе для участия в профессиональном турнире известной онлайн-игры о битве Dota 2. Но в отличие от других команд, которые будут соревнуясь за приз в несколько миллионов долларов, OpenAI-х команда не будет вовлекать людей - по крайней мере, не напрямую.

Эта команда, получившая название OpenAI Five, состоит из пяти искусственных нейронных сетей, которые проживают огромные вычислительные мощности облака Google и практикуют игру снова и снова, миллионы раз. OpenAI Five уже опередили полу-профи в Dota 2 и будут испытывать свои силы против 1% лучших игроков в августе.

В первый На первый взгляд, тратить дорогостоящие вычислительные ресурсы и скудные способности ИИ для обучения ИИ играть в игры может показаться безответственным. В OpenAI работают одни из лучших в мире ученых по искусственному интеллекту, которые, по данным The New York Times , получают семизначную зарплату. В конце концов, разве они не могут работать над более важными проблемами, такими как разработка искусственного интеллекта, который может бороться с раком или сделать автомобили без водителя безопаснее?

Некоторым это может показаться абсурдным, но игры оказались важной частью исследований ИИ. От шахмат до Dota 2 каждая игра, которую ИИ победил, помогла нам выйти на новый уровень в информатике и других областях.

Игры помогают отслеживать прогресс ИИ

С момента появления идеи искусственного интеллекта в 1950-х годах игры стали эффективным способом измерения возможностей ИИ. Они особенно удобны при тестировании возможностей нового ИИ методы, потому что вы можете количественно оценить эффективность ИИ с помощью числовых показателей и результатов «победа-поражение» и сравнить их с людьми или другими ИИ.

Первой игрой, которую исследователи пытались освоить с помощью ИИ, были шахматы, которые в первые дни считались окончательным испытанием достижений в этой области. В 1996 году IBM Deep Blue стала первым компьютером, победившим чемпиона мира (Гарри Каспарова) по шахматам. ИИ за Deep Blue использовал метод грубой силы, который анализировал миллионы последовательностей, прежде чем сделать ход.

В то время как метод позволил Deep Blue овладеть шахматами, он был недостаточно эффективен для решения более сложных настольных игр. По сегодняшним меркам это считается грубым. Когда Deep Blue победил Каспарова, ученый заметил, что пройдет еще сто лет, прежде чем ИИ сможет победить древнюю китайскую игру Го, в которой больше возможных ходов, чем количество атомов во вселенной.

Но в 2016 году исследователи принадлежащей Google компании AI DeepMind создали AlphaGo, игровой AI, который победил Ли Седола, чемпиона мира, со счетом 4: 1 в конкурсе из пяти игр. AlphaGo заменил метод грубой силы Deep Blue на глубокое обучение, технику искусственного интеллекта, которая работает гораздо более похоже на работу человеческого мозга. Вместо того чтобы исследовать каждую возможную комбинацию, AlphaGo изучал то, как люди играют в Го, а затем попытался выяснить и воспроизвести успешные игровые паттерны.

Позже исследователи DeepMind создали AlphaGo Zero, улучшенную версию AlphaGo, в которой использовалось обучение с подкреплением, метод, который требовал нулевого участия человека. AlphaGo Zero обучили основным правилам го и изучили игру, играя против себя бесчисленное количество раз. И AlphaGo Zero обошел своего предшественника со 100 до нуля.

У настольных игр есть свои ограничения. Во-первых, они пошаговые, то есть ИИ не должен принимать решения в постоянно меняющейся среде. Во-вторых, ИИ имеет доступ ко всей информации в окружающей среде (в данном случае к доске) и ему не нужно гадать или рисковать, основываясь на неизвестных факторах.

Учитывая это, ИИ под названием Libratus сделал следующий прорыв в исследованиях искусственного интеллекта, обыграв лучших игроков в покер Texas Hold 'Em. Разработанный исследователями из Carnegie Mellon, Libratus показал, что ИИ может конкурировать с людьми в ситуациях, когда он имеет доступ к частичной информации. Libratus использовал несколько методов искусственного интеллекта, чтобы изучить покер и улучшить свой игровой процесс, изучая тактику своих противников.

Видеоигры в реальном времени - это следующий рубеж для ИИ, и OpenAI - не единственная организация, вовлеченная в эту область. Facebook проверил обучение ИИ игре в стратегическую игру в реальном времени StarCraft, а DeepMind разработал ИИ, который может играть в шутер от первого лица Quake III. Каждая игра представляет свой набор задач, но общим знаменателем является то, что все они представляют ИИ среду, в которой им приходится принимать решения в режиме реального времени, и с неполной информацией. Более того, они дают ИИ арену, где он может проверить свою мощь против команды противников и самому научиться работать в команде.

Пока что никто не разработал ИИ, способный побить профессиональных игроков. Но сам факт того, что ИИ конкурирует с людьми в таких сложных играх, показывает, как далеко мы продвинулись в этой области.

Игры помогают развивать ИИ в других областях

Хотя ученые использовали игры в качестве тестовых площадок для разработки новых методов искусственного интеллекта, их достижения не ограничивались играми. Фактически, игровые ИИ проложили путь для инноваций в других областях.

В 2011 году IBM представила суперкомпьютер, способный обрабатывать и генерировать естественный язык (NLG / NLP) и названный в честь бывшего генерального директора компании Томаса Дж. Уотсона. Компьютер сыграл в знаменитую игру-викторину «Опасность» с двумя лучшими игроками мира и победил. Позже Уотсон стал основой для огромного количества услуг ИИ от IBM в различных областях, включая здравоохранение, кибербезопасность и прогнозирование погоды.

DeepMind использует свой опыт разработки AlphaGo для использования ИИ в других областях, где может помочь обучение с подкреплением. Компания запустила проект с Национальной сеткой Великобритании, чтобы использовать AlphaGo-х разумно, чтобы повысить эффективность британской электросети. Google, материнская компания DeepMind, также использует технику для сокращения затрат на электроэнергию в своих огромных центрах обработки данных за счет автоматизации контроля потребления различных аппаратных средств. Google также использует усиленное обучение для обучения роботов, которые однажды будут обрабатывать объекты на фабриках.

• Искусственный интеллект имеет проблему смещения, и это наша вина Искусственный интеллект имеет проблему смещения, и это наша ошибка
• IBM Искусственный интеллект принимает участие в дебатах о людях
• Почему ИИ должен раскрывать, что это ИИ Почему ИИ должен раскрывать, что это ИИ

Libratus ИИ, играющий в покер, может помочь в разработке алгоритмов, которые могут помочь в различных ситуациях, таких как политические переговоры и аукционы, где ИИ должен рисковать и приносить краткосрочные жертвы ради долгосрочных выгод.

Я, например, с нетерпением жду возможности увидеть, как OpenAI Five будет выступать в августе на соревнованиях по Dota 2. Хотя я не особо заинтересован в том, чтобы нейронные сети и их разработчики забрали домой приз в 15 миллионов долларов, мне интересно посмотреть, какие новые окна откроют его достижения.