Мобильные процессоры 2018 года: рост возможностей машинного обучения

Неудивительно, что в этом году смартфоны оснащены более быстрыми процессорами, чем в прошлом году, что происходит каждый год. Но что нового в этом году, так это преобладание возможностей машинного обучения, которые почти каждый производитель процессоров рекламирует как способ дифференциации своих устройств. Это справедливо для производителей телефонов, которые разрабатывают свои собственные микросхемы, независимых или коммерческих поставщиков микросхем, которые продают процессоры производителям телефонов, и даже производителей IP, которые разрабатывают ядра, которые входят в сами процессоры.

Фон

Сначала немного предыстории: все современные процессоры приложений включают в себя разработки (часто называемые интеллектуальной собственностью или IP) других компаний, в частности таких компаний, как ARM, Imagination Technologies, MIPS и Ceva. Такой IP может появляться в различных формах - например, ARM продает все, от базовой лицензии для своей 32-разрядной и 64-разрядной архитектуры, до конкретных ядер для процессоров, графики, обработки изображений и т. Д., Которые затем могут использовать разработчики чипов для создавать процессоры. Как правило, разработчики микросхем смешивают и сопоставляют эти ядра с собственными проектами и делают различные выборы в отношении памяти, межсоединений и других функций, пытаясь сбалансировать производительность с требованиями к питанию, размеру и стоимости.

Что касается процессора, большинство чипов имеют комбинацию более крупных ядер, которые являются более мощными и работают быстрее и горячее, и меньших ядер, которые более эффективны. Как правило, телефоны будут использовать меньшие ядра большую часть времени, но для сложных задач переключатся на высокопроизводительные ядра и будут использовать комбинацию как ядер, так и графического процессора и других ядер для лучшего управления требованиями к производительности и тепловым соображениям (вы не можете запускайте высокопроизводительные ядра очень долго, потому что они перегреются, и обычно вам это не нужно). Наиболее известными примерами больших ядер являются ядра ARM Cortex-A75 и A73; соответствующие меньшие ядра были бы A55 и A53. В современных высококлассных телефонах вы часто будете видеть по четыре каждого в так называемом восьмиъядерном макете, хотя некоторые поставщики использовали другие подходы.

Что касается графики, то здесь больше разнообразия: одни поставщики выбирают линию Mali от ARM, другие выбирают PowerVR от Imagination Technologies, а третьи предпочитают создавать собственные графические ядра. И еще больше разнообразия, когда дело доходит до таких вещей, как обработка изображений, цифровая обработка сигналов и, в последнее время, функции AI.

яблоко

Apple начала продвигать свои возможности искусственного интеллекта в своих осенних телефонных объявлениях, включая, в частности, чип «A11 Bionic», используемый в iPhone 8 и 8 Plus, а также iPhone X.

A11 Bionic - это шестиядерная архитектура с двумя высокопроизводительными ядрами и четырьмя эффективными ядрами. Apple разрабатывает свои собственные ядра (под лицензией архитектуры ARM) и традиционно обеспечивает однопоточную производительность. Это шаг вперед по сравнению с четырехъядерным процессором A10 Fusion, и Apple заявила, что производительные ядра в A11 на 25 процентов быстрее, чем в A10, а четыре эффективных ядра могут быть на 70 процентов быстрее, чем чип A10 Fusion., Также сказано, что графический процессор работает на 30 процентов быстрее.

Apple рассказывает о чипе, имеющем двухъядерный «Neural Engine», который может помочь с распознаванием сцены в приложении камеры, а также Face ID и Animoji на iPhone X. Компания также выпустила API под названием CoreML, чтобы помочь стороннему. разработчики создают приложения, которые используют это преимущество.

Apple, как правило, не дает много информации о своих процессорах, но говорит, что нейронный движок A11 Bionic представляет собой двухъядерный дизайн, который может выполнять до 600 миллиардов операций в секунду для обработки в реальном времени.

В отличие от большинства других производителей процессоров, Apple не интегрирует модем в свои процессоры приложений, а вместо этого использует автономные модемы Qualcomm или Intel. Были некоторые противоречия относительно того, поддерживает ли Apple только те функции в своих модемах Qualcomm, которые также поддерживаются Intel; на практике это означает, что iPhone поддерживает трехстороннюю агрегацию несущих, но не некоторые из более продвинутых функций.

Huawei

Huawei также рано пришла к толчку ИИ и назвала его Kirin 970, который он анонсировал на выставке IFA прошлой осенью, «первым в мире мобильным процессором ИИ». Kirin 970 сейчас используется в Huawei Mate 10. Он включает в себя четыре ядра процессора Cortex-A73 с тактовой частотой до 2, 4 ГГц и четыре A53 с тактовой частотой до 1, 8 ГГц, а также графический процессор ARM Mali G72 MP12.

Что особенно нового в 970 - это то, что Huawei называет своим NPU, или Neural Processing Unit. Компания заявила, что задачи, которые могут быть выгружены на этот процессор, могут в 25 раз увеличить производительность и в 50 раз эффективность по сравнению с работающими в кластере ЦП. Это нацелено, в частности, на более быстрое распознавание изображений и лучшую фотографию. На выставке Huawei сказал, что телефон может обрабатывать 1, 92 16-битных TeraFLOP.

Kirin 970 имеет процессор сигналов с двумя изображениями, модем LTE категории 18 с агрегацией 5 несущих и MIMO 4 на 4, который должен обеспечивать максимальную скорость загрузки 1, 2 Гбит / с.

На Mobile World Congress компания Huawei анонсировала свой первый модем 5G, Balong 5G01, который, по его словам, станет первым модемом 5G, который будет поставляться. Вполне вероятно, что некоторые будущие приложения будут использовать этот модем, но об этом пока не объявлено. Технически все эти продукты созданы дочерней компанией HiSilicon.

Qualcomm

Чип, вероятно, будет в основе большинства флагманских телефонов Android в США в этом году - Snapdragon 845 компании Qualcomm. Это обновление Snapdragon 835, которое использовалось в большинстве телефонов Android класса премиум 2017 года и уже используется в североамериканские версии Galaxy S9.

Как и большинство других поставщиков, Qualcomm выдвигает нейронные сети и ИИ как одну из самых больших областей улучшений в чипе этого года, наряду с повышенным вниманием к «погружению» - что по сути означает улучшение качества изображения.

В области искусственного интеллекта Qualcomm любит говорить о наличии многоядерного процессора нейронной обработки (NPE), который использует новую версию своего Hexagon DSP, а также CPU и GPU для вывода.

Чип имеет процессор Hexagon 685, который, по словам Qualcomm, может более чем удвоить производительность обработки AI; процессор Kryo 385, который, по его словам, обеспечивает повышение производительности на 25–30 процентов для своих ядер производительности (четыре ядра ARM Cortex-A75, работающие на частоте до 2, 85 ГГц) и до 15 процентов увеличения производительности для его «ядер эффективности» (четыре Ядра Cortex-A55, работающие на частоте до 1, 8 ГГц), все они совместно используют кэш-память L3 объемом 2 МБ, а также графический процессор Adreno 630, который, по словам Qualcomm, обеспечит повышение производительности на 30% или снижение энергопотребления на 30%, а также в 2, 5 раза быстрее отображает.

В области ИИ чип поддерживает большое количество различных систем машинного обучения, и компания заявляет, что это работает для таких вещей, как классификация объектов, распознавание лиц, сегментация сцены, распознавание ораторов и т. Д. Двумя выделенными приложениями являются живые эффекты боке (для создания портретов с размытым фоном) и активной глубины и структурированного света, что должно позволить улучшить распознавание лиц. Qualcomm говорит, что, перенося вывод из облака на устройство, вы получаете преимущества низкой задержки, конфиденциальности и повышенной надежности.

В области обработки изображений чип имеет новую версию Spectra ISP компании Qualcomm, улучшенный захват видео Ultra HD с многокадровым шумоподавлением, возможность захвата 16-мегапиксельного видео со скоростью 60 кадров в секунду и замедленное видео 720p при 480 кадров в секунду. Что касается VR, 845 поддерживает дисплеи с разрешением 2K на 2K со скоростью 120 кадров в секунду, что является большим шагом по сравнению с 1, 5K на 1, 5K при 60 кадрах в секунду, поддерживаемых 835.

Другие функции включают в себя защищенный процессор, который использует свое собственное ядро ​​для хранения информации о безопасности вне ядра и работает с процессором и возможностью TrustZone Qualcomm.

В 845 интегрирован модем X20, представленный компанией Qualcomm в прошлом году, который поддерживает LTE категории 18 (со скоростью до 1, 2 Гбит / с), агрегацию до 5 несущих и 4X4 MIMO, а также использует такие методы, как лицензированный доступ для ускорения работы. скорости возможны в большем количестве областей.

Чип изготовлен по технологии Samsung с низким энергопотреблением 10 нм.

Qualcomm также производит семейство процессоров приложений Snapdragon 600 во главе с 660, который используется многими китайскими поставщиками, включая Oppo и Vivo. В преддверии Mobile World Congress было представлено семейство Snapdragon 700, которое обладает многими функциями, аналогичными семейству 800, в том числе Hexagon DSP, Spectra ISP, графика Adreno и процессор Kryo. По сравнению с 660, Qualcomm заявляет, что он обеспечит двукратное улучшение в приложениях AI на устройстве и 30-процентное повышение энергоэффективности.

Samsung

В то время как Samsung использует процессоры Qualcomm в большинстве своих североамериканских телефонов, на многих других рынках Samsung использует свои собственные процессоры Exynos и начинает предоставлять такие процессоры другим производителям телефонов.

Его новый топ-оф-лайн - это Exynos 9810, который Samsung будет использовать в международных версиях Galaxy S9 и S9 +.

Опять же, Samsung продвигает новые функции для «программного обеспечения, основанного на глубоком обучении», которое, по его словам, помогает процессору точно идентифицировать предметы или людей в телефонах и поддерживает глубину распознавания лиц.

9810 также является восьмиъядерным чипом с четырьмя ядрами A55 для повышения энергоэффективности и четырьмя индивидуальными процессорами для повышения производительности. Samsung говорит, что эти новые ядра, которые могут работать на частоте до 2, 9 ГГц, имеют более широкий конвейер и оптимизированную кэш-память, что дает им вдвое больше одноядерной производительности и на 40% больше многоядерной производительности по сравнению с его предшественником, прошлогодним 8895 (Опубликованные тесты показывают улучшения в реальном мире, но не так сильно, как утверждается; на данный момент я скептически отношусь ко всем тестам для мобильных устройств.)

Другие функции включают в себя графику Mali-G72 MP18, поддержку дисплеев до 3840 на 2400 и 4096 на 2160, процессор с двумя сигналами изображения (ISP) и поддержку захвата 4K со скоростью 120 кадров в секунду. 9810 также имеет модем категории 18 с агрегацией 6 несущих и MIMO 4 на 4 для нисходящей линии связи (2 CA для восходящей линии связи) с максимальной скоростью нисходящей линии связи 1, 2 Гбит / с и загрузкой 200 Мбит / с. На бумаге это соответствует модемам категории 18, которые есть у Qualcomm и Huawei в их нынешних топовых чипах. Как и Snapdragon 845, он изготовлен по технологии FinFET второго поколения от Samsung.

MediaTek

MediaTek был более успешным игроком в телефонах среднего уровня и ниже, и в прошлом месяце представил новый чип под названием Helio P60, предназначенный для рынка "New Premium" - телефон среднего класса в диапазоне от 200 до 400 долларов, который предлагает все Основные функции телефонов более высокого класса. Первым телефоном, который будет использовать этот чип, является Oppo R15.

Топовым процессором компании, анонсированным в прошлом году, является Helio X30, представляющий собой процессор с декарядным ядром, предназначенный для телефонов премиум-класса. Это включает два ядра процессора ARM Cortex-A73, работающие на частоте до 2, 5 ГГц, четыре ядра Cortex-A53, работающие на частоте до 2, 2 ГГц, и четыре ядра A35, которые могут работать на частоте до 1, 9 ГГц, наряду с графикой PowerVR Series 7XT Plus компании Imagination по адресу 800 ГГц и модем LTE категории 10, способный к агрегации с 3 несущими в нисходящей линии связи. Это интересный чип, созданный по 10-нм техпроцессу TSMC, и подталкивает мысль о том, что большее количество ядер может быть более гибким. Среди телефонов, объявленных для использования, это Meizu Pro 7 Plus с двумя экранами и Vernee Apollo 2 (8-мегапиксельная фронтальная камера, 16-мегапиксельная + 13-мегапиксельная задняя камера).

В прошлом году MediaTek анонсировала два процессора среднего класса, Helio P23 и P30, предназначенные для мировых рынков и, в частности, Китая, каждое с восемью ядрами Cortex-A53, работающими на частоте 2, 53 ГГц, и графикой Mali G71 MP2. Это чипы, которые P60 разработан, чтобы заменить, и предложить больше мощности и позволяют ряд новых функций.

P60 предлагает более высокую производительность и является возвращением к конфигурации big.LITTLE, предложенной ARM и MediaTek в предыдущие годы, объединяя четыре из более мощных ARM Cortex-A73 с тактовой частотой до 2, 0 ГГц и четыре из более эффективных Cortex-A53 ядра, также на 2, 0 ГГц. К ним присоединяется графический процессор ARM Mali G72 NMP3 с тактовой частотой до 800 МГц, и все они контролируются четвертой версией технологии MediaTek CorePilot для планирования, где выполняются задачи. По словам MediaTek, по сравнению с P23 и P30 P60 обеспечивает повышение производительности на 70% как в процессорах, так и в графических процессорах.

MediaTek также выходит на широкую ногу AI, с P60, включая его платформу NeuroPilot для аппаратного ускорения нейронной сети. Это поддерживает Google Android Neural Network (NN) и общие структуры AI, включая TensorFlow, TensorFlow Lite, Caffe и Caffe 2. Это по сути специализированный процессор цифровых сигналов, способный обрабатывать 280 GMAC (миллиарды операций с множественным накоплением в секунду). Он предназначен для таких вещей, как распознавание лиц для разблокировки телефона (то, что мы видели в дорогих телефонах, но не в телефонах среднего уровня до сих пор) и распознавание объектов, даже в видео, со скоростью 60 кадров в секунду.

Кроме того, P60 имеет ряд новых функций изображения, в том числе три процессора датчиков изображения, которые могут поддерживать конфигурацию с двумя камерами: 16 и 20 МП, или одну камеру со скоростью до 32 МП. (Я еще не видел телефон в производстве с сенсором камеры с таким количеством мегапикселей, но они предположительно поступают.) Эти датчики добавляют функции шумоподавления наряду с боке в реальном времени (размытие фона, используемого в портретных режимах), Микросхема включает модем, который поддерживает загрузки категории 7 (до 300 Мбит / с) и загрузки категории 13 (до 150 Мбит / с с агрегацией 2 несущих). Он изготовлен по 12-нм технологическому процессу FinFet компании TSMC, что, по словам компании, позволяет сэкономить 25% энергии для энергоемких приложений, таких как игры, и в целом 12% экономии энергии.

Spreadtrum

Spreadtrum, которая делает модемы в основном продаваемыми на китайском рынке, объявила о партнерстве с Intel, которое будет использовать модем Intel 5G и ARM-совместимые процессоры. Это еще через пару лет, поэтому подробности пока не доступны.

Обратите внимание, что хотя Spreadtrum не очень заметен в США, он уступает только Qualcomm и MediaTek на торговом рынке для процессоров приложений. Он в основном продает продукты с процессорами ARM и собственным модемом 4G, но имеет дело с Intel и принадлежит меньшинству. Это привело к появлению чипа с процессорами Intel и модемом Spreadtrum (противоположность новому анонсу).

РУКА

Конечно, не только производители чипов рассматривают ИИ как следующую большую волну, и компании, которые делают ИС, также делают большой толчок в этой области.

ARM, самый успешный из производителей IP, в прошлом месяце анонсировал набор IP для машинного обучения, включая аппаратное и программное обеспечение, и представил это на Mobile World Congress.

Названный Project Trillium, он включает в себя конструкции процессора (IP) для машинного обучения (ML) и обнаружения объектов (OD), а также новую библиотеку программного обеспечения.

Процессор ML предназначен для использования внутри процессора приложений и работает рядом с процессором, графическим процессором и ядром дисплея. Библиотека программного обеспечения, известная как ARM NN (нейронная сеть), предназначена для поддержки таких платформ, как TensorFlow, Caffe и Android NN. Это позволяет этим приложениям запускаться только через программное обеспечение на существующих процессорах с процессорами ARM и графикой; хотя, конечно, он будет значительно ускорен при работе на процессорах с ядрами ML. Стороннее программное обеспечение также будет работать на ядре процессора. ARM говорит, что ядро ​​ML было разработано с нуля специально для запуска нейронных сетей. Он может работать как с 8-, так и с 16-разрядными приложениями, хотя для простоты тенденция сосредоточиться на 8-разрядных приложениях.

Процессор OD предназначен для установки рядом с процессором сигнализации изображения (ISP), чтобы обеспечить обнаружение объектов с низким энергопотреблением, особенно для таких приложений, как обнаружение лица и отслеживание движения. Это выделенный аппаратный блок, предназначенный для использования с новыми сенсорными технологиями, такими как стереоскопические камеры.

ARM сообщает, что новый IP будет доступен для предварительного просмотра разработчиком в апреле и будет доступен в конце этого года, но, учитывая типичный временной цикл, маловероятно, что новые процессорные ядра появятся в чипах до 2019 года или позже. Конечно, программное обеспечение, которое работает на существующих ядрах, может быть развернуто гораздо раньше.

ARM также выдвинула несколько новых решений для Интернета вещей, в том числе новое решение для SIM-карт под названием Kigen, предназначенное для создания внутри SoC для устройств с низким энергопотреблением для замены современных физических SIM-карт.

Технологии воображения

Компания Imagination, известная своей графикой PowerVR, анонсировала свой IP нейронной сети прошлой осенью - ускорение нейронной сети PowerVR 2NX (NNA). Это гибкая архитектура с одним-восемью ядрами, каждое из которых может иметь 256 8-битных модулей с множественным накоплением (MAC). Воображение заявило, что может выполнять более 3, 2 трлн операций в секунду.

Ceva

Другие поставщики IP также выходят на рынок. Ceva, известная своими ядрами DSP, только что анонсировала NeuPro, семейство процессорных ядер AI, предназначенных для периферийных устройств. Они основаны на процессорах, которые фирма продала в области компьютерного зрения, и используют среду CDNN для различных «процессов ИИ». Это будет работать с общими системами машинного обучения, и конвертировать их для запуска на мобильных процессорах для вывода. Компания планирует процессоры со скоростью от 2 до 12, 5 тераопс в секунду (TOPS), предназначенные для потребителей, систем наблюдения и продуктов ADAS (для автономных транспортных средств). Сева сказал, что один крупный автомобильный заказчик планирует задействовать 100 TOPS производительности, потребляя менее 10 Вт мощности. Лицензирование начнется во второй половине этого года.

Ceva также анонсировала свою платформу DSP PentaG для модемов 5G. Компания говорит, что ее нынешние DSP находятся в 40 процентах мировых телефонов, покрывая около 900 миллионов телефонов в год, и в модемах от Intel, Samsung и Spreadtrum. Новая платформа имеет больше искусственного интеллекта, особенно используемого для «адаптации ссылок». В мире 5G мобильные телефоны могут иметь несколько ссылок на базовую станцию, и Ceva утверждает, что ее аппаратное и программное обеспечение помогает определять лучшую связь каждые несколько миллисекунд. Это может сэкономить много энергии по сравнению с использованием только программного обеспечения. Это не универсальный DSP или чип нейронной сети, а чип, разработанный специально для связи. Это было только объявлено и должно быть доступно в третьем квартале.

Ceva также активно продвигает DSP на рынке базовых станций 5G и заявляет, что до 50 процентов новой радио инфраструктуры 5G будут использовать DSP IP компании, включая системы от Nokia и ZTE.

Насколько вероятно, что вы порекомендуете PCMag.com?