В отличие от большинства технологий внутри iPhone, достаточно наглядных и понятных функций, таких как Siri, ночной режим в камере или Face ID, преимущества Neural Engine не кажутся столь очевидными.
Очередная фишка с модным названием, улучшения, о которых инженеры и маркетологи Apple с энтузиазмом рассказывают нам каждый год, но обычно эту часть презентации смотреть не так интересно.
Но большинство самых популярных и крутых функций вашего iPhone, которыми вы пользуетесь все время, каждый день или даже каждую минуту, работают благодаря Neural Engine. Это чрезвычайно важная технология, благодаря которой айфоны стали намного умнее своих предшественников.
Разработка Neural Engine
Купертино начал работать над собственными процессорами еще в 2010 году, когда дебютировал iPhone 4 с самым первым чипом A-серии под названием «A4». Но по-настоящему ключевым годом в истории разработки iPhone стал 2017 год — именно тогда нам показали смартфон, в систему которого на чипе был встроен отдельный нейронный сопроцессор.
Я говорю об iPhone X и его чипе Apple A11 Bionic. Приставка «Бионический» предполагает несколько интеллектуальных функций в iPhone.
В беседе с журналистами сразу после презентации главный маркетолог Apple Фил Шиллер отметил, что теперь главным нововведением каждого нового поколения продуктов компании будут чипы.
Но зачем понадобилось внедрять Neural Engine (он же нейронный движок) в чип iPhone 10 и какую пользу это принесло пользователям?
Зачем нужен Neural Engine?
Все дело в Face ID, который работает благодаря машинному обучению и нейронным сетям.
Для того чтобы любой iPhone научился распознавать лицо своего владельца, перед инженерами Apple встала достаточно сложная задача по обучению нейросети и загрузке ее в будущие смартфоны. А новейший сопроцессор Neural Engine отвечал только за работу этой нейросети и выполнял все необходимые вычисления.
В своей первой версии нейронный движок имел всего два ядра и производительность 600 миллиардов операций в секунду. Это довольно много, но, например, нынешний чип Apple A15 Bionic использует 16 ядер, что обеспечивает производительность в 15,8 трлн операций в секунду.
Помимо Face ID, Neural Engine в своей первой версии использовался для ускорения других специфических алгоритмов, связанных с дополненной реальностью, анимодзи, студийным освещением в портретной фотографии и т.д.
Но зачем нужен был отдельный сопроцессор, почему нельзя было использовать мощность центрального или графического процессоров? На это есть несколько причин.
При работе с нейросетью требуется много вычислений, и желательно параллельно. Они не носят особо сложного характера, но их много. А обычные процессоры просто не предназначены для таких массово-параллельных операций.
Например, на обучение сложной нейронной сети с помощью CPU уйдет несколько месяцев, а GPU справится за несколько дней.
То есть центральный процессор нам не подойдет, да и графический процессор, который рассчитан на выполнение очень быстро и множества достаточно простых операций, тоже не подойдет.
Но тут уже встает вопрос энергоэффективности, что для мобильных устройств имеет решающее значение. Кому нужен мощный и супер умный смартфон, если он не может долго работать от одной зарядки?
Именно для решения этих задач, скорости и энергоэффективности требуется дополнительный нейронный сопроцессор, который будет выполнять на вашем смартфоне определенные специфические алгоритмы.
Почему без Neural Engine уже не обойтись?
Использование локальных нейронных сетей и вычислений, способных работать без доступа к сети Интернет, гарантирует безопасность и конфиденциальность данных. Представьте, если бы вам пришлось отправить данные на удаленный сервер, чтобы разблокировать iPhone, обработать их там и передать обратно на смартфон. Звучит как научная фантастика, и, конечно же, встроенный нейронный движок сделает это намного быстрее.
Но если первая версия Neural Engine в основном отвечала за распознавание лиц с помощью Face ID, размытие фона на портретных фотографиях, то в следующих поколениях смартфонов Apple следующее поколение нейронных движков взяло на себя более сложные задачи.
Существенный рост производительности и энергоэффективности, в том числе благодаря добавлению в центральный процессор специальных ускорителей и увеличению количества нейронных ядер, позволил реализовать в iOS невероятно крутые функции. И большинство нововведений касаются производительности камеры и улучшения вашего личного опыта использования системы.
Самые крутые фичи, за которые отвечают Machine Learning и Neural Engine:
- технология Deep Fusion для улучшения изображения;
- ночной режим в камере;
- размытие фона в эффектах видео и кино (доступно на iPhone 13 и новее).
И в принципе, в современных смартфонах за все улучшенные фотографические свойства, кроме доработанного железа, отвечает и система Neural Engine.
С дополнительным интеллектуальным сопроцессором вы можете распознавать текст на фото или видео, мгновенно вырезать объекты, создавать интеллектуальные воспоминания, искать и распознавать определенные элементы на фотографиях в вашей библиотеке и многое другое.
Вырезать объект из изображения
Работа с дополненной реальностью, анализ ваших ежедневных привычек и действий, а затем создание конкретных сценариев, управление батареей и лучший способ ее зарядки, перевод текста, Siri, анализ и выбор музыкальных предпочтений, напоминания, диктовка, обучение, пароли безопасности.
Без нейронного движка iPhone на самом деле не был бы iPhone. Так что слова Фила Шиллера о том, что чипы теперь будут главной инновацией каждого нового поколения продуктов компании, звучат весьма убедительно.
