Intel добавит в CPU инструкции для глубинного обучения
- Искусственный интеллект ,
- Процессоры
Некоторые из последних процессоров Intel поддерживают семейство векторных инструкций AVX-512 . Они выполняются блоками по 512 бит (64 байта). Преимущество аппаратной поддержки таких больших инструкций в том, что за один такт процессор обрабатывает больше данных.
Если код загружается 64-битными словами (8 байт), то теоретически, если не брать в учёт другие факторы, можно ускорить его выполнение в восемь раз, если использовать инструкции AVX-512.
Расширение AVX-512 для системы команд x86 поддерживает 8 регистров масок, 512-разрядные упакованные форматы для целых и дробных чисел и операции над ними, тонкое управление режимами округления (позволяет переопределить глобальные настройки), операции broadcast, подавление ошибок в операциях с дробными числами, операции gather/scatter, быстрые математические операции, компактное кодирование больших смещений.
В первоначальный набор AVX-512 входит восемь групп инструкций:
- AVX-512 Conflict Detection Instructions (CDI)
- AVX-512 Exponential and Reciprocal Instructions (ERI)
- AVX-512 Prefetch Instructions (PFI)
- AVX-512 Vector Length Extensions (VL)
- AVX-512 Byte and Word Instructions (BW)
- AVX-512 Doubleword and Quadword Instructions (DQ)
- AVX-512 Integer Fused Multiply Add (IFMA)
- AVX-512 Vector Byte Manipulation Instructions (VBMI)
Естественно, не любой код можно обратить в векторные инструкции, но и не нужно делать это со всем кодом, пишет в своём блоге Дэниель Лемир (Daniel Lemire), профессор информатики Университета Квебека. По его словам, важно оптимизировать «горячий код», который отнимает больше всего ресурсов процессора. Во многих системах «горячий код» построен из ряда циклов, которые прокручиваются миллиарды раз. Вот именно его следует оптимизировать, в этом основная выгода.
Например, если такой питоновский код перекомпилировать со стандартных 64-битных инструкций в AVX-512 с помощью MKL Numpy , то время исполнения снижается с 6-7 секунд до 1 секунды на том же процессоре.
Import numpy as np np.random.seed(1234) xx = np.random.rand(1000000).reshape(1000, 1000) %timeit np.linalg.eig(xx)
Аппаратная поддержка глубинного обучения
Нейросети и глубинное обучение - один из ярких трендов последнего времени. Google, Facebook и другие крупные компании пытаются применить нейросети где только можно: в системах рекомендаций, распознавании лиц, переводах текстов, распознавании речи, классификации фотографий и даже в настольных играх вроде го (но это скорее ради пиара, чем для коммерческой выгоды). Кое-кто пытается применить глубинное обучение в нестандартных областях, таких как .Среди венчурных инвесторов сейчас есть понимание, что самая эффективная схема быстро разбогатеть - запустить стартап в области глубинного обучения, который сразу купит компания из «большой пятёрки» (Facebook, Google, Apple, Microsoft, Amazon). Эти фирмы в последнее время жёстко конкурируют в области скупки талантов, так что стартап уйдёт мгновенно и за большую цену из расчёта минимум $10 млн за сотрудника. Такой бизнес-план стал сейчас ещё проще, поскольку компании выпускают инструменты для разработки с открытыми исходниками, как это сделала Google с TensorFlow .
К несчастью для Intel, эта компания здесь плетётся в хвосте и почти не участвует в игре. Профессор Лемир признаёт, что сейчас отраслевым стандартом считаются графические процессоры Nvidia. Именно на них запускают код программ для машинного обучения.
Дело не в том, что инженеры Intel проспали тренд. Просто графические процессоры сами по себе без всяких специальных инструкций лучше приспособлены для расчётов deep learning.
Тем не менее, Intel готовит контратаку, в результате которой ситуация может перевернуться с ног на голову. В сентябре компания опубликовала новое справочное руководство Intel Architecture Instruction Set Extensions Programming Reference с указанием всех инструкций, которые будут поддерживаться в будущих процессорах. Если заглянуть в этот документ, то нас ждёт приятный сюрприз. Оказывается, семейство инструкций AVX-512 разбили на несколько групп и расширили.
В частности, две группы инструкций специально предназначены для глубинного обучения: AVX512_4VNNIW и AVX512_4FMAPS. Судя по описанию, эти инструкции могут быть полезными не только в глубинном обучении, но и во многих других задачах.
- AVX512_4VNNIW: Vector instructions for deep learning enhanced word variable precision
- AVX512_4FMAPS: Vector instructions for deep learning floating-point single precision
Сегодня хочу завести разговор на тему, что такое avx инструкции в процессоре, где и для чего они используются.
Среднестатистический покупашка идет в магазин и хочет купить компьютер / ноутбук для работы и для игр. На практике это - помощней и подешевле, чтоб реферат в ворде написать после чего играть.
Что касается процессоров - на полках лежат сердитые пеньки равные по мощности ай-третьим. Неужели i3 это маркетинговый заговор? Неужели Pentium это "такой ай три только дешевле"? И да и нет. А дело вот в чем.
Чтобы написать реферат в ворде - хватит самого дешевого Celeron (причем можно взять "процессор затычку" еще дешевле, если брать его на барахолке с чеком и остатком гарантии).
Чтобы после реферата сыграть во все игры - подойдет Pentium обладающий задатками ай-третьего (2 ядра 4 потока). Для игр AVX-инструкции не обязательны (лишь бы нужные SSE были).
А вот для профессиональных задач, пригодится аппаратная виртуализация и поддержка AVX-инструкций, поэтому - лучше взять минимум ай-третий.
Зачем нужны AVX инструкции
Что входит в ряд профессиональных задач? Как правило, лишенные AVX камни так же лишены и аппаратного ускорения виртуализации.
Разработка под android, которая потребует виртуалку этого самого ведроида (некоторые эмуляторы даже не запустятся, некоторые будут работать уныло сильно загружая ядра).
Пережевывание мультимедийных данных (от обработки фоточек до кодирования видео и запиливания трехмерной графики, так что - уже летсплейщикам стоит раскошелиться на процессор подороже).
Если без AVX
В процессоре есть регистры для инструкций.
SSE-регистр 128-битный, а AVX-регистр 256-битный.
Таким образом, чтобы не выносить ничей мозг анатомией камня, скажем просто - 256 не влезет в 128.
Без AVX тоже можно обрабатывать фоточки, жевать видео и пилить три-дэ. Но есть нюансы...
Если по-проще, то старый 8-ядерный Xeon (не умеющий AXV) будет пилить видосы с той же скоростью что современный i3 (умеющий AVX).
У процессора есть конвейер: узнал откуда брать из памяти, взял из памяти, вычислил, отправил результаты в память.
Упрощенно конвейер с и без AVX можно изобразить так.
Как видите - операций во втором случае меньше. Из чего логично предположить, что AVX-считалочка работает быстрее (в каждом вычислительном такте). А раз быстрее в каждом такте - тогда имея меньше гигагерц можно вычислять быстрее.
Еще одна вкусность AVX это дополнительный операнд. Используется не 2 операнда а 3, что так же сокращает конвейер. Допустим мы хотим сложить X и Y.
Код: Обычная операция, где 2 операнда (X=X+Y) заставит перезаписывать один из операндов.
AVX операция, где 3 операнда (Z=X+Y) позволяет записать результат в третий операнд.
Сложна? Ок, давайте бум прощэ.
Пилить видосы имея AVX получится быстрее. Ибо, помимо вышеописанного, добавляется плюшка оптимальной разбивки кадров.
Комп пересчитывает не каждый кадр. Он разбивает кадр на прямоугольники и сравнивает их, а если находится подходящий - использует готовый кусочек.
Тут AVX научился работать с видосиками оптимальнее (кому интересно - почитайте у профессионалов, а я ограничусь красивой картинкой).
Раньше разбивка была - как показано слева. AVX-разбивка умеет более умно - как показано справа.
Подводя итог
Чтобы писать реферат в ворде - сойдет вообще любой процессор.
Чтобы после
вместо реферата сыграть в игру - подойдет пень с задатками ай-третьего.
Чтобы пилить контент - лучше раскошелиться на ай-третий.
В моем коде на С++ используется SSE, и теперь я хочу улучшить его, чтобы поддерживать AVX, когда он доступен. Поэтому я обнаруживаю, что AVX доступен и вызывает функцию, использующую команды AVX. Я использую Win7 SP1 + VS2010 SP1 и процессор с AVX.
Чтобы использовать AVX, необходимо включить следующее:
#include "immintrin.h"
а затем вы можете использовать встроенные функции AVX, такие как _mm256_mul_ps , _mm256_add_ps и т.д. Проблема заключается в том, что по умолчанию VS2010 производит код, который работает очень медленно и показывает предупреждение:
предупреждение C4752: найдено расширенные векторные расширения Intel (R); рассматривать использование /arch: AVX
Кажется, VS2010 фактически не использует инструкции AVX, но вместо этого имитирует их. Я добавил /arch:AVX в параметры компилятора и получил хорошие результаты. Но этот параметр говорит компилятору, когда это возможно, использовать команды AVX. Так что мой код может упасть на CPU, который не поддерживает AVX!
Итак, вопрос заключается в том, как заставить VS2010-компилятор создавать AVX-код, но только когда я прямо указываю встроенные функции AVX. Для SSE он работает, я просто использую внутренние функции SSE, и он генерирует код SSE без каких-либо параметров компилятора, таких как /arch:SSE . Но для AVX он по какой-то причине не работает.
2 ответов
Поведение, которое вы видите, является результатом дорогостоящего переключения состояний.
См. стр. 102 руководства Agner Fog:
Каждый раз, когда вы неправильно переключаетесь между командами SSE и AVX, вы платите чрезвычайно высокий штраф (~ 70).
Когда вы компилируете без /arch:AVX , VS2010 будет генерировать инструкции SSE, но все равно будет использовать AVX везде, где у вас есть встроенные функции AVX. Поэтому вы получите код с инструкциями SSE и AVX, которые будут иметь такие штрафы за переключение состояний. (VS2010 знает это, поэтому он выдает предупреждение, которое вы видите.)
Следовательно, вы должны использовать либо все SSE, либо все AVX. Задание /arch:AVX указывает компилятору использовать все AVX.
Похоже, вы пытаетесь создать несколько путей кода: один для SSE и один для AVX. Для этого я предлагаю вам разделить ваш SSE и AVX-код на два разных блока компиляции. (один скомпилирован с /arch:AVX и один без него). Затем соедините их вместе и сделайте диспетчер для выбора на основе того, на каком оборудовании оно работает.
Если вам требуется для объединения SSE и AVX, обязательно используйте _mm256_zeroupper() или _mm256_zeroall() , чтобы избежать штрафов за переключение состояний.
/* Use VZEROUPPER to avoid the penalty of switching from AVX to SSE. See Intel Optimization Manual (April 2011, version 248966), Section 11.3 */ #define VLEAVE _mm256_zeroupper
Затем VLEAVE(); вызывается в конце каждой функции, используя встроенные инструкции для AVX.
Новейшее функциональное расширение AVX512 (Advanced Vector Extension 512-bit), также известное под именем AVX3, состоит из девяти технологий, каждая из которых может опционально поддерживаться или не поддерживаться конкретным процессором. Ряд внедрений рассматриваемого семейства, связанных с операциями повышенной разрядности, уже применяется в сопроцессорах Intel Xeon Phi и опционально доступны в процессорах Xeon с микроархитектурой Skylake. Напомним, что сопроцессоры Xeon Phi предназначены для установки в PCI Express слот.
Базовая функциональность AVX512
Принятое сокращение: AVX 512 F (Foundation ) . Это базовый или минимальный набор выполняемых команд и программно-доступных ресурсов, необходимых для обработки 512-битных векторов. Поддержка AVX512F подразумевает расширение разрядности векторных регистров до 512 бит и увеличение количества этих регистров до 32. Для сравнения, функциональное расширение предыдущего поколения (AVX2), реализованное в процессорах Haswell, подразумевает использование 16 регистров разрядностью 256 бит. Традиционно, «старые» регистры являются частью «новых». В данном случае это означает, что 16 256-битных регистров YMM отображаются на младшие 256-битные «половинки» 512-битных регистров ZMM.
Как следует из несложных подсчетов, новое 512-битное операционное устройство способно обрабатывать 8 64-битных чисел двойной точности либо 16 32-битных чисел одинарной точности за одну векторную команду.
В базовый набор AVX512F также входит предикатное выполнение векторных операций. Это означает, что при обработке чисел, упакованных в 512-битном регистре, операция может быть выполнена или отменена, индивидуально для каждого числа. Например, при обработке 16 32-битных чисел одинарной точности, 16-битный предикат, содержащий все «единицы» обеспечит выполнение операции для всех чисел. Если все биты предиката нулевые, операция не выполняется. А установив, например два младших бита предиката, можно выполнить операцию для двух первых чисел, оставив остальные числа незатронутыми. Для хранения предикатов вводится 8 дополнительных 64-битных регистров K0–K7.
Рис 1
Аппаратное выявление конфликтов
Принятое сокращение: AVX512CD (Conflict Detection) . Используется для эффективного обнаружения ситуаций, при которых заданные программные процедуры не могут быть выполнены параллельно в силу зависимости по данным. Вспомним, что при оптимизации программных циклов применяется метод, подразумевающий переход от последовательного к параллельному выполнению итераций цикла. Цикл «разворачивается» в линейную последовательность операций, затем эти операции выполняются параллельно с использованием векторных регистров. Такой прием допускается только в том случае, если между итерациями цикла нет «конфликтов» по данным. Иначе, если некоторая итерация использует данные, которые должна подготовить предыдущая итерация, их параллельное выполнение приведет к ошибке.
Опережающая загрузка данных
Принятое сокращение: AVX 512 PF (Prefetch ) . Механизм опережающей загрузки усовершенствован с целью загрузки произвольно фрагментированных данных. Опережающая загрузка в простейшем виде, применяется в процессорах Intel еще со времен Pentium III. Она состоит в заблаговременном чтении операндов из оперативной памяти в кэш-память с помощью специальных команд (prefetch hints). Это минимизирует непроизводительные паузы в работе процессора, поскольку в момент затребования данных они уже загружены из памяти. Теперь эту операцию можно выполнить не только для одной ячейки памяти, но и для списка ячеек, адреса которых находятся в векторном регистре.
Рис 2
Вычисление экспоненты и обратных величин
Принятое сокращение: AVX512ER (Exponential and Reciprocal) . Эта группа команд формирует аппроксимированные (приближенные) результаты для экспоненты, обратной величины и обратной величины квадратного корня. Относительная погрешность, в зависимости от типа команды составляет до 2 в степени минус 23 либо 2 в степени минус 28. Команды этой группы используются для эффективной поддержки ситуаций, в которых допустимо пожертвовать точностью ради производительности. Сразу оговоримся, под экспонентой здесь понимается возведение двойки (а не числа e) в заданную степень. Эта спорная терминологическая особенность на совести инженеров Intel.
Операции переменной разрядности
Принятое сокращение: AVX 512 VL (Vector Length ) . Эта функциональность обеспечивает использование возможностей AVX512, в частности, описанных выше предикатов и 32 векторных регистров) для операндов, размер которых 128 и 256 бит.
Обработка байтов и 16-битных операндов
Принятое сокращение: AVX 512 BW (Byte and Word ) . Обеспечивает использование возможностей AVX512 для целочисленных операций разрядностью 8 и 16 бит.
Обработка 32 и 64-битных операндов
Принятое сокращение: AVX 512 DQ (Double word and Quad Word ) . Обеспечивает использование возможностей AVX512 для операций разрядностью 32 и 64 бита.
Совмещенное умножение-сложение для 52-битных операндов
Принятое сокращение: AVX512IFMA (Integer Fused Multiply and Add) . Перемножение целых чисел без знака, разрядностью 52 бита. В открытых документах не удалось найти объяснение использования столь нетипичного формата чисел. Вспомнив, что разрядность мантиссы для числа двойной точности - 52 бита, позволим себе предположить, что целью была возможность целочисленной (а потому быстрой) обработки мантиссы как самостоятельной величины.
Операции с байтами в составе векторных регистров
Принятое сокращение: AVX512VBM (Vector Byte Manipulation) . Сюда входят инструкции для перестановки и избирательной пересылки байтовых операндов, расположенных в векторных регистрах.
Резюме
Как видно из вышеизложенного, расширение AVX512 подразумевает введение новых процессорных команд и архитектурных ресурсов. Поэтому, прибавку производительности получит только то программное обеспечение, которое написано и оптимизировано с учетом новой технологии.
Очевидно, для работы такой технологии требуется поддержка и со стороны операционной системы, поскольку увеличение количества и разрядности регистров приводит к увеличению количества информации, которую требуется сохранять и восстанавливать при переключении контекста процессора в многозадачной среде. Отметим, что компания Intel максимально унифицировала
Обработка строк
Наборы инструкций SSE4.2
Чтение WC памяти
Операция чтения, позволяющая ускорить (до 7.5 раз) работу с write-combining областями памяти.
Эти инструкции выполняют арифметические сравнения между всеми возможными парами полей (64 или 256 сравнений!) из обоих строк, заданных содержимым xmm1 и xmm2/m128. Затем булевые результаты сравнений обрабатываются для получения нужных результатов. Непосредственный аргумент imm8 управляет размером (байтовые или unicode строки, до 16/8 элементов каждая), знаковостью полей (элементов строк), типом сравнения и интерпретацией результатов.
Ими можно производить в строке (области памяти) поиск символов из заданного набора или в заданных диапазонах. Можно сравнивать строки (области памяти) или производить поиск подстрок.
Все они оказывают влияние на флаги процессора: SF устанавливается если в xmm1 не полная строка, ZF - если в xmm2/m128 не полная строка, CF - если результат не нулевой, OF - если младший бит результата не нулевой. Флаги AF и PF сбрасываются.
Advanced Vector Extensions (AVX) - расширение системы команд x86 для микропроцессоров Intel и AMD, предложенное Intel в марте 2008.
AVX предоставляет различные улучшения, новые инструкции и новую схему кодирования машинных кодов.
Улучшения:
Размер векторных регистров SIMD увеличивается с 128 (XMM) до 256 бит (регистры YMM0 - YMM15). Существующие 128-битные инструкции будут использовать младшую половину новых YMM регистров. В будущем возможно расширение до 512 или 1024 бит.
Неразрушающие операции. Набор инструкций AVX позволяет использовать любую двухоперандную инструкцию XMM в трёхоперандном виде без модификации двух регистров-источников, с отдельным регистром для результата. Например, вместо a = a + b можно использовать c = a + b, при этом регистр a остаётся неизменённым. AVX не поддерживает неразрушающие формы операций над обычными регистрами общего назначения, такими как EAX, но такая поддержка, возможно, будет добавлена в последующих расширениях.
Требования выравнивания данных для операндов SIMD в памяти ослаблены.
Новая система кодирования машинных кодов VEX предоставляет новый набор префиксов кода, которые расширяют пространство возможных машинных кодов. Добавлены инструкции с количеством операндов более трёх. Векторные регистры SIMD могут быть больше 128-ми бит.
Новые инструкции:
Также в спецификации AVX описана группа инструкций PCLMUL (Parallel Carry-Less Multiplication, Parallel CLMUL)
Применение:
Подходит для интенсивных вычислений с плавающей точкой в мультимедиа, научных и финансовых задачах. Увеличивает степень параллелизма и пропускную способность в вещественных SIMD вычислениях. Уменьшает давление (нагрузку) на регистры благодаря неразрушающим трёхоперандным операциям.
