Оборудование для глубокого обучения: знайте свои варианты

Когда дело доходит до развертывания нейронной сети, существуют варианты помимо графических процессоров (графических процессоров), а именно FPGA (программируемая вентильная матрица). Прежде чем углубляться в FPGA и их реализацию, хорошо бы немного понять архитектуру графического процессора и почему графические процессоры являются основным продуктом для нейронных сетей.

Популярные библиотеки, такие как Tensorflow, работают с использованием CUDA (Compute Unified Device Architecture) для обработки данных на графических процессорах, используя их параллельные вычислительные мощности. Эта работа называется программированием GPGPU (General Purpose GPU). Он адаптирован к моделям глубокого обучения, которые требуют как минимум тысяч арифметических операций.

Глубокая сверточная нейронная сеть, как показано ниже, требует, чтобы фильтры скользили по пиксельным областям при выводе взвешенной суммы на каждой итерации. Для каждого слоя этот процесс повторяется тысячи раз с различными фильтрами одного и того же размера. Логично, что глубокие модели требуют больших вычислительных ресурсов, и графические процессоры здесь пригодятся.

Tensorflow может быть построен на основе CUDA, что избавляет конечного пользователя от реализации параллельного кода и понимания архитектуры своего чипа. Его удобство и высокая оптимизация делают его идеальным для широкого использования.

ПЛИС раньше не предлагали столь удобного решения, их использование требовало глубокого понимания того, как работает оборудование. Но недавний прогресс сделал их более доступными, и об этом мы поговорим позже.

Обзор

Содержание этой статьи предполагает практически полное отсутствие знаний о том, как работают различные модели оборудования. Это касается следующего:

• Графические процессоры, процессоры и CUDA
• Преимущества и конструкция ПЛИС
• HDL как метод развертывания ПЛИС
• HLS как метод развертывания ПЛИС
• Развертывание FPGA с использованием LeFlow
• Особенности LeFlow для оптимизации

Почему графические процессоры иногда лучше, чем процессоры?

ЦП (центральные процессоры) предназначены для последовательных операций и поддерживают расширенную логику. Это отражено в их конструкции, которая содержит меньше ядер и больше кэш-памяти для быстрого получения сложных инструкций.

Однако графические процессоры имеют сотни ядер меньшего размера для простых вычислений и, следовательно, более высокую пропускную способность по сравнению с процессорами.

CUDA получает доступ ко многим ядрам графического процессора, разделяя их на блоки. Каждый блок содержит до 512 доступных потоков, при этом потенциально 65 535 блоков могут выполняться одновременно. Каждый поток выполняет короткую программу, и загвоздка в том, что она может работать параллельно с другими потоками. Tensorflow использует этот шаблон для повышения вычислительной мощности, часто выполняя от сотен до тысяч потоков одновременно.

Чтобы узнать больше об использовании CUDA, посетите Блог разработчиков Nvidia или посмотрите книгу CUDA By Example.

Оборудование нейронной сети

Tensorflow разделен на два раздела: библиотека и среда выполнения.

Библиотека - это создание вычислительного графа (нейронной сети), а среда выполнения - это выполнение его на некоторой аппаратной платформе.

Предпочтительной платформой является графический процессор, однако есть альтернатива: ПЛИС.

Зачем использовать ПЛИС?

FPGA могут создавать схемы с тысячами единиц памяти для вычислений, поэтому они работают аналогично графическим процессорам и их потокам в CUDA. ПЛИС имеют адаптируемую архитектуру, позволяющую проводить дополнительную оптимизацию для увеличения пропускной способности. Таким образом, возможный объем вычислений делает FPGA жизнеспособным решением для графических процессоров.

Сравнительно FPGA имеют более низкое энергопотребление и могут быть оптимальными для встраиваемых приложений. Они также являются общепринятым стандартом для операций, критически важных для безопасности, таких как ADAS (Advanced Driver Assistance Systems) в автомобилестроении.

Кроме того, FPGA могут реализовывать пользовательские типы данных, тогда как графические процессоры ограничены архитектурой. Поскольку нейронные сети трансформируются разными способами и охватывают большее количество отраслей, полезно иметь возможность адаптируемости ПЛИС.

Теперь вы должны задаться вопросом, что такое ПЛИС?

ПЛИС (программируемая вентильная матрица) - это настраиваемое аппаратное устройство. Его можно рассматривать как море плавающих логических ворот. Приходит дизайнер и записывает программу, используя язык описания оборудования (HDL), например Verilog или VHDL. Эта программа определяет, какие соединения выполняются и как они реализуются с использованием цифровых компонентов. Другое слово для HDL - это язык RTL (уровень передачи регистров).

ПЛИС легко обнаружить, ищите крупногабаритный Arduino.

Шучу, они бывают самых разных форм и размеров.

Используя программное обеспечение, аналогичное компилятору, HDL синтезируется (выясняется, какие ворота использовать), затем маршрутизируется (соединяет части вместе) для формирования оптимизированной цифровой схемы. Эти инструменты (HDL, синтез, маршрутизация, временной анализ, тестирование) включены в программный пакет, некоторые из которых включают Xilinx Design Tools и Quartus Prime.

В настоящее время модели обучаются с использованием графического процессора, но затем развертываются на FPGA для обработки в реальном времени.

Тогда почему бы нам не использовать FPGA?

Для ПЛИС сложнее всего реализовать фреймворки машинного обучения, написанные на языках более высокого уровня, таких как Python. HDL по своей сути не является платформой программирования, это код, написанный для определения аппаратных компонентов, таких как регистры и счетчики. Некоторые языки HDL включают: Verilog, VHDL.

Ниже показан фрагмент кода, используемого для создания последовательного битового детектора.

Если вы с ним не знакомы, попробуйте угадать, что он делает.

Выполнено? Даже если вы некоторое время смотрите на него, это не очевидно.

В большинстве случаев конечные автоматы используются для разделения задачи на состояния с переходами, зависящими от ввода. Все это делается перед программированием, чтобы выяснить, как схема будет работать в каждом тактовом цикле. Затем эта диаграмма, как показано ниже, преобразуется в блоки кода HDL.

Вернемся к теме: главное, что нет прямого перевода для преобразования цикла в Python в связку проводов в Verilog.

Учитывая возможную сложность дизайна, его может быть очень сложно отладить для дальнейшей оптимизации. Нет никаких абстракций для упрощения процесса, как это было бы в CUDA, где поток может быть выбран и изменен.

Так должны ли мы придерживаться графических процессоров?

Ну нет, ПЛИС не бесполезны.

Один из способов обойти проблему программирования - использовать инструменты HLS (синтез высокого уровня), такие как LegUp, для создания программ в Verilog для развертывания. Инструменты HLS позволяют дизайнерам избегать написания HDL с нуля и вместо этого использовать более интуитивно понятный, алгоритмический язык программирования (C).

Инструменты HLS абстрагируются от проектирования на аппаратном уровне; аналогично тому, как CUDA автоматически настраивает параллельные блоки и потоки при запуске модели.

Для инструментов HLS требуется код C в качестве ввода, который сопоставляется с LLVM IR (промежуточным представлением) для выполнения. Эти инструменты используются для преобразования процедурных описаний в аппаратную реализацию.

Их роль в проектировании ПЛИС показана ниже.

Подробнее о НП LLVM

LLVM - это не аббревиатура, это библиотека, которая создает инструкции, подобные сборке (IR). Эти программы легче обрабатывать инструментам HLS, и их можно использовать для создания синтезируемого кода для ПЛИС.

IR используются для описания исходного кода в общем формате, позволяющем использовать его в различных программах.

Чтобы узнать больше о LLVM и IR, обратитесь к Dr. Слайды Чисналла .

Назад к проблемам с ПЛИС

Основная проблема заключается в преобразовании программ и переносе библиотек, написанных для Python, на C для работы инструментов HLS. В настоящее время в C нет поддержки Tensorflow, поэтому это решение очень сложно. Очевидно, требование к проектированию и созданию оборудования является большим препятствием для использования ПЛИС в глубоком обучении.

Наш герой LeFlow

LeFlow Toolkit позволяет инженерам проектировать, обучать и тестировать свои модели с использованием Python, а затем развертывать его непосредственно на FPGA для использования. LeFlow упрощает процесс разработки, позволяя инструментам HLS быть совместимыми с Python и Tensorflow , действующий как адаптер.

int sum = 0;
for(int i = 0; i < 10; i+=2)
     sum += a[i]; sum += a[i+1];

with tf.device("device:XLA_CPU:0")