Искусственный интеллект

Превосходная производительность машинного обучения на новейших масштабируемых процессорах Intel Xeon

Intel предоставляет специалистам по обработке данных необходимую производительность и простоту использования

Новейшие процессоры Intel Xeon Scalable 3-го поколения расширяют возможности искусственного интеллекта (ИИ), облачных вычислений, безопасности и многих других областей. Корпорация Intel оптимизировала ряд программных инструментов, библиотек и фреймворков, чтобы приложения могли легко использовать преимущества последних достижений в области оборудования. Результаты впечатляют. Этот блог посвящен популярной библиотеке машинного обучения (ML) scikit-learn и Intel Extension for Scikit-learn.

Ранее мы продемонстрировали превосходство процессоров Intel Xeon Scalable 2-го поколения по производительности над процессорами NVIDIA и AMD, изменив всего две строки кода:



Intel предоставляет Scikit-Learn, в которой нуждаются ученые по данным о повышении производительности
Более быстрое машинное обучение на процессорах Intel medium.com



Здесь я покажу, что Intel Extension for Scikit-learn обеспечивает ускорение от 1,09x до 1,63x на новейших процессорах Intel Xeon Scalable по сравнению с предыдущими поколениями, в диапазоне от 0,65x до 7,23x по сравнению с NVIDIA A100 и в диапазоне 0,61x. в 2,63 раза быстрее по сравнению с AMD Milan.

Расширение Intel для Scikit-learn

Расширение Intel для Scikit-learn (ранее известное как daal4py) содержит функциональные возможности замены стандартного пакета scikit-learn. Вы можете воспользоваться преимуществами оптимизации производительности Intel Extension for Scikit-learn, добавив всего две строки кода перед обычным импортом scikit-learn:

from sklearnex import patch_sklearn
patch_sklearn()
# the start of the user’s code
from sklearn.cluster import DBSCAN
...

Intel Extension for Scikit-learn является частью Intel oneAPI AI Analytics Toolkit (AI Kit), который предоставляет консолидированный пакет последних разработок Intel в области глубокого обучения и оптимизации машинного обучения. Вы можете скачать его с нескольких каналов распространения: Docker Container, YUM, APT и Anaconda. Кроме того, вы также можете загрузить только компонент Intel Extension for Scikit-learn с помощью PyPI или Conda Forge:

pip install scikit-learn-intelex
conda install scikit-learn-intelex -c conda-forge

Intel Extension for Scikit-learn использует Intel oneAPI Data Analytics Library (oneDAL) для достижения ускорения. Библиотека поддерживает все новейшие векторные инструкции, такие как Intel Advanced Vector Extensions (Intel AVX-512). Он также использует удобную для кеширования блокировку данных, быстрые операции BLAS с помощью Intel oneAPI Math Kernel Library (oneMKL) и масштабируемую многопоточность с Intel oneAPI Threading Building Blocks (oneTBB).

Лидерство в производительности

Я сравнил производительность нескольких алгоритмов машинного обучения в Intel Extension for Scikit-learn на процессорах Intel Xeon Scalable 2-го и 3-го поколений и наблюдал увеличение скорости обучения и вывода в 1,09–1,63 раза (рис. 1).

Чтобы оценить конкурентоспособность, я сравнил масштабируемые процессоры Intel Xeon 3-го поколения с новейшими процессорами NVIDIA A100 и AMD Milan. Новые процессоры Intel Xeon Scalable продемонстрировали лидерство в производительности по множеству алгоритмов машинного обучения: ускорение от 0,65 до 7,23 раза по сравнению с NVIDIA A100 (рисунок 2) и от 0,61 до 2,63 раза по сравнению с AMD Milan (рисунок 3).

Самый совершенный процессор Intel для центров обработки данных

Процессоры Intel Xeon Scalable 3-го поколения имеют гибкую архитектуру со встроенным ускорением искусственного интеллекта с помощью технологии Intel Deep Learning Boost, а также множество других улучшений:

  • Быстрая память. Количество каналов памяти на сокет увеличилось с шести до восьми, а максимальная частота памяти увеличилась с 2933 МГц до 3200 МГц. В результате пропускная способность памяти DRAM увеличилась до 1,45 раза. Рабочие нагрузки аналитики данных часто связаны с DRAM, потому что многие операции должны выполняться в памяти, поэтому процессоры Intel Xeon Scalable 3-го поколения предлагают значительное улучшение для этих рабочих нагрузок.
  • Больше ядер. Процессоры Intel Xeon Scalable 3-го поколения имеют 40 ядер на сокет, что обеспечивает более эффективную многопоточную обработку данных.
  • Расширенная микроархитектура. Количество инструкций за цикл (IPC) улучшено с четырех до пяти, а ядро ​​нового процессора имеет десять портов выполнения вместо восьми. Кроме того, были введены новые инструкции для улучшения одноядерной производительности, например: AVX512 BITALG, AVX512 VBMI2 и другие.
  • Кеши большего размера. Процессор Intel Xeon Platinum 8380 обеспечивает 60 МБ кэш-памяти последнего уровня (LLC): на 56% больше, чем у Intel Xeon Platinum 8280L (38,5 МБ). Кэш L2 увеличился с 1 МБ до 1,25 МБ на ядро, а кэш L1 увеличился с 32 КБ до 48 КБ на ядро. Некоторые алгоритмы машинного обучения тратят большую часть своего времени на обработку данных, находящихся в кэшах, поэтому улучшения кеширования могут существенно повлиять на производительность.
  • Новый уровень безопасности. Алгоритмы машинного обучения часто обрабатывают конфиденциальные данные, поэтому новые процессоры Intel Xeon Scalable обеспечивают аппаратное шифрование памяти с детальным контролем через Intel Software Guard Extensions (Intel SGX).

Оптимизация Intel Extension for Scikit-learn и расширенные возможности процессоров Intel Xeon Scalable 3-го поколения обеспечивают превосходную производительность для рабочих нагрузок машинного обучения и анализа данных. Это позволяет запускать корпоративные приложения на единой архитектуре, оптимизируя совокупную стоимость владения для смешанных рабочих нагрузок и быстрее выводя на рынок инновационные решения.

Тестовые конфигурации аппаратного и программного обеспечения

Все конфигурации были протестированы Intel.

Уведомления и отказ от ответственности

Результаты производительности основаны на тестировании на даты, указанные в конфигурациях, и могут не отражать все общедоступные параметры. Узнайте больше на www.Intel.com/PerformanceIndex.

Для технологий Intel может потребоваться включенное оборудование, программное обеспечение или активация службы. Ни один продукт или компонент не может быть абсолютно безопасным.

© Корпорация Intel. Intel, логотип Intel и другие знаки Intel являются товарными знаками корпорации Intel или ее дочерних компаний. Другие названия и бренды могут быть заявлены как собственность других лиц.