Мы рады объявить о наших первых демонстрационных сроках для BlazingSQL на RAPIDS AI, работающем на нескольких графических процессорах на одном сервере. Таким образом, производительность и экономическая выгода, обеспечиваемые BlazingSQL, увеличиваются при масштабировании.

Ранее в этом году мы опубликовали наши предварительные и последующие результаты тестирования времени рабочей нагрузки.

Основные выводы из этих демонстраций заключались в следующем:

  • Мы выполнили сквозную аналитическую рабочую нагрузку:
    Озеро данных → ETL/Разработка функций → Обучение XGBoost
  • Цель рабочей нагрузки заключалась в обучении модели для оценки риска новых ипотечных кредитов на основе исторических данных по кредитам.
  • Мы создали два кластера с эквивалентной ценой на GCP: один для Apache Spark, а другой для BlazingSQL.
  • BlazingSQL выполнял этап ETL этой рабочей нагрузки в 20 раз быстрее, чем Apache Spark.

Скачок с 5-кратного до 20-кратного улучшения был в значительной степени результатом двух основных изменений. Во-первых, наш интерпретатор выражений SIMD, который позволяет нам оптимизировать распределение регистров, занятость потоков и фактическую обработку. Во-вторых, мы начали использовать GCP’s T4 GPUS. T4 дают нам отличную производительность при значительном снижении общей цены.

Мы получили в основном положительные отзывы сообщества об этих тестах, но мы также столкнулись с некоторым скептицизмом из-за ограниченного размера (16 ГБ) нашей рабочей нагрузки. Как компания, мы пытаемся выпустить как можно быстрее, что означает, что мы сначала выпустили Single Node Single GPU (SNSG) с обещанием горизонтального масштабирования как можно скорее. Хотя мы очень скоро выпустим Multiple Node Multiple GPU (MNMG), тем временем мы рады поделиться результатами для Single Node, Multiple GPUS (SNMG).

Следующие результаты были достигнуты на одном DGX-1 с 4 графическими процессорами V100:

Главный вывод из этих результатов заключается в том, что производительность BlazingSQL продолжает увеличиваться в масштабе, даже в нашей первой версии. Мы уверены, что по мере снижения наивности нашего движка эти преимущества будут только увеличиваться. В дополнение к поддержке MNMG в наш новый движок также включено множество различных оптимизаций. К ним относятся проталкивание предикатов (или пропуск данных), более разумная оптимизация запросов, ленивое выполнение, уменьшенная материализация для промежуточных шагов и работа со сжатыми данными.

Что дальше:

  • До поддержки строк (V0.3) осталось несколько дней. Ищите выпуск и блог в начале следующей недели.
  • Выполняется полная распространяемая версия (V0.4). У нас должно быть что-то для вас (включая демо) очень скоро. Мы также обновим наши тесты на этом этапе.
  • Пропуск данных (V0.5). Пришло время приступить к оптимизации движка, чтобы добиться значительных преимуществ в производительности.
  • Узнайте больше на нашем сайте!