Позвольте нам снова представиться
Уэса МакКинни и Джоша Паттерсона
Слишком часто люди мимоходом говорят: «Давайте сделаем что-нибудь вместе», но не делают этого. Время от времени происходит межпроектное сотрудничество, но люди редко делают следующий шаг. Есть бесчисленное множество причин, почему это происходит, и согласовать цели, мягко говоря, сложно. Но, потратив последние несколько лет на отдельную работу над связанными проблемами в экосистеме данных, мы поняли, что наша лучшая надежда на устойчивый прогресс - это создание более прочного единого фундамента. Нам нужно было сделать что-то кардинально иное.
Краткая история
Уэс помог запустить проект Apache Arrow в 2015 году и с тех пор продолжает создавать сообщество разработчиков для достижения двойных целей Arrow. Первая цель - стать эффективным, независимым от языка открытым стандартом для обмена столбцовыми данными. Вторая цель - создать портативную высокопроизводительную вычислительную основу для анализа этих столбчатых данных. Для достижения этих целей Уэс создал Ursa Labs в 2018 году и Ursa Computing в 2020 году.
Параллельно с этим Джош и его коллеги из NVIDIA предвидели потенциал графических процессоров для ускорения аналитических рабочих нагрузок. В 2017 году они создали GPU Open Analytics Initiative, а затем RAPIDS, которая продемонстрировала потенциал ускоренной высокопроизводительной столбцовой аналитики. Джош и разработчики cuDF активно сотрудничали с BlazingSQL, чтобы предоставить ускоренную на GPU аналитику Arrow не только сообществу Python, но и современным рабочим нагрузкам SQL.
За последние 5 лет Arrow быстро стал золотым стандартом для обмена табличными данными в экосистемах хранилищ данных и науки о данных, что привело к значительному повышению производительности и эффективности во многих случаях использования. Arrow также использует Flight (каламбур) как замену медленным протоколам доступа к базе данных, таким как ODBC и JDBC. Эти организации работали над многочисленными проектами, но каждый индивидуально отвечал лишь на некоторые потребности сообщества.
United Foundation
Следующим этапом развития станет принятие Arrow не только в качестве стандарта для быстрого перемещения данных, но и в качестве собственного формата для экономичных аналитических вычислений. Мы представляем повсеместную, оптимизированную для оборудования основу, которая упрощает и ускоряет рабочие нагрузки аналитики данных на разных языках программирования.
Сегодня мы запускаем новую компанию Voltron Data, которая отражает это единое видение. Команды Ursa Computing и BlazingSQL вместе с пионерами RAPIDS и других проектов с открытым исходным кодом объединили свои усилия для создания Voltron Data. Кроме того, Ursa Labs теперь называется Voltron Labs и будет продолжать работать на благо экосистемы с открытым исходным кодом вокруг Apache Arrow. Джош и Уэс в настоящее время являются генеральным директором и техническим директором Voltron Data соответственно. Вы увидите, как мы делаем еще больше в сообществе Arrow, чем в прошлом, и мы с нетерпением ждем увеличения присутствия Arrow в мире. Вместе мы объединяем наш коллективный опыт в области производительности, переносимости и программируемости, чтобы навести мосты через экосистему данных для улучшения инструментов, которые вы знаете и любите.
Мы с нетерпением ждем возможности поделиться информацией о Voltron Data в ближайшие месяцы. А пока у нас много открытых должностей, и мы ищем талантливых инженеров-программистов по всему миру для выполнения нашей миссии. "Присоединяйтесь к нам"!
