Публикации по теме 'apache-arrow'


Buzz: быстрое и интерактивное исследование низкоразмерных пространств.
За последние десятилетия объемы наборов данных значительно выросли. С одной стороны, приобретение стало дешевле и быстрее, что позволяет измерять больше экземпляров. С другой стороны, для каждого экземпляра выполняется больше измерений. Сложность интерпретации таких больших наборов данных подтолкнула вперед разработку методов уменьшения размерности. Алгоритмы, такие как PCA, MDS, T-SNE, UMAP или автоэнкодеры, успешно позволяют нам обрабатывать большие объемы многомерных данных с..

FPGA встречает Apache Arrow - эффективная передача данных в памяти по столбцам с ML на основе FPGA…
Вступление В этой статье мы представляем новую структуру, которая позволяет бесшовную интеграцию ПЛИС в платформу разработки Apache Arrow. Интеграция FPGA с Apache Arrow-совместимыми фреймворками позволяет ускорять приложения для обработки данных без какого-либо предшествующего опыта работы с FPGA. Мы представляем прототип на Java, который обеспечивает бесшовную связь фреймворков с поддержкой Apache Arrow с FPGA. Сначала мы кратко объясняем цели нашей реализации, устраняя конкретные..

Вопросы по теме 'apache-arrow'

Чтение определенных секций из секционированного набора данных паркета с помощью pyarrow
У меня есть несколько большой (~ 20 ГБ) набор данных в паркетном формате. Я хотел бы прочитать определенные разделы из набора данных, используя pyarrow . Я думал, что смогу добиться этого с pyarrow.parquet.ParquetDataset , но, похоже, это не так....
7743 просмотров
schedule 28.05.2022

Стрелка Apache, выравнивание и отступы
Я хочу использовать стрелку apache, потому что она позволяет механизмам выполнения использовать преимущества последних операций SIMD (Single input multiple data), включенных в современные процессоры, для собственной векторизованной оптимизации...
322 просмотров

Стрелка Apache, выравнивание массива numpy с нулевой копией
Я конвертирую объект стрелки с «нулевой копией» в панду, но объект результата не выровнен. #create a pyarrow.table.Table from parquet file pq_file=pq.ParquetFile(parquet_file_name) arrow_table=pq_file.read() #convert pyarrow.table.Table to panda...
766 просмотров
schedule 03.01.2023

стрелка apache - чтение файла csv
все, что я сейчас работаю со стрелкой apache. При чтении файла csv с помощью функции arrow :: csv :: TableReader :: Read я хочу прочитать этот файл как файл без заголовка. Но он читает файл csv и обрабатывает первую строку как заголовок csv...
1028 просмотров
schedule 23.01.2024

Разница между паркетом Apache и стрелкой
Я ищу способ ускорить работу моего фронтенд-приложения с интенсивным использованием памяти. Я видел, как некоторые люди рекомендуют Apache Arrow, пока я изучаю его, меня смущает разница между Parquet и Arrow. Они оба представляют собой столбчатую...
9668 просмотров
schedule 03.01.2023

Как стрелка apache способствует отсутствию накладных расходов при межсистемном взаимодействии?
Я был очень заинтересован в Apache Arrow в течение некоторого времени из-за обещаний «нулевое копирование чтения», «нулевое значение serde» и «отсутствие накладных расходов для межсистемной связи». Я понимаю проект (через призму pyarrow): он...
953 просмотров
schedule 18.04.2022

Как писать в файл пера Apache Arrow на C ++?
Каков минимальный пример кода C ++, который записывает данные в формат Feather ? что поддерживает Apache Arrow? Позднее этот файл будет использоваться для чтения mmapped из кода Python. Предположим, у нас есть экземпляр arrow::Table , как...
432 просмотров
schedule 04.08.2023

Разобрать CSV с датами в будущем в Parquet
Я пытаюсь прочитать CSV-файл в Pandas, а затем записать его в Parquet. Проблема в том, что в CSV есть столбец даты со значением 3000-12-31, и, очевидно, у Pandas нет способа сохранить это значение как фактическую дату. Из-за этого PyArrow не может...
151 просмотров
schedule 15.08.2022

Создать файл паркета в java без сохранения на диск
Я работаю над Java-приложением, где мне нужно преобразовать мои объекты Java в формат parquet и отправить в AWS S3 с шифрованием на стороне клиента. В поиске нашел около Avro объектов записи. создать паркетные файлы в java Но для этого нужно...
26 просмотров
schedule 25.09.2022

Конан устанавливает переменные опции для cmake при создании рецепта
Я пытаюсь построить стрелу с помощью conan + cmake. Как вы можете прочитать здесь , я должен повлиять на переменную параметра, чтобы избежать оптимизации на основе моей машины, потому что код, m будет использоваться на многих компьютерах, некоторые...
28 просмотров
schedule 05.06.2023