Публикации по теме 'h5py'


Как запустить Jupiter, Keras, Tensorflow, Pandas, Sklearn и Matplotlib в контейнере Docker
Все, что вам нужно, это установить Docker и текстовый редактор в вашей системе. Докерфайл Все, что вам нужно сделать, это создать папку проекта и файл с именем Dockerfile внутри: $ mkdir python_data_science_container $ cd python_data_science_container $ vim Dockerfile После этого поместите в Dockerfile следующее содержимое: FROM ubuntu:16.04 MAINTAINER "Andrei Maksimov" RUN apt-get update && apt-get install -y wget ca-certificates \ git curl vim..

Вопросы по теме 'h5py'

XML-файл внутри HDF5, h5py
Я использую h5py для сохранения данных (числа с плавающей запятой) в группах. В дополнение к самим данным мне нужно включить дополнительный файл (файл .xml, содержащий необходимую информацию) в файле hdf5. Как мне это сделать? Мой подход неверен?...
2569 просмотров
schedule 04.01.2024

как экспортировать файл HDF5 в NumPy с помощью H5PY?
У меня есть существующий файл hdf5 с тремя массивами, я хочу извлечь один из массивов с помощью h5py.
20846 просмотров
schedule 30.05.2023

Проверьте, существует ли узел в h5py
Мне интересно, есть ли простой способ проверить, существует ли узел в файле HDF5, используя h5py. Я ничего не нашел в документах, поэтому сейчас я использую исключения, что некрасиво. # check if node exists # first assume it exists e = True...
20351 просмотров
schedule 05.07.2022

Сжатие существующего файла с помощью h5py
В настоящее время я работаю над проектом по сжатию наборов данных HDF5 и недавно начал использовать h5py. Я следовал базовым руководствам и смог открывать, создавать и сжимать файл во время его создания. Однако мне не удалось сжать существующий файл...
4681 просмотров
schedule 08.11.2022

h5py: преобразовать данные numpy в собственные типы Python
Я сохраняю некоторые данные в файл HDF5 через h5py. Это данные смешанного типа, некоторые из них являются собственными массивами numpy, многие являются скалярами или строками. Скаляры и строки автоматически «кодируются» в массивы numpy с помощью...
445 просмотров
schedule 17.06.2022

Симулятор частиц Python: обработка вне ядра
Описание проблемы При написании симулятора частиц Монте-Карло (броуновское движение и излучение фотонов) на python / numpy. Мне нужно сохранить результат моделирования (>> 10 ГБ) в файл и обработать данные на втором этапе. Совместимость как с...
1706 просмотров
schedule 15.08.2022

Ссылки HDF5 на события в наборе данных
Я пытаюсь использовать HDF5 для хранения данных ЭЭГ временных рядов. Эти файлы могут быть довольно большими и состоять из множества каналов, и мне нравятся функции формата файлов HDF5 (ленивый ввод-вывод, динамическое сжатие, mpi и т. Д.). Одна из...
460 просмотров
schedule 16.06.2022

Добавление или удаление определенных строк или столбцов в наборе данных h5py
После создания набора данных h5py , как добавить или удалить определенные строки или столбцы из массива NxM? Мой вопрос похож на этот , но я не хочу слепо усекать или расширять массив. При удалении мне нужно указать, какую именно строку или...
2901 просмотров
schedule 23.09.2023

h5py: нарезка набора данных без загрузки в память
Можно ли разделить набор данных h5py на два подмножества, фактически не загружая их в память? Например.: dset = h5py.File("/2tbhd/tst.h5py","r") X_train = dset['X'][:N/2] X_test = dset['X'][N/2:-1]
1496 просмотров
schedule 24.12.2022

сохранять изображения в файлы hdf5
Я использую python 3.4.2, и мне было интересно узнать, есть ли способ сохранить изображения в файлы hdf5 без изменения атрибутов набора данных. Я имею в виду, я хочу использовать HDFViewer, чтобы увидеть эти изображения позже. Что я делаю... Я...
3976 просмотров
schedule 15.05.2023

Как читать файлы HDF5, содержащие только наборы данных (без групп), с помощью h5py?
У меня есть файлы HDF5, которые я хотел бы открыть с помощью модуля Python h5py (в Python 2.7). Это просто, когда у меня есть файл с группами и наборами данных: import h5py as hdf with hdf.File(relative_path_to_file, 'r') as f: my_data =...
12763 просмотров
schedule 28.07.2023

Как я могу скопировать многомерный набор данных h5py в плоский одномерный список Python без создания каких-либо промежуточных копий?
Вопрос Как я могу скопировать данные из набора данных N x N x N x... h5py в стандартный список Python 1D без создания промежуточной копии данных? Я могу придумать несколько разных способов сделать это с промежуточной копией. Например:...
1307 просмотров
schedule 27.04.2022

Какое сжатие рекомендуется для HDF5 для быстрого чтения/записи (в Python/pandas)?
Я несколько раз читал, что включение сжатия в HDF5 может улучшить производительность чтения/записи. Интересно, какие идеальные настройки могут быть для достижения хорошей производительности чтения/записи при: data_df.to_hdf(...,...
6527 просмотров
schedule 04.08.2022

как читать файлы Mat v7.3 в python?
Я пытаюсь прочитать файл мата, указанный на следующем веб-сайте, ufldl.stanford.edu/housenumbers, в файле train.tar.gz есть файл мата с именем digitStruct.mat. когда я использовал scipy.io для чтения файла mat, он предупреждает меня сообщением...
10691 просмотров
schedule 02.03.2023

Создание файла .mat версии 7.3 в python
Мне нужно выполнить умножение с использованием матрицы 60000X70000 либо в Python, либо в Matlab. У меня 16 ГБ ОЗУ, и я могу легко загружать каждую строку матрицы (это то, что мне нужно). Я могу создать матрицу в целом на питоне, но не в матлабе....
5243 просмотров

Невозможно создать ссылку на набор данных HDF5 в Python
Я использую HDF5 python lib h5py и хочу создать ссылку из набора данных HDF5 с помощью ref = DATASET.regionref[:, :, 0] Однако я получаю сообщение об ошибке ValueError: Unable to create reference (No write intent on file) На самом...
1898 просмотров
schedule 10.12.2022

Не удалось установить h5py на Ubuntu 14.04 с компилятором icc
Я пытаюсь установить пакет netcdf4 на Ubuntu 14.04, используя следующую команду pip3 установить netcdf4 Это было успешно установлено, но когда я пытаюсь выполнить скрипт с импортом netCDF4, я получаю следующую ошибку: Traceback (most...
631 просмотров

Поврежденные узлы внутри файла HDF5
У меня есть экземпляр программы, работающей в кластере, программа в основном выполняет числовые вычисления, читая и записывая числовые массивы в файл HDF5 , используя h5py . Когда я пытаюсь запустить несколько экземпляров своего кода на разных...
2163 просмотров
schedule 17.07.2023

Как написать набор данных строк фиксированной длины с нулевым завершением с помощью h5py
У меня есть пример на C++, который я пытаюсь воспроизвести с помощью h5py, но он работает не так, как ожидалось. Я получаю заполненные нулями строки с h5py, где я ожидаю строк с нулевым завершением. Вот мой драйвер С++... main.cpp...
1118 просмотров
schedule 10.07.2023

загрузить файл .mat из python
Я пытаюсь запустить из Python скрипт в Matlab, который запускает режим Simulink, сохраняет переменную как Power.mat и читает эту переменную в Python. Я использую Python 2.7 в Windows. Я попытался использовать библиотеку hdf5storage для чтения...
6319 просмотров
schedule 21.05.2023