Публикации по теме 'h5py'
Как запустить Jupiter, Keras, Tensorflow, Pandas, Sklearn и Matplotlib в контейнере Docker
Все, что вам нужно, это установить Docker и текстовый редактор в вашей системе.
Докерфайл
Все, что вам нужно сделать, это создать папку проекта и файл с именем Dockerfile внутри:
$ mkdir python_data_science_container
$ cd python_data_science_container
$ vim Dockerfile
После этого поместите в Dockerfile следующее содержимое:
FROM ubuntu:16.04
MAINTAINER "Andrei Maksimov"
RUN apt-get update && apt-get install -y wget ca-certificates \
git curl vim..
Вопросы по теме 'h5py'
XML-файл внутри HDF5, h5py
Я использую h5py для сохранения данных (числа с плавающей запятой) в группах. В дополнение к самим данным мне нужно включить дополнительный файл (файл .xml, содержащий необходимую информацию) в файле hdf5. Как мне это сделать? Мой подход неверен?...
2569 просмотров
schedule
04.01.2024
как экспортировать файл HDF5 в NumPy с помощью H5PY?
У меня есть существующий файл hdf5 с тремя массивами, я хочу извлечь один из массивов с помощью h5py.
20846 просмотров
schedule
30.05.2023
Проверьте, существует ли узел в h5py
Мне интересно, есть ли простой способ проверить, существует ли узел в файле HDF5, используя h5py.
Я ничего не нашел в документах, поэтому сейчас я использую исключения, что некрасиво.
# check if node exists
# first assume it exists
e = True...
20351 просмотров
schedule
05.07.2022
Сжатие существующего файла с помощью h5py
В настоящее время я работаю над проектом по сжатию наборов данных HDF5 и недавно начал использовать h5py. Я следовал базовым руководствам и смог открывать, создавать и сжимать файл во время его создания. Однако мне не удалось сжать существующий файл...
4681 просмотров
schedule
08.11.2022
h5py: преобразовать данные numpy в собственные типы Python
Я сохраняю некоторые данные в файл HDF5 через h5py. Это данные смешанного типа, некоторые из них являются собственными массивами numpy, многие являются скалярами или строками. Скаляры и строки автоматически «кодируются» в массивы numpy с помощью...
445 просмотров
schedule
17.06.2022
Симулятор частиц Python: обработка вне ядра
Описание проблемы
При написании симулятора частиц Монте-Карло (броуновское движение и излучение фотонов) на python / numpy. Мне нужно сохранить результат моделирования (>> 10 ГБ) в файл и обработать данные на втором этапе. Совместимость как с...
1706 просмотров
schedule
15.08.2022
Ссылки HDF5 на события в наборе данных
Я пытаюсь использовать HDF5 для хранения данных ЭЭГ временных рядов. Эти файлы могут быть довольно большими и состоять из множества каналов, и мне нравятся функции формата файлов HDF5 (ленивый ввод-вывод, динамическое сжатие, mpi и т. Д.).
Одна из...
460 просмотров
schedule
16.06.2022
Добавление или удаление определенных строк или столбцов в наборе данных h5py
После создания набора данных h5py , как добавить или удалить определенные строки или столбцы из массива NxM?
Мой вопрос похож на этот , но я не хочу слепо усекать или расширять массив. При удалении мне нужно указать, какую именно строку или...
2901 просмотров
schedule
23.09.2023
h5py: нарезка набора данных без загрузки в память
Можно ли разделить набор данных h5py на два подмножества, фактически не загружая их в память? Например.:
dset = h5py.File("/2tbhd/tst.h5py","r")
X_train = dset['X'][:N/2]
X_test = dset['X'][N/2:-1]
1496 просмотров
schedule
24.12.2022
сохранять изображения в файлы hdf5
Я использую python 3.4.2, и мне было интересно узнать, есть ли способ сохранить изображения в файлы hdf5 без изменения атрибутов набора данных. Я имею в виду, я хочу использовать HDFViewer, чтобы увидеть эти изображения позже.
Что я делаю... Я...
3976 просмотров
schedule
15.05.2023
Как читать файлы HDF5, содержащие только наборы данных (без групп), с помощью h5py?
У меня есть файлы HDF5, которые я хотел бы открыть с помощью модуля Python h5py (в Python 2.7).
Это просто, когда у меня есть файл с группами и наборами данных:
import h5py as hdf
with hdf.File(relative_path_to_file, 'r') as f:
my_data =...
12763 просмотров
schedule
28.07.2023
Как я могу скопировать многомерный набор данных h5py в плоский одномерный список Python без создания каких-либо промежуточных копий?
Вопрос
Как я могу скопировать данные из набора данных N x N x N x... h5py в стандартный список Python 1D без создания промежуточной копии данных?
Я могу придумать несколько разных способов сделать это с промежуточной копией. Например:...
1307 просмотров
schedule
27.04.2022
Какое сжатие рекомендуется для HDF5 для быстрого чтения/записи (в Python/pandas)?
Я несколько раз читал, что включение сжатия в HDF5 может улучшить производительность чтения/записи.
Интересно, какие идеальные настройки могут быть для достижения хорошей производительности чтения/записи при:
data_df.to_hdf(...,...
6527 просмотров
schedule
04.08.2022
как читать файлы Mat v7.3 в python?
Я пытаюсь прочитать файл мата, указанный на следующем веб-сайте, ufldl.stanford.edu/housenumbers, в файле train.tar.gz есть файл мата с именем digitStruct.mat.
когда я использовал scipy.io для чтения файла mat, он предупреждает меня сообщением...
10691 просмотров
schedule
02.03.2023
Создание файла .mat версии 7.3 в python
Мне нужно выполнить умножение с использованием матрицы 60000X70000 либо в Python, либо в Matlab. У меня 16 ГБ ОЗУ, и я могу легко загружать каждую строку матрицы (это то, что мне нужно). Я могу создать матрицу в целом на питоне, но не в матлабе....
5243 просмотров
schedule
12.06.2023
Невозможно создать ссылку на набор данных HDF5 в Python
Я использую HDF5 python lib h5py и хочу создать ссылку из набора данных HDF5 с помощью
ref = DATASET.regionref[:, :, 0]
Однако я получаю сообщение об ошибке
ValueError: Unable to create reference (No write intent on file)
На самом...
1898 просмотров
schedule
10.12.2022
Не удалось установить h5py на Ubuntu 14.04 с компилятором icc
Я пытаюсь установить пакет netcdf4 на Ubuntu 14.04, используя следующую команду
pip3 установить netcdf4
Это было успешно установлено, но когда я пытаюсь выполнить скрипт с импортом netCDF4, я получаю следующую ошибку:
Traceback (most...
631 просмотров
schedule
22.04.2024
Поврежденные узлы внутри файла HDF5
У меня есть экземпляр программы, работающей в кластере, программа в основном выполняет числовые вычисления, читая и записывая числовые массивы в файл HDF5 , используя h5py .
Когда я пытаюсь запустить несколько экземпляров своего кода на разных...
2163 просмотров
schedule
17.07.2023
Как написать набор данных строк фиксированной длины с нулевым завершением с помощью h5py
У меня есть пример на C++, который я пытаюсь воспроизвести с помощью h5py, но он работает не так, как ожидалось. Я получаю заполненные нулями строки с h5py, где я ожидаю строк с нулевым завершением.
Вот мой драйвер С++...
main.cpp...
1118 просмотров
schedule
10.07.2023
загрузить файл .mat из python
Я пытаюсь запустить из Python скрипт в Matlab, который запускает режим Simulink, сохраняет переменную как Power.mat и читает эту переменную в Python. Я использую Python 2.7 в Windows.
Я попытался использовать библиотеку hdf5storage для чтения...
6319 просмотров
schedule
21.05.2023