Я наткнулся на этот вопрос, когда занимался аналогичной проблемой. Я придумал решение, основанное на использовании генератора Python вместе с методом построения набора данных TF _ 1_. Поскольку мы используем генератор, файл HDF5 должен открываться для чтения только один раз и оставаться открытым до тех пор, пока есть записи для чтения. Таким образом, он не будет открываться, считываться и затем закрываться при каждом вызове для получения следующего элемента данных.

Определение генератора

Чтобы позволить пользователю передать имя файла HDF5 в качестве аргумента, я создал класс с методом __call__, поскольку from_generator указывает, что генератор должен быть вызываемым. Это генератор:

import h5py
import tensorflow as tf

class generator:
    def __init__(self, file):
        self.file = file

    def __call__(self):
        with h5py.File(self.file, 'r') as hf:
            for im in hf["train_img"]:
                yield im

Используя генератор, код должен начинать с того места, где он остановился, при каждом вызове с момента последнего возврата результата, а не запускать все заново с начала. В этом случае он находится на следующей итерации внутреннего цикла for. Таким образом, следует пропустить повторное открытие файла для чтения, оставив его открытым, пока есть данные для yield. Для получения дополнительной информации о генераторах см. этот отличный вопрос и ответ.

Конечно, вам придется заменить что-либо внутри блока with, чтобы соответствовать тому, как построен ваш набор данных и какие выходные данные вы хотите получить.

Пример использования

ds = tf.data.Dataset.from_generator(
    generator(hdf5_path), 
    tf.uint8, 
    tf.TensorShape([427,561,3]))

value = ds.make_one_shot_iterator().get_next()

# Example on how to read elements
while True:
    try:
        data = sess.run(value)
        print(data.shape)
    except tf.errors.OutOfRangeError:
        print('done.')
        break

Опять же, в моем случае я сохранил uint8 изображений каналов высоты 427, ширины 561 и 3 в моем наборе данных, поэтому вам нужно будет изменить их в приведенном выше вызове, чтобы они соответствовали вашему варианту использования.

Обработка нескольких файлов

У меня есть предлагаемое решение для обработки нескольких файлов HDF5. Основная идея состоит в том, чтобы построить Dataset из имен файлов как обычно, а затем использовать interleave для одновременной обработки множества входных файлов, например, получения образцов от каждого из них для формирования пакета.

Идея такая:

ds = tf.data.Dataset.from_tensor_slices(filenames)
# You might want to shuffle() the filenames here depending on the application
ds = ds.interleave(lambda filename: tf.data.Dataset.from_generator(
        generator(filename), 
        tf.uint8, 
        tf.TensorShape([427,561,3])),
       cycle_length, block_length)

При этом одновременно открывается cycle_length файлов и создается block_length элементов из каждого перед переходом к следующему файлу - подробности см. В interleave документации. Вы можете установить значения здесь, чтобы они соответствовали тому, что подходит для вашего приложения: например, вам нужно обрабатывать один файл за раз или несколько одновременно, вы хотите иметь только один образец за раз из каждого файла и т. Д. .

Изменить: для параллельной версии взгляните на tf.contrib.data.parallel_interleave!

Возможные предостережения

Помните об особенностях использования from_generator, если решите использовать решение. Для Tensorflow 1.6.0 в документации from_generator упоминаются эти два Примечания.

Может быть сложно применить это в разных средах или с распределенным обучением:

ПРИМЕЧАНИЕ. Текущая реализация Dataset.from_generator () использует tf.py_func и наследует те же ограничения. В частности, он требует, чтобы операции, связанные с набором данных и итератором, были размещены на устройстве в том же процессе, что и программа Python, которая вызвала Dataset.from_generator (). Тело генератора не будет сериализовано в GraphDef, и вам не следует использовать этот метод, если вам нужно сериализовать модель и восстановить ее в другой среде.

Будьте осторожны, если генератор зависит от внешнего состояния:

ПРИМЕЧАНИЕ: Если генератор зависит от изменяемых глобальных переменных или другого внешнего состояния, имейте в виду, что среда выполнения может вызывать генератор несколько раз (для поддержки повторения набора данных) и в любое время между вызовом Dataset.from_generator () и созданием первый элемент от генератора. Изменение глобальных переменных или внешнего состояния может вызвать неопределенное поведение, и мы рекомендуем вам явно кэшировать любое внешнее состояние в генераторе перед вызовом Dataset.from_generator ().

Мне потребовалось время, чтобы понять это, поэтому я подумал, что мне стоит записать это здесь. Основываясь на ответе Микколы, вот как обрабатывать несколько файлов:

import h5py
import tensorflow as tf

class generator:
    def __call__(self, file):
        with h5py.File(file, 'r') as hf:
            for im in hf["train_img"]:
                yield im

ds = tf.data.Dataset.from_tensor_slices(filenames)
ds = ds.interleave(lambda filename: tf.data.Dataset.from_generator(
        generator(), 
        tf.uint8, 
        tf.TensorShape([427,561,3]),
        args=(filename,)),
       cycle_length, block_length)

Ключ в том, что вы не можете передать filename напрямую generator, поскольку это Tensor. Вы должны передать его через args, который оценивает тензорный поток и преобразует его в обычную переменную Python.