Используя конвейер набора данных tensorflow, как мне * назвать * результаты операции «карта»?

Применение tf.py_func внутри ds.map работает.

В качестве примера я создал очень простой файл. Где я просто пишу 10 внутри.

фиктивный_файл.txt:

10

Вот для скрипта:

import tensorflow as tf

filelist = ['dummy_file.txt', 'dummy_file.txt', 'dummy_file.txt']


def py_func(input):
    # perform operations outside of tensorflow
    parsed_txt_file = int(input)
    return 'test', parsed_txt_file


def map_element_counts(fname):
    # let tensorflow read the text file
    file_string = tf.read_file(fname['filenames'])
    # then use python function on the extracted string
    a, b = tf.py_func(
                    func=py_func, inp=[file_string], Tout=[tf.string, tf.int64]
                    )
    return {'elementA': a, 'elementB': b, 'file': fname['filenames']}

ds = tf.data.Dataset.from_tensor_slices({'filenames': filelist})
ds = ds.map(map_element_counts)
element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
    print(sess.run(element))
    print(sess.run(element))
    print(sess.run(element))

Выход:

{'file': b'dummy_file.txt', 'elementA': b'test', 'elementB': 10}
{'file': b'dummy_file.txt', 'elementA': b'test', 'elementB': 10}
{'file': b'dummy_file.txt', 'elementA': b'test', 'elementB': 10}

Я предлагаю окончательное решение этого вопроса для потомков. Приведенный ниже код представляет собой пример копирования/вставки, который работает в самых сложных условиях, к которым относится этот вопрос (обратите внимание, что два других ответа не являются образцами кода для копирования/вставки):

Цель кода:

• Возьмите список (больших) файлов и разбейте его на куски (пары имя файла/индекс)
• Обработайте каждый фрагмент с помощью операции сопоставления (здесь генераторы не подходят, см.: https://github.com/tensorflow/tensorflow/issues/16343)
• Выведите несколько выборок из операции карты, которая принимает только 1 файл/фрагмент в качестве входных данных.
• Сохраняйте имена элементов на протяжении всего процесса

Скопируйте/вставьте рабочий пример для Tensorflow 1.5/Python 3.x

import tensorflow as tf
import numpy as np

files = [b'testA', b'testB', b'testC']

def mymap1(x):
  result_tensors = tf.py_func(func=mymap2, inp=[x], Tout=[tf.string, tf.int64])
  return {'filename': result_tensors[0], 'value': result_tensors[1]}

def mymap2(x):
  return np.array([x, x, x]), np.array([10, 20, 30])

def myflatmap(named_elements):
  return tf.data.Dataset.zip({
    'filename': tf.data.Dataset.from_tensor_slices(named_elements['filename']),
    'value': tf.data.Dataset.from_tensor_slices(named_elements['value'])
  })

ds = tf.data.Dataset.from_tensor_slices(files)
ds = ds.map(map_func=mymap1)
ds = ds.flat_map(map_func=myflatmap)

element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
  for _ in range(9):
    print(sess.run(element))

Выход:

{'filename': b'testA', 'value': 10}
{'filename': b'testA', 'value': 20}
{'filename': b'testA', 'value': 30}
{'filename': b'testB', 'value': 10}
{'filename': b'testB', 'value': 20}
{'filename': b'testB', 'value': 30}
{'filename': b'testC', 'value': 10}
{'filename': b'testC', 'value': 20}
{'filename': b'testC', 'value': 30}

В этом случае нет необходимости в tf.py_func, потому что map_func из Dataset#map работает со словарями и другими структурами:

map_func: функция, отображающая вложенную структуру тензоров (с формами и типами, определенными self.output_shapes и self.output_types) в другую вложенную структуру тензоров.

Вот пример:

import tensorflow as tf

filelist = ['fileA_6', 'fileB_10', 'fileC_7']

def map_element_counts(fnames):
  return {'elementA': b'test', 'elementB': 10, 'file': fnames['filenames']}

ds = tf.data.Dataset.from_tensor_slices({'filenames': filelist})
ds = ds.map(map_func=map_element_counts)
element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
  print(sess.run(element))
  print(sess.run(element))
  print(sess.run(element))

Выход:

{'elementA': 'test', 'elementB': 10, 'file': 'fileA_6'}
{'elementA': 'test', 'elementB': 10, 'file': 'fileB_10'}
{'elementA': 'test', 'elementB': 10, 'file': 'fileC_7'}