Вопросы по теме 'tensorflow-datasets'
TF: как создать набор данных из данных, введенных пользователем
Недавно я начал играть с tensorflow и, в частности, с новым API набора данных. Я успешно использовал набор данных для подачи обучающих данных в мою простую модель, подключив итераторы набора данных к узлам моего графика, представляющего ввод и метку....
317 просмотров
schedule
12.11.2023
Использование наборов данных для использования массивов Numpy
Я пытаюсь использовать массивы Numpy в графе, вводя данные с помощью набора данных.
Я прочитал это , но не могу понять, как я должен передавать заполнитель массивы в наборе данных.
Если мы возьмем простой пример, я начну с:
A =...
1369 просмотров
schedule
16.03.2023
Как загрузить данные EMNIST в Tensorflow
Во всех учебниках, которые я видел для tensorflow, они использовали набор данных MNIST, я понял моделирование, но как мне загрузить этот набор данных в tensorflow? https://www.nist.gov/itl/iad/image-group/emnist-dataset
5365 просмотров
schedule
21.11.2022
API набора данных Tensorflow с ListDirectory
Я хочу использовать Tensorflow Dataset API для создания одного пакета для каждой папки (каждая папка, содержащая изображения). У меня есть следующий простой фрагмент кода:
import tensorflow as tf
import os
import pdb
def parse_file(filename):...
1659 просмотров
schedule
09.01.2023
Как прочитать все записи примера из файла TFRecord за один раз, используя API набора данных?
Я использую задание Spark для создания файла TFRecord , который будет моим словарным файлом пар (слово, количество).
Я хочу загрузить весь файл сразу, используя API набора данных, поскольку мой файл со словарем может находиться в HDFS и может быть...
850 просмотров
schedule
25.08.2022
TensorFlow - tf.data.Dataset для чтения больших файлов HDF5
Я настраиваю конвейер TensorFlow для чтения больших файлов HDF5 в качестве входных данных для моих моделей глубокого обучения. Каждый файл HDF5 содержит 100 видеороликов переменной длины, хранящихся в виде коллекции сжатых изображений JPG (для...
15236 просмотров
schedule
05.06.2023
Не удается загрузить файлы с набором данных Tensorflow
Я пытаюсь использовать tf.Dataset для загрузки входных изображений и маркировки изображений. Поэтому я следую руководству по набору данных Tensorflow по адресу https://www.tensorflow.org/programmers_guide/datasets . Но я получаю такую ошибку:...
1041 просмотров
schedule
06.07.2023
Используя конвейер набора данных tensorflow, как мне * назвать * результаты операции «карта»?
У меня есть функция карты ниже (исполняемый пример), которая вводит string и выводит string и integer .
в tf.data.Dataset.from_tensor_slices я назвал исходный ввод 'filenames' . Но когда я возвращаю значения из функции карты...
1924 просмотров
schedule
01.02.2023
Почему логический аргумент reshuffle_each_iteration функции TensorFlow tf.data.Dataset.shuffle по умолчанию имеет значение None, а не True?
документация по функции tf.Dataset.data.shuffle заявляет следующее:
reshuffle_each_iteration : (необязательно.) Логическое значение, которое, если оно равно true, указывает, что набор данных должен перетасовываться псевдослучайно каждый...
842 просмотров
schedule
21.01.2023
Восстановление модели, обученной с помощью tf.estimator, и ввод данных через feed_dict
Я тренировал реснет с tf.estimator, модель сохранялась в процессе обучения. Сохраненные файлы состоят из .data , .index и .meta . Я хочу загрузить эту модель обратно и получить прогнозы для новых изображений. Данные были переданы модели во...
2916 просмотров
schedule
25.04.2024
Пользовательский оценщик Tensorflow с API набора данных: встраивание поиска (feature_column) NMT-задача
мой вопрос по своей природе близок к поиску встраивания столбцов функций , однако я не смог прокомментировать там дан ответ (недостаточно репутации), и я думаю, что отвечающий либо не полностью понял вопрос, либо ответ был не совсем тем, что было...
1302 просмотров
schedule
18.04.2022
tensorflow next_batch против пользовательского next_batch?
Я пытаюсь написать функцию, которая может получать пакеты данных, аналогичную next_batch в tensorflow.
next_batch можно увидеть здесь: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/learn/python/learn/datasets/mnist.py...
742 просмотров
schedule
31.12.2022
Есть ли способ использовать tf.data.Dataset внутри другого набора данных в Tensorflow?
Я делаю сегментацию. В каждой обучающей выборке есть несколько изображений с масками сегментации. Я пытаюсь написать input_fn , чтобы объединить все изображения масок в одно для каждой обучающей выборки. Я планировал использовать два Datasets ,...
1739 просмотров
schedule
25.02.2023
Ошибка Tensorflow: не поддерживается вызываемый
Я следую руководству https://www.tensorflow.org/tutorials/layers и хочу используйте его, чтобы использовать мой собственный набор данных.
def train_input_fn_custom(filenames_array, labels_array, batch_size):
# Reads an image from a file,...
7207 просмотров
schedule
31.07.2023
тензоры взяты из разных графиков
Я новичок в тензорном потоке. Попытка создать конвейер ввода из tfrecords . Ниже приведен фрагмент моего кода для создания пакетов и подачи в мой estimator :
def generate_input_fn(image,label,batch_size=BATCH_SIZE):
logging.info('creating...
1763 просмотров
schedule
20.03.2024
Невозможно группировать тензоры с разными формами в компоненте 0 с tf.data.Dataset
В моем конвейере ввода есть следующая ошибка:
tensorflow.python.framework.errors_impl.InvalidArgumentError: Невозможно объединить тензоры с разными формами в компонент 0. Первый элемент имел форму [2,48,48,3], а элемент 1 имел форму...
14915 просмотров
schedule
01.05.2022
Подвыборка несбалансированного набора данных в тензорном потоке
Новичок в Tensorflow здесь. Это мой первый проект, и я работаю с заранее определенными оценщиками.
У меня чрезвычайно несбалансированный набор данных, где положительные результаты составляют примерно 0,1% от общих данных, и я подозреваю, что этот...
1763 просмотров
schedule
10.04.2023
Как заменить ввод сохраненного графика, например. заполнитель с помощью итератора набора данных?
У меня есть сохраненный график Tensorflow, который использует ввод через placeholder с параметром feed_dict .
sess.run(my_tensor, feed_dict={input_image: image})
Поскольку подача данных с помощью Dataset Iterator более эффективна , я...
1760 просмотров
schedule
06.06.2023
TensorFlow tf.data.Dataset и ведение
Для сети LSTM я заметил большие улучшения с ведением.
Я наткнулся на раздел сегментирования в документации TensorFlow , который (tf .contrib).
Хотя в своей сети я использую tf.data.Dataset API, в частности, я работаю с TFRecords, поэтому мой...
1933 просмотров
schedule
30.12.2022
Вывод с моделью, обученной с помощью tf.Dataset
Я обучил модель с помощью tf.data.Dataset API, поэтому мой обучающий код выглядит примерно так
with graph.as_default():
dataset = tf.data.TFRecordDataset(tfrecord_path)
dataset = dataset.map(scale_features, num_parallel_calls=n_workers)...
1914 просмотров
schedule
25.02.2023
