Публикации по теме 'tfrecord'
TFrecords (часть 1): преобразование набора данных в файлы tfrecord
При прохождении курсов ML/глубокого обучения обычно имеется доступ к предварительно загруженным наборам данных, таким как MNIST, FashionMNIST и т. д., поскольку они поставляются с такими платформами глубокого обучения, как Tensorflow. Но в реальных приложениях ваш набор данных, скорее всего, не будет доступен в таком виде. Кроме того, он может быть слишком большим, чтобы сразу поместиться в память.
TFRecords предлагает уникальное решение проблемы обучения моделей с большими наборами..
Объяснение TFRecords
Объяснение TFRecords
Работа с TFRecords с введением в Protobufs
В этом посте я собираюсь обсудить Tensorflow Records . Tensorflow рекомендует хранить и читать данные в формате tfRecords. Он внутренне использует буферы протокола для сериализации / десериализации данных и хранения их в байтах, поскольку требуется меньше места для хранения большого количества данных, а также для их передачи.
Protobufs работают с предопределенными схемами, в отличие от JSON и XML. tfRecords имеет..
Вопросы по теме 'tfrecord'
TensorFlow Dataset.shuffle — большой набор данных
Я использую TensorFlow 1.2 с набором данных в файле TFRecord 20G. В этом файле TFRecord около полумиллиона сэмплов.
Похоже, если я выберу значение меньше, чем количество записей в наборе данных для buffer_size , будут использоваться только первые...
9898 просмотров
schedule
16.08.2022
Невозможно прочитать из файла tfrecord Tensorflow
Я могу создать файл tfrecords, используя приведенный ниже код.
def _int64_feature(value):
return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
def _bytes_feature(value):
return...
712 просмотров
schedule
17.01.2023
изменение размера JPG перед созданием файлов TFRecord?
Я создаю модель для использования с tf.slim , которая будет работать с набором данных AVA — размером 32 ГБ для примерно 256 000 изображений JPG. Для изображений в полном разрешении я создал 20 сегментированных TFRecord файлов для обучения, каждый...
842 просмотров
schedule
21.10.2022
Ошибка записи TFRecord с использованием TFRecordWriter: объект «кортеж» не имеет атрибута «SerializeToString»
Я использую create_coco_tf_record-script для json с метками COCO в TFRecords, используя следующий код:
with open('coco_labels.json') as json_data:
label_info = json.load(json_data)
category_index = {}
IMAGE_FOLDER = "coco_images"
with...
542 просмотров
schedule
18.09.2022
Проблема с тонкой настройкой inceptionv3 в тонких пакетах записей tensorflow и tf
Я пытаюсь настроить модель inceptionv3, используя тонкую библиотеку tensorflow. Я не могу понять некоторые вещи, когда пишу для него код. Я попытался прочитать исходный код (нет надлежащей документации) и понял несколько вещей, и я могу настроить...
518 просмотров
schedule
09.09.2022
API обнаружения объектов Tensorflow tfrecord
Я новичок в тензорном потоке TFRecord. Итак, я изучаю коды API обнаружения объектов Tensorflow
https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/using_your_own_dataset.md
но я не могу найти коды, которые...
540 просмотров
schedule
20.10.2022
tf.data.dataset из файлов avro
Я пытаюсь распараллелить свой конвейер ввода, используя tf.data.Dataset и TFRecordDataset .
files = tf.data.Dataset.list_files("./data/*.avro")
dataset = tf.data.TFRecordDataset(files, num_parallel_reads=16)
dataset =...
595 просмотров
schedule
18.03.2023
Как загрузить изображения Sentinel из движка Google Earth, используя API Python в tfrecord
При попытке загрузить дозорное изображение для определенного места файл tif создается по умолчанию на диске, но его нельзя прочитать с помощью openCV или PIL.Image(). Ниже приведен код для того же. Если я использую формат файла как tfrecord. На...
2040 просмотров
schedule
08.04.2023
Как читать и записывать файлы tfrecord 2d массива
Я хочу сделать 2d-массив размером (n, 3) до tfrecord file и прочитать его.
Код, который я написал для создания tfrecord file ,
def _float_feature(value):
return tf.train.Feature(float_list=tf.train.FloatList(value=value))
example =...
528 просмотров
schedule
12.05.2023
Есть ли способ для Keras читать наборы данных TFRecord без дополнительных мер обработки данных?
Я старшеклассник, пытаюсь изучить основы TensorFlow. В настоящее время я создаю модель с входными файлами TFRecords, типом файла набора данных по умолчанию из TensorFlow, которые были сжаты из исходных необработанных данных. В настоящее время я...
154 просмотров
schedule
09.03.2023
InvalidArgumentError: Входные данные для изменения формы — это тензор с 0 значениями, но запрошенная форма имеет 54912
Очень начинающий вопрос, надеюсь, все в порядке
Я пытаюсь обучить эту модель из GitHub с помощью Набор данных MAPS, и я сделал новые .tfrecords с этим кодом для набора поездов. Он основан на коде здесь , но Я изменил некоторые вещи, чтобы...
279 просмотров
schedule
16.09.2023
Сериализация переменного количества масок двоичных экземпляров с помощью формата tfrecord Tensorflow
Для набора данных MS Coco 2014 каждое изображение имеет переменное количество ограничивающих рамок и соответствующие маски двоичных экземпляров, которые могут быть получены из многоугольника экземпляра, указанного в файле аннотации. Я добиваюсь этого...
127 просмотров
schedule
12.05.2022