API Tensorflow Estimator сохраняет сводку изображения в режиме оценки

на данный момент я пытаюсь обучить автоэнкодер пользовательскому набору данных изображений, используя новый Estimator API Tensorflow.

Пока все работает. Единственная проблема, с которой я столкнулся, — сохранить входные и выходные изображения в виде сводки, когда модель находится в режиме оценки. Все сводки изображений, которые я создаю в режиме поезда, сохраняются и правильно отображаются в Tensorboard.

Вот мой код:

def model_fn_autoencoder(features, labels, mode, params):
    is_training = mode == ModeKeys.TRAIN

    # Define model's architecture
    logits = architecture_autoencoder(features, is_training=is_training)

    # Loss, training and eval operations are not needed during inference.
    loss = None
    train_op = None
    #eval_metric_ops = {}

    if mode != ModeKeys.INFER:
        loss = tf.reduce_mean(tf.square(logits - features))
        train_op = get_train_op_fn(loss, params)

        #eval_metric_ops = get_eval_metric_ops(labels, predictions)

    if mode == ModeKeys.TRAIN:
        for i in range(10):
            tf.summary.image("Input/Train/" + str(i), tf.reshape(features[i],[1, 150, 150, 3]))
            tf.summary.image("Output/Train/" + str(i), tf.reshape(logits[i],[1, 150, 150, 3]))

    if mode == ModeKeys.EVAL:
        for i in range(10):
            tf.summary.image("Input/Eval/" + str(i), tf.reshape(features[i], [1, 150, 150, 3]))
            tf.summary.image("Output/Eval/" + str(i), tf.reshape(logits[i], [1, 150, 150, 3]))

    return tf.estimator.EstimatorSpec(
        mode=mode,
        predictions=logits,
        loss=loss,
        train_op=train_op,
        #eval_metric_ops=eval_metric_ops

Может быть, кто-то может сказать мне, что я делаю неправильно?

Обновление Вот функции для создания оценщика и эксперимента:

Оценщик:

def get_estimator(run_config, params):
    return tf.estimator.Estimator(
        model_fn=model_fn_autoencoder,  # First-class function
        params=params,  # HParams
        config=run_config  # RunConfig
    )

Эксперимент:

def experiment_fn(run_config, params):
    run_config = run_config.replace(save_checkpoints_steps=params.min_eval_frequency)

    estimator = get_estimator(run_config, params)

    tf_path = 'path/to/tfrecord'
    train_file = 'Crops-Faces-Negtives-150-150.tfrecord'
    val_file = 'Crops-Faces-Negtives-150-150-TEST.tfrecord'
    tfrecords_train = [os.path.join(tf_path, train_file)]
    tfrecords_test = [os.path.join(tf_path, val_file)]

    # Setup data loaders
    train_input_fn = get_train_inputs(batch_size=128, tfrecord_files=tfrecords_train)
    eval_input_fn = get_train_inputs(batch_size=128, tfrecord_files=tfrecords_test)

    # Define the experiment
    experiment = tf.contrib.learn.Experiment(
        estimator=estimator,  # Estimator
        train_input_fn=train_input_fn,  # First-class function
        eval_input_fn=eval_input_fn,  # First-class function
        train_steps=params.train_steps,  # Minibatch steps
        min_eval_frequency=params.min_eval_frequency,  # Eval frequency
        eval_steps=10  # Number of eval batches
    )

    return experiment

python tensorflow tensorflow-estimator
person Sebastian Metzler    schedule 20.10.2017    source источник
comment
Не могли бы вы обновить свой код, включив в него то, как вы вызываете оценщик?   -  person Max    schedule 20.10.2017
comment
Извините, я добавил код для создания оценщика и эксперимента.   -  person Sebastian Metzler    schedule 20.10.2017
comment
Команда TF работает над добавлением способа сохранения сводок в режиме оценки так же, как вы делаете это в режиме обучения с помощью training_hooks в конструкторе EstimatorSpec. Ознакомьтесь с проблемой github здесь: github.com/tensorflow/tensorflow/issues/14042   -  person Ankit Mundada    schedule 28.10.2017

Ответы (1)


arrow_upward
10
arrow_downward

В TF1.4 вы можете передать tf.estimator.EstimatorSpec Assessment_hooks. Assessment_hooks — это список хуков, и вы должны добавить к нему следующий хук:

# Create a SummarySaverHook
eval_summary_hook = tf.train.SummarySaverHook(
                                save_steps=1,
                                output_dir= self.job_dir + "/eval_core",
                                summary_op=tf.summary.merge_all())
# Add it to the evaluation_hook list
evaluation_hooks.append(eval_summary_hook)

#Now, return the estimator:
return tf.estimator.EstimatorSpec(
                mode=mode,
                predictions=predictions,
                loss=loss,
                train_op=train_op,
                training_hooks=training_hooks,
                eval_metric_ops=eval_metric_ops,
                evaluation_hooks=evaluation_hooks)

Теперь вы можете просто добавить tf.summary.image и получить его в Tensorboard. Используйте, чтобы вы открыли Tensrobaord в родительском каталоге указанного выходного каталога, который вы использовали в хуке eval_summary. В моем примере он назывался «eval_core», поэтому я открыл Tensorboard в его родительском каталоге, и, как вы можете видеть на рисунке ниже, он хорошо отображается в синем поле.

введите описание изображения здесь

person Shahar Karny    schedule 09.01.2018