Разница между двумя моделями Sequence to Sequence Models (с RepeatVector и без него)

В модели, использующей RepeatVector, они не используют никаких причудливых прогнозов и не имеют дело с состояниями. Они позволяют модели делать все внутри, а RepeatVector используется для преобразования вектора (batch, latent_dim) (который не является последовательностью) в (batch, timesteps, latent_dim) (который теперь является правильной последовательностью).

Теперь в другой модели, без RepeatVector, секрет кроется в этой дополнительной функции:

def decode_sequence(input_seq):
    # Encode the input as state vectors.
    states_value = encoder_model.predict(input_seq)

    # Generate empty target sequence of length 1.
    target_seq = np.zeros((1, 1, num_decoder_tokens))
    # Populate the first character of target sequence with the start character.
    target_seq[0, 0, target_token_index['\t']] = 1.

    # Sampling loop for a batch of sequences
    # (to simplify, here we assume a batch of size 1).
    stop_condition = False
    decoded_sentence = ''
    while not stop_condition:
        output_tokens, h, c = decoder_model.predict([target_seq] + states_value)

        # Sample a token
        sampled_token_index = np.argmax(output_tokens[0, -1, :])
        sampled_char = reverse_target_char_index[sampled_token_index]
        decoded_sentence += sampled_char

        # Exit condition: either hit max length
        # or find stop character.
        if (sampled_char == '\n' or len(decoded_sentence) > max_decoder_seq_length):
            stop_condition = True

        # Update the target sequence (of length 1).
        target_seq = np.zeros((1, 1, num_decoder_tokens))
        target_seq[0, 0, sampled_token_index] = 1.

        # Update states
        states_value = [h, c]

    return decoded_sentence

Это запускает цикл на основе stop_condition для создания временных шагов один за другим. (Преимуществом этого является создание предложений без фиксированной длины).

Он также явно принимает состояния, сгенерированные на каждом шаге (чтобы сохранить правильную связь между каждым отдельным шагом).

Короче:

• Модель 1: создает длину, повторяя скрытый вектор
• Модель 2: создает длину, повторяя новые шаги до тех пор, пока не будет достигнуто условие остановки.