Переменный ввод для последовательного автоэнкодера

Я реализовал декодер Sequence to Sequence Encoder, но у меня возникли проблемы с изменением моей целевой длины в прогнозе. Он работает для той же длины обучающей последовательности, но не для другой. Что мне нужно изменить?

from keras.models import Model
from keras.layers import Input, LSTM, Dense
import numpy as np

num_encoder_tokens = 2
num_decoder_tokens = 2
encoder_seq_length = None
decoder_seq_length = None
batch_size = 100
epochs = 2000
hidden_units=10
timesteps=10

input_seqs = np.random.random((1000, 10, num_encoder_tokens))
target_seqs = np.random.random((1000, 10, num_decoder_tokens))



#define training encoder
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(hidden_units, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
encoder_states = [state_h, state_c]
#define training decoder
decoder_inputs = Input(shape=(None,num_decoder_tokens))
decoder_lstm = LSTM(hidden_units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=encoder_states)
decoder_dense = Dense(num_encoder_tokens, activation='tanh')
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

#Run training
model.compile(optimizer='adam', loss='mse')
model.fit([input_seqs, target_seqs], target_seqs,batch_size=batch_size, epochs=epochs)

#new target data
target_seqs = np.random.random((2000, 10, num_decoder_tokens))


# define inference encoder
encoder_model = Model(encoder_inputs, encoder_states)
# define inference decoder
decoder_state_input_h = Input(shape=(hidden_units,))
decoder_state_input_c = Input(shape=(hidden_units,))
decoder_states_inputs = [decoder_state_input_h, decoder_state_input_c]
decoder_outputs, state_h, state_c = decoder_lstm(decoder_inputs, initial_state=decoder_states_inputs)
decoder_states = [state_h, state_c]
decoder_outputs = decoder_dense(decoder_outputs)
decoder_model = Model([decoder_inputs] + decoder_states_inputs, [decoder_outputs] + decoder_states)

# Initalizse states 
states_values = encoder_model.predict(input_seqs)

и здесь он хочет тот же размер пакета, что и в input_seqs, и не принимает target_seqs с пакетом из 2000

target_seq = np.zeros((1, 1, num_decoder_tokens))
output=list()
for t in range(timesteps):
    output_tokens, h, c  = decoder_model.predict([target_seqs] + states_values)
    output.append(output_tokens[0,0,:])
    states_values = [h,c]
    target_seq = output_tokens

Что мне нужно изменить, чтобы модель принимала переменную длину ввода?


person texaspythonic    schedule 24.07.2018    source источник


Ответы (2)


Вы можете создать в своих данных слово/токен, означающий end_of_sequence.

Вы сохраняете максимальную длину и, вероятно, используете некоторый слой Masking(mask_value), чтобы избежать обработки нежелательных шагов.

Как на входе, так и на выходе вы добавляете токен end_of_sequence и завершаете недостающие шаги с помощью mask_value.

Пример:

  • the longest sequence has 4 steps
    • make it 5 to add an end_of_sequence token:
      • [step1, step2, step3, step4, end_of_sequence]
  • consider a sequence that is shorter:
    • [step1, step2, end_of_sequence, mask_value, mask_value]

Тогда ваша форма будет (batch, 5, features).


Другой подход описан в вашем другом вопросе, где пользователь выполняет каждый шаг вручную и проверяет, является ли результат этого шага токеном end_of_sequence: Разница между двумя моделями последовательностей keras (с RepeatVector и без него)

Если это автоэнкодер, есть еще одна возможность для переменной длины, когда вы берете длину непосредственно из ввода (должны подавать пакеты только с одной последовательностью, без заполнения/маскирования):

person Daniel Möller    schedule 24.07.2018
comment
@ последний вопрос, который я также прокомментировал ниже, но должен ли приведенный выше цикл for находиться в диапазоне временных шагов или также возможен 1? - person texaspythonic; 26.07.2018
comment
Вы можете сделать его бесконечным, если хотите (но ваша модель должна быть достаточно хороша, чтобы всегда достигать end_of_sentence). Так что будьте осторожны и определите максимум безопасности. Кажется, нет смысла иметь его как 1. - person Daniel Möller; 26.07.2018

К сожалению, вы не можете этого сделать. Вы должны установить ввод на максимальную ожидаемую длину. Затем вы можете использовать маскирующий слой либо со слоем внедрения, либо с использованием значения маскирования как

keras.layers.Masking(mask_value=0.0)

См. дополнительную информацию здесь.

person papayiannis    schedule 24.07.2018
comment
arxiv.org/pdf/1406.1078.pdf, потому что в этом документе говорится о переменной длине ввода и цель. Каким будет справочный документ для этой модели выше? - person texaspythonic; 24.07.2018
comment
Модель, которую вы создаете с помощью маскирования, по-прежнему будет иметь переменную длину. Подход с маскированием является выбором реализации для входов-выходов переменной длины. Это то, что Керас использует для этого. Обсуждение этого для Tensorflow дано здесь. - person papayiannis; 24.07.2018
comment
@ppayiannis спасибо за информацию, последний вопрос: должен ли цикл for находиться в диапазоне временных шагов? - person texaspythonic; 26.07.2018