Lightfm: обработка холодного запуска пользователя и предмета

LightFM, как и любой другой рекомендательный алгоритм, не может делать прогнозы относительно совершенно новых пользователей, если ему не предоставлена ​​дополнительная информация об этих пользователях. Хитрость при попытке дать рекомендации для новых пользователей состоит в том, чтобы описать их с точки зрения особенностей, которые алгоритм увидел во время обучения.

Вероятно, лучше всего это объяснить на примере. Предположим, у вас есть пользователи с идентификаторами от 0 до 10 в обучающей выборке, и вы хотите сделать прогнозы для нового пользователя с идентификатором 11. Если бы у вас был только идентификатор нового пользователя, алгоритм не смог бы делать прогнозы. : ведь ему ничего не известно о предпочтениях пользователя 11. Предположим, однако, что у вас есть некоторые функции для описания пользователей: возможно, в процессе регистрации каждый пользователь выбирает ряд интересов, которые у него есть (например, фильмы ужасов или романтические комедии). Если эти функции присутствуют во время обучения, алгоритм может узнать, какие предпочтения в среднем связаны с этими характеристиками, и сможет дать рекомендации для любых новых пользователей, которых можно описать с помощью тех же характеристик. В этом примере вы сможете делать прогнозы для пользователя 11, если сможете указать предпочтения, которые он выбрал в процессе регистрации.

В реализации LightFM все эти функции будут закодированы в матрицах функций, вероятно, в форме горячего кодирования. Делая рекомендации для пользователя 11, вы должны построить новую матрицу признаков для этого пользователя: пока эта матрица признаков содержит только признаки, присутствующие во время обучения, вы сможете делать прогнозы.

Обратите внимание, что обычно полезно иметь функцию, которая соответствует только одному пользователю — например, функция «Является пользователем 0», функция «Является пользователем 1» и так далее. В случае новых пользователей такая функция бесполезна, так как в обучении нет информации, которую модель могла бы использовать, чтобы узнать об этой функции.

Это сработало для меня:

if user_index is not None:
    predictions = model.predict([user_index, ], np.array(target_item_indices))
else:
    predictions = model.predict(0, np.array(target_item_indices), user_features=user_features)

Здесь user_features — это разреженный массив, тщательно собранный из набора функций, который использовался при обучении модели.

Например. если я получаю нового пользователя, а функции пользователя что-то вроде user_feature_list = ["id-2837", "Cape Town", "Woodstock", 7700], то я создаю массив функций следующим образом:

from scipy import sparse

user_feature_map = store_model.user_feature_map  # the feature map was persisted during the previous round of offline training
num_features = len(user_feature_list)
normalised_val = 1.0 / num_features
target_indices = []
for feature in user_feature_list:
    try:
        target_indices.append(user_feature_map[feature])
    except KeyError:
        print("new user feature encountered '{}'".format(feature))
        pass
print("target indices: {}".format(target_indices))
user_features = np.zeros(len(user_feature_map.keys()))
for i in target_indices:
    user_features[i] = normalised_val
user_features = sparse.csr_matrix(user_features)

user_feature_map был сгенерирован ранее путем вызова метода LightFM mapping() для исходного набора входных данных после подгонки:

dataset.fit(
    unique_user_ids,
    unique_item_ids,
    item_features=item_feature_list,
    user_features=user_feature_list
)

user_id_map, user_feature_map, item_id_map, item_feature_map = dataset.mapping()