От A/B-тестирования до персонализации игроков в реальном времени

Ответ на вопрос «А или Б лучше для моих игроков?» часто «это зависит от игроков, одним нравится А, другим нравится Б!». До сих пор разработчикам игр приходилось использовать инструменты A/B-тестирования, чтобы выбрать «лучший выбор» для всей аудитории.

Но сегодня новые технологии искусственного интеллекта, такие как машинное обучение, дают разработчикам игр возможность предлагать в режиме реального времени А тем игрокам, которые предпочитают А, и Б игрокам, которые предпочитают Б, обеспечивая лучший опыт для всех игроков.

Основные этапы использования A/B-тестирования.

A/B-тестирование — это полезный инструмент, помогающий геймдизайнерам и разработчикам принимать решения по UX, дизайну уровней или монетизации на основе поведения реальных игроков. Например, следует ли выделить кнопку «Спаси меня» цветом A или B, чтобы больше людей использовали эту функцию?

Настройте решение для A/B-тестирования, чтобы некоторые игроки видели кнопку в цвете A, другие игроки — в цвете B, а на портале инструментов A/B-тестирования вам необходимо настроить некоторые события и отчеты для отображения некоторых показателей для обеих когорт, чтобы вы могли принять решение (например, процент игроков, нажимающих кнопку «Сохранить меня», когда она становится доступной).

Это может быть много работы для результата, который нелегко интерпретировать (рейт кликов 16% с цветом A, 18% с цветом B, с погрешностью 4%…?).

Пример A/B-тестирования для настройки сложности

Теперь предположим, что вы настроили сложность определенного этапа своей игры на значение «по умолчанию», основываясь на ваших тестах, тестах людей из вашей команды или некоторых внешних тестировщиков. Но вы хотели бы знать, будет ли для ваших реальных игроков лучше сложность или сложность.

Что значит «лучше для игроков»? «Вы должны определить свою цель: больше людей выиграют этап? Имея лучшее удержание? Лучшая монетизация? Превратить больше игроков в плательщиков? У вас более длительные сеансы?

Затем, используя решение для A/B-тестирования, вы настраиваете 3 когорты (получая более легкую, стандартную и более сложную сложность), вы кодируете эти изменения в своей игре (когда игрок начинает определенный этап) на основе когорты, вы отправьте обновление игры, и после нескольких дней игры (или нескольких недель) вы посмотрите на показатели, связанные с вашей «целью», например, удержание на 7-й день.

Сложность действий после A/B-тестирования

Может быть трудно получить результаты, на которые можно действовать. Предположим, что ваша сложность «по умолчанию» лучше для 40% ваших игроков, «легче» для 30% игроков и «сложнее» для оставшихся 30% игроков:

Когорта «по умолчанию» должна показать удержание Day7 немного лучше, чем 2 другие когорты.
Когорты «проще» и «сложнее» будут немного ниже, но обе должны давать почти одинаковое удержание на 7-й день.

Итак, после всей этой работы вы сохраняете свою сложность «по умолчанию»… радуя только 40% игроков… А что, если вы хотите настроить сложность всех своих этапов? Много работы!

Использование машинного обучения для настройки сложности

Давайте посмотрим, как мы можем работать с выделенной платформой Data Science SaaS, чтобы улучшить удержание за счет настройки сложности.

Как и в A/B-тестировании, вы кодируете изменения сложности в своей игре (когда игрок начинает этап) на основе 3 «значений»: «проще», «по умолчанию», «сложнее», вы отправляете свою игру и Это оно!

Когда игра запущена, на платформу отправляются события о сессиях и поведении игроков (победы, поражения…) на всех этапах. После нескольких дней исследования (за каждый пройденный этап некоторые игроки получают «проще», «по умолчанию» или «сложнее») платформа учится у этих игроков (строит модель машинного обучения) на основе оптимизации «награды». (ваша цель в A/B-тестировании), например, увеличение удержания.

После того, как платформа узнала от игроков, каждый раз, когда игрок начинает этап, игра отправляет платформе запрос, который в реальном времени отвечает на персонализированное значение («проще», «по умолчанию» или «сложнее»), чтобы чтобы максимизировать вознаграждение (увеличить удержание) для текущего игрока.

Выходя за рамки A/B-тестирования: преимущества персонализации игроков в реальном времени

Первым преимуществом является экономия времени вашей команды: вам не нужно выполнять всю работу по просмотру отчетов и поиску наилучшей настройки.

Второе преимущество — улучшенный опыт игроков: вы предоставляете всем игрокам тот тюнинг, который им больше всего подходит! Это приведет к лучшему удержанию и монетизации.

В приведенном выше примере 40% игроков должны получить «по умолчанию», 30% — «проще», а остальные 30% — «сложнее». Что-то, что невозможно получить с помощью A/B-тестирования.

Как видите, A/B-тестирование — это метод, настройка и использование которого может занять много времени, но дает очень мало результатов в мобильных играх. С другой стороны, машинное обучение может принести огромные улучшения, поскольку оно не только намного проще в использовании, но и идет гораздо дальше, обеспечивая персонализацию игроков в реальном времени.