Публикации по теме 'a-b-testing'
Используйте модели машинного обучения для уменьшения дисперсии в экспериментах A / B
TL;DR
Модели машинного обучения могут значительно уменьшить дисперсию и, следовательно, повысить эффективность ваших A / B-экспериментов.
Введение
Модели машинного обучения (ML) позволяют делать прогнозы. Но в целом они не используются широко для восстановления причинно-следственной связи. Мне всегда было интересно, могут ли они принести нам пользу для причинного вывода. Я исследую эту самую тему, запустив несколько симуляций, и сообщу сообществу серию статей.
В этой серии я..
Симуляция A / B-тестов в автономном режиме с контрфактическими выводами
Разрабатывая алгоритмы машинного обучения (ML) в производственной среде, мы обычно оптимизируем функцию или потерю, которая не имеет ничего общего с нашими бизнес-целями. Обычно мы заботимся о таких показателях, как CTR или разнообразие или доход от рекламы , но наши алгоритмы машинного обучения часто минимизируют потерю журнала Или среднеквадратичная ошибка (RMSE) произвольных величин для упрощения вычислений. Часто можно увидеть, что эти метрики машинного обучения не..
A/B-тестирование — Прояснение перспективы
Размышление о проблемах в контексте сценариев реального мира. A/B-тестирование — это один из способов определить на основе наблюдений и экспериментов, есть ли влияние изменения различных параметров конкретного объекта, таких как макет веб-сайта / характеристики продукта и т. д., на внедрение или конверсию и т. д. Этот метод настолько популярен, что он основан на наблюдениях пользователей за тем, что он был очень хорошо принят такими компаниями, как Netflix, Facebook, Google и т. д...
6 вещей, которые НЕЛЬЗЯ делать при развертывании ИИ на AWS
Вы разработали модель, которая кажется точной и может отлично работать в реальном мире. Вы хотите протестировать свою модель в реальном мире. Пришло время интегрироваться с реальными приложениями, что требует масштабируемого отклика в реальном времени. Вы представляете, AWS Lambda придет на помощь, чтобы сэкономить ваши затраты, и вы сможете масштабироваться по мере увеличения спроса на модель ИИ. Мы на правильном пути, так как вы решили перейти на бессерверную версию.
Но есть еще..
Структурирование вашего приложения iOS для сплит-тестирования
Сплит-тестирование - это метод определения того, какой вариант приложения лучше подходит для данной цели.
Множественные варианты или варианты поведения приложения распределяются случайным образом. После сбора и анализа статистики мы определяем, какая версия работает лучше.
Цель этой статьи - предоставить простой способ структурирования и организации вашего приложения для получения чистого и масштабируемого кода iOS при использовании сплит-тестирования.
Предоставляются..
Netflix A / B-тестирование
Netflix A / B-тестирование
(иначе, почему проведение идеального рандомизированного контролируемого эксперимента может быть несбыточной мечтой)
Меня сильно вдохновила статья Технологического блога Netflix о том, как они проводят A / B-тесты для эскизов фильмов / сериалов - настраивая эскизы в соответствии с демографическими данными / предпочтениями пользователя, чтобы повысить их вероятность. смотрю шоу.
В нем очень подробно рассматривается план эксперимента, но одно из самых..