Вопросы производительности и емкости

Помимо показателей, таких как AUC, точность, отзыв и т. д., мы также гарантируем, что в то же время мы соблюдаем требования к емкости и производительности.

Кроме того, производительность и емкость являются наиболее важными факторами, о которых следует подумать при разработке системы машинного обучения. Соглашение об уровне обслуживания, основанное на производительности, гарантирует, что мы вернем результаты в течение заданного периода времени (например, 500 мс) для 99 % запросов. Емкость относится к нагрузке, с которой может справиться наша система, например, система может поддерживать 1000 QPS (запросов в секунду).

  1. метрику можно разделить на покомпонентную метрику и сквозную метрику.
  2. Показатель офлайн и показатель онлайн
  3. производительность и вместимость

Рассмотрение сложностей для системы ML имеет три разных типа сложностей:

  1. сложность обучения:
  2. сложность оценки:
  3. сложность выборки: выборка алгоритма машинного обучения — это общее количество обучающих выборок, необходимых для успешного изучения целевой функции.

Чтобы одновременно управлять производительностью и емкостью системы, обычно используется один разумный подход — начать с относительно быстрой модели, когда у вас есть наибольшее количество документов, а затем использовать относительно сложную модель, когда у вас есть меньшее количество документов. документы. Возьмем в качестве примера предсказание рекламы. Обычно это называется воронкообразным подходом.

Стратегии сбора обучающих данных

Большинство реальных задач подпадают под категорию задач обучения с учителем, которые требуют помеченных обучающих данных. Это означает, что необходимо стратегически подумать о сборе размеченных данных для подачи в вашу систему обучения.

Методы:

  1. взаимодействие пользователя с уже существующей системой (онлайн-сбор данных)
  2. маркировщики людей (автономный сбор данных
  3. Дополнительные методы творческой коллекции

Потребителем нашей системы машинного обучения является пользователь Netflix.

Примечание:

  1. ранняя версия для рекомендации фильмов может быть на основе популярности, на основе локализации, на основе рейтинга, созданной вручную модели или на основе машинного обучения.
  2. Целевой сбор данных:узнайте, как определить области, в которых система работает плохо, и сосредоточьтесь на сборе данных о них. Например, вы можете обнаружить, что он плохо работает для изображений в ночное время и при наличии нескольких пешеходов. Поэтому вы больше сосредоточитесь на сборе и маркировке изображений в ночное время и изображений с несколькими пешеходами.

Онлайн-экспериментирование (экспериментирование с моделями и процесс оценки)

Теперь задача состоит в том, чтобы определить, значительно ли количество успехов в варианте выше контрольного, т. е. оказало ли преобразование положительное влияние на производительность системы.

Примечание:

  1. поисковая система имеет два типа алгоритма: попарный и точечный алгоритм
  2. Поисковая система Страницы результатов (SERP) — это страницы, отображаемые поисковыми системами в ответ на запрос пользователя. . Основным компонентом SERP является список результатов, возвращаемых поисковой системой в ответ на запрос ключевого слова.

Встраивание

Используйте сценарий:

  1. Встраивание текста
  2. Визуальное встраивание
  3. Изучите встраивание для конкретной задачи
  4. Встраивание на основе отношений

Трансферное обучение

Количество слоев, которые мы замораживаем, зависит от

  1. подобие задачи прогнозирования
  2. количество помеченных данных

Отладка и тестирование модели

С точки зрения разработки модели есть два основных этапа, которые мы рассмотрим:

  • Построение первой версии модели и системы машинного обучения.
  • Многократные улучшения по сравнению с первой версией, а также устранение проблем в крупномасштабных системах машинного обучения.

Наша первая попытка использовать модель в сети, т. е. включить живой трафик, может не сработать так, как ожидалось, и результаты будут выглядеть не так хорошо, как мы ожидали, в автономном режиме. Давайте рассмотрим несколько сценариев сбоев, которые могут произойти на этом этапе, и способы их устранения.

Зачем:

  1. изменение распределения признаков: сезонность данных, например, covid-19
  2. проблемы с регистрацией функций: заметный сдвиг в генерации функций между обучением и обслуживанием. Итак, было бы неплохо посмотреть, одинакова ли логика создания функций для автономного обучения, а также для онлайн-обслуживания части оценки модели.
  3. переоснащение

Итеративные улучшения начинаются с примеров сбоев, а затем с поиска отсутствующих функций для смягчения сбоев. Например, рассмотрим сценарий, в котором фильм, действительно понравившийся пользователю, получил очень низкую оценку в нашей системе рекомендаций. При отладке мы выясняем, что пользователь ранее смотрел два фильма одного и того же актера, поэтому добавление функции в предыдущие оценки этого актера может помочь нашей модели работать лучше в этом случае.

Примечание:

  1. Важно быстро запустить версию 1 в реальной системе, а не тратить слишком много времени на ее оптимизацию. Например, если наш AUC равен 0,7 и это лучше, чем текущая система с AUC 0,68, обычно лучше использовать модель онлайн, а затем продолжать итерацию для улучшения качества.
  2. Методология системы на основе правил:
  3. Общая метрика системы ранжирования поиска: NDCG

Ссылка:

1. https://www.educative.io/courses/grokking-the-machine-learning-interview/JY4x4vAV8yD