Я думал об интересном способе рассказать о некоторых первых вещах, которые я узнал на курсе fast.ai. Я был на грани того, чтобы просто проработать концепцию стохастического градиентного спуска (SGD) с перезапусками с быстрой статьей, но мне нравятся статьи, в которых используются аналогии. Аналогии служат еще одним способом взглянуть на концепцию и закрепить ее в вашем мозгу.

Итак, сегодня я представлю вам хорошую связь между поворотом на SGD и аспектом удивительного мира криптовалюты для тех фанатиков.

Стохастический градиентный спуск с перезапусками

В журнале Towards Data Science есть несколько отличных статей о SGD, и тем, кто не знаком с этим или нуждается в быстром резюмировании, я бы посоветовал поискать и прочитать их. Я нашла парочку здесь и здесь.

Общая идея состоит в том, чтобы изменить значение весов в нейронной сети, чтобы достичь локального минимума. Этот минимум определяется функцией, которую вы стремитесь оптимизировать. Скорость обучения - это то, насколько быстро вы приближаетесь к этой минимальной точке. Если вы научитесь слишком быстро, вы можете пропустить минимум. Если вы будете учиться слишком медленно, решение проблемы может занять слишком много времени. Наука о данных - это все о компромиссах.

В классе fast.ai мы рано узнали о SGD с перезапусками. Этот метод помогает нагрузке на модель найти лучший путь при первом уходе на второй круг. Вы можете думать о методе «перезапуска» как о способе осмотреть пространство поиска, чтобы найти лучший путь, чем первый обход. Вот картинка, чтобы наглядно это представить.

На левом рисунке модель проходит процесс SGD один раз. В этом единственном путешествии модель нашла лучшее решение, в котором были задействованы все свои возможности и ограничения. На правом рисунке функция перезапуска использует SGD, запуская его несколько раз. Как видите, существует больше возможностей для достижения лучшего местного минимума.

Это улучшение может быть разницей между точностью модели от 99% до 99,5%! Кроме того, курс делает эту функцию очень доступной, поэтому я рекомендую ее проверить.

Теперь перейдем к криптовалютному миру.

Аналогия

Некоторые из вас считают это натяжкой как аналогию, но мне очень нравится объединять идеи вместе. Итак, во время одной из поездок домой я слушал этот подкаст о компании под названием Multicoin Capital. Они инвестируют в криптографические команды, и у них есть много интересного, что можно сказать о текущем состоянии этой отрасли.

Одной из поднятых тем была структура, которую они используют при рассмотрении компаний с разными протоколами смарт-контрактов. Слова протокол смарт-контракта не имеют значения в этом обсуждении, поэтому не беспокойтесь об этом слишком сильно. Они выдвигали на первый план свой тезис, в котором, по их мнению, будет несколько победителей в области смарт-контрактов, потому что есть несколько измерений, в которых могут быть локальные максимумы. Они утверждают, что в настоящее время мир видел только один локальный максимум - Эфириум, и определенно будет найдено больше.

Чтобы немного разобраться в этом, подумайте о картинке выше (или прокрутите до нее). Рельеф этого участка очень холмистый и ухабистый - есть глубокие впадины и есть точки высоких пиков. В случае инвестирования цель состоит в том, чтобы найти высокие пики (а не локальные впадины, когда мы думаем о машинном обучении).

Итак, в своем мире они ищут и исследуют эту странную страну и пытаются найти те компании, которые используют различные функции и технологии, чтобы можно было реализовать новый локальный оптимум. Эти инвесторы - «SGD с перезапусками», пытающиеся перепрыгнуть через функцию, чтобы найти локальный максимум (то есть компании с наилучшими шансами на выигрыш).

SGD с перезапусками - это другой взгляд на то, как исследовать функциональное пространство для наименьшей ошибки для вашей проблемы машинного обучения. В мире инвестирования люди начинают делать что-то подобное, хотя и ищут максимальной отдачи. Именно с помощью этих проб и ошибок мы настраиваем себя (и наши развлекательные алгоритмы) на максимальную вероятность успеха.

Спасибо за прочтение.