Схема, позволяющая понять, почему успешные учащиеся, как правило, оказывают неоптимальное влияние.
Как я смотрю на личный рост
Сравнивать запутанный жизненный путь с простым алгоритмом градиентного спуска кажется нелепым, но, по сути, люди все время примерно выполняют эту итеративную оптимизацию первого порядка.
Для мотивированных (как я считаю, с оптимизмом, большинство из нас) мы стремимся к конкретной цели; накапливать дополнительный опыт, максимально соответствующий указанной цели; и повторяйте это до схождения. Хотя эта абстрактная характеристика не полностью отражает человеческую сущность (например, мы часто уделяем приоритетное внимание нескольким задачам одновременно, нас могут отвлекать временные отвлекающие факторы, мы изначально не следуем лучшим действиям / опыту и т. Д. .), лежащая в основе связь с градиентным спуском очевидна.
Это особенно верно для людей с хроническими высокими достижениями, то есть студентов, которые проникают в такие учебные заведения, как Гарвард. Эти студенты преуспели в формулировании, работе и достижении невероятно замечательных целей на протяжении более или менее всей своей жизни.
Подводные камни ванильного градиентного спуска как оптимизатора жизни
Их трудовая этика, без сомнения, достойна похвалы, но их стремление к успеху часто омрачается близорукостью. То есть многие учащиеся поступают в элитные школы, не имея конкретного видения того, как они хотят внести свой вклад в мир; это, в сочетании с вновь обретенной неуверенностью и давлением, пронизывающим эти гиперконкурентные арены, вынуждает студентов оптимизировать работу в основном ради похвалы, подтверждения и вознаграждения в краткосрочной перспективе.
Действительно, как только цели будут поставлены, элитные студенты с большей вероятностью их достигнут. Превосходство - в их природе. Но важно помнить, что ванильный градиентный спуск - это алгоритм, который просто гарантирует локальный оптимум.
Единственная настройка, в которой ванильный градиентный спуск обеспечивает глобально оптимальное решение, - это, конечно, выпуклая функция потерь. Это, конечно, не является заданным в большинстве задач оптимизации, и это вдвойне так, что сложность жизни не может быть аккуратно преобразована в выпуклую функцию.
С чисто объективной точки зрения, действительно глупо думать, что работа в FAANG (или, что то же самое, в какой-нибудь блестящей количественной фирме / банке / консультанте) с сомнительным внутренним смыслом будет разумным единичным показателем для карьеры / жизни. удовлетворение; и все же очень многие из нас слепо придерживаются этих приближений и оптимизируют в рамках этого желательно гладкого многообразия ошибок.
На самом деле наши функции ценности далеко не простые и выпуклые. Когда мы предполагаем, что это так, и приближаемся к нашему будущему с тем же подходом, который мы использовали всю нашу жизнь, то есть ванильным градиентным спуском, мы обречены на неоптимальность.
Внесите стохастичность в свою жизнь
Во многом так же, как стохастический градиентный спуск превосходит обычный градиентный спуск для обучения больших нейронных сетей, введение стохастичности в нашу жизнь может помочь увеличить наши шансы обнаружить свое истинное призвание.
Достижение карьерной (или любой другой) нирваны на самом деле не должно быть простым. Чем раньше мы смиримся с этим, тем быстрее мы поймем, что нам не нужно постоянно оптимизироваться для перехода к следующему «лучшему» этапу нашей жизни.
Люди, которыми я восхищаюсь больше всего, потратили время на поиски своей истинной цели и, как отражение этого, имеют очень нелинейный, нетрадиционный путь к успеху. Сразу вспоминается Питер Тиль, который перешел от математики к философии и большему праву, прежде чем пришел и стал доминировать на сцене стартапов. Райан Петерсен - еще один яркий пример, начавший с экспорта китайских товаров в Штаты, затем построивший службы обработки данных по сканированию грузов, а теперь уже работавший с Flexport.
Можно приостановить работу, чтобы поразмыслить. Это нормально - пробовать новую область, ортогональную всему, что вы делали в своей жизни. Ничего страшного, если ты не гонишься за тем, за чем гонятся все остальные. Это нормально - добиваться чего-то для себя, даже если никто другой не хвалит, не понимает и не одобряет.
Освободитесь и примите случайность.
Бросок кости
И все же, как все мы знаем, стохастический градиентный спуск также не гарантирует глобального оптимума. Вполне возможно, что мы сядем в седловой точке или в локальных оптимумах, несмотря на десятилетия упорных усилий.
Вполне возможно, что мы окажемся в гораздо худшем месте, чем пункт назначения традиционного, более безопасного пути; но также возможно, что мы поднимемся к месту безмерного удовлетворения, воздействия и радости.
В конце концов, нет никакой гарантии, что (стохастический) путь, по которому меньше ездят, обязательно лучше в долгосрочной перспективе. Но, конечно, кажется позором смириться с ортодоксальным жизненным путем с неиспользованным потенциалом.
