Недавно директор Tesla по искусственному интеллекту, Андрей Карпати, написал сообщение в блоге, в котором обосновал необходимость нового типа программного обеспечения, который представляет собой фундаментальный сдвиг в нашем видении и развитии. технология. Опровергая распространенное мнение о том, что нейронные сети - это всего лишь еще один инструмент в наборе инструментов машинного обучения, Карпати утверждает, что нейронные сети - это не просто еще один классификатор, они представляют собой начало фундаментального сдвига в том, как мы пишем программное обеспечение. Это Программное обеспечение 2.0 .
Программное обеспечение 2.0
Иногда я вижу, что люди называют нейронные сети просто« еще одним инструментом в вашем наборе инструментов для машинного обучения . У них есть… medium.com »
Янн ЛеКун, директор Facebook AI Research и изобретатель сверточных нейронных сетей, сделал еще один шаг в своем сообщении в Facebook на выходных. Он утверждает, что Deep Learning изжила свою полезность как модную фразу и что пришло время для ребрендинга, чтобы отразить разработку нового типа программного обеспечения, которое можно дифференцировать и оптимизировать. Глубокое обучение - это смерть. Да здравствует дифференцированное программирование! , - громко заявляет ЛеКун.
Да, дифференцируемое программирование - это не более чем ребрендинг современной коллекции методов глубокого обучения, точно так же, как глубокое обучение было ребрендингом современных воплощений нейронных сетей с более чем двумя уровнями.
Важным моментом является то, что сейчас люди создают новый вид программного обеспечения, собирая сети из параметризованных функциональных блоков и обучая их на примерах с использованием некоторой формы градиентной оптимизации ... Это действительно очень похоже на обычную программу, за исключением того, что она параметризована, автоматически дифференцируемые и обучаемые / оптимизируемые.
Семантика, семантика, семантика, верно? Это просто слово. Это было и мое первое впечатление. Но дело не в словах; скорее, это расширение исследований и инженерных знаний от глубоких нейронных сетей до целой области технологий, построенных на основе нашего существующего программного стека, который параметризуется, дифференцируется и оптимизируется. Термин «глубокое обучение» расплывчат, ограничен и не особенно полезен. Когда каждая нейронная сеть становится глубокой нейронной сетью, что именно передает «глубокое обучение»? Шумиха, и больше ничего.
Один из комментаторов в своем сообщении в Facebook утверждал, что это следует называть просто «машинным обучением», на что Лекун парировал: «Почему бы нам просто не написать F (x) = 0 и не заявить, что каждая теория - это просто частный случай этого? ” Другими словами, машинное обучение является слишком общим словом и не полностью отражает суть вычислительных инноваций на горизонте.
Скорее всего, термин «дифференцируемое программирование» не приживется, особенно если учесть потенциальную путаницу с «дифференциальным программированием» (это слово настолько длинное, что я даже не мог указать его как тег Medium для этого поста). Но важно не конкретное слово; скорее, это фундаментальный сдвиг в менталитете. Это понимание того, что машинное обучение больше не просто еще один инструмент в наборе инструментов - это новая технологическая граница, которая расширит наши пути развития технологий, а также то, какие технологии будет достигнуто в ближайшие десятилетия.
