Могут ли базовые модели подтвердить теорию основного алгоритма для всех человеческих знаний?
Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, у которого уже более 150 000 подписчиков. TheSequence — это информационный бюллетень, ориентированный на машинное обучение, без BS (то есть без шумихи, без новостей и т. д.), чтение которого занимает 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов машинного обучения, научных работ и концепций. Пожалуйста, попробуйте, подписавшись ниже:
Первый пост 2023 года, так почему бы не полемизировать 😉 Если серьезно, в этом году я хотел бы объединить посты о глубоком техническом машинном обучении (ML) с некоторыми более философскими темами, которые находятся в центре текущего состояния ML. .
Одна из тех тем, которые я нахожу увлекательными, заключается в том, приближается ли недавняя эволюция базовых моделей к универсальному алгоритму или нет.
Идею универсального алгоритма популяризировал легенда ML Педро Домингос в своей книге The Master Algorithm. В книге представлен обзор пяти основных школ машинного обучения:
1. Коннекционисты: которым нравится реконструировать человеческий мозг.
2. Символисты: которые полагаются на принципы логики и дедукции.
3. Аналоги: кто учится на основе оценок сходства.
4. Байесовцы: которые полагаются на вероятностные представления знаний.
5. Эволюционисты: моделирующие знания на основе принципов эволюционной биологии.
Основной тезис книги Домингоса заключается в том, что все знания во вселенной могут быть собраны с помощью единого алгоритма, объединяющего вышеупомянутые школы.
С тех пор коннекционистская школа развивалась быстрее, чем остальные, с появлением таких архитектур, как большие предварительно обученные сети, которые стали известны как основополагающие модели. Так что вопрос о том, являются ли базовые модели показателем потенциала алгоритма универсального знания, является интересным. Используя подход первых принципов, мы можем разделить ответ на две основные части:
я. Будет ли ОИИ основан на универсальном алгоритме?
ii. Если да, то являются ли базовые модели шагом к этому мастер-алгоритму?
1) Поддержка магистерской диссертации по алгоритму
Идея универсального алгоритма обучения на первый взгляд может показаться спорной, но у нее много сторонников в ИИ-сообществе. Большая часть проблем этой теории сосредоточена вокруг вопроса «как», а не «если». Я нашел простой способ объяснить это, используя человеческие знания в качестве прокси. Если мы считаем, что целью ОИИ является воссоздание и развитие человеческого познания, то идея универсального алгоритма, естественно, должна иметь смысл, поскольку большая часть человеческого знания была создана в результате нескольких универсальных алгоритмов. О каких главных алгоритмах я говорю? Рискуя упростить, мы можем думать обо всех человеческих знаниях как о комбинации нескольких слоев, управляемых универсальными алгоритмами. Вот основной трехуровневый подход к этой теории.
Универсальный алгоритм правил физики управляет основными законами Вселенной. Эти правила запустили главный алгоритм эволюции, лежащий в основе существования всех видов. Эволюция легла в основу формирования человеческого мозга, который, возможно, также работает по таинственному мастер-алгоритму.
Следуя этой теории, кажется логичным, что целью ОИИ должно быть воссоздание основных основных алгоритмов человеческого познания. Конечно, такие подходы, как клеточные автоматы, пытались сделать именно это.
2) Базовые модели и основной алгоритм
Нынешнее поколение базовых моделей далеко не является мастер-алгоритмом чего бы то ни было, но, безусловно, пролило некоторый свет на возможности этих архитектур. Большие предварительно обученные модели строят знания на основе массивных коллекций неразмеченных цифровых данных. Одной из замечательных характеристик этих моделей является то, что они могут справляться с несколькими задачами одновременно, даже не будучи изначально обучены этим задачам. Еще одно невероятное свойство больших предварительно обученных моделей заключается в том, что они способны вывести многие основы логики. Последнее особенно важно, так как большинство экспертов сходятся во мнении, что любой универсальный алгоритм будет основан на нейросимволических архитектурах, сочетающих логику и нейронные сети.
В ближайшие несколько лет модели фундаментов, вероятно, станут значительно больше и эффективнее. Точно так же стоимость их реализации должна быть достаточно ограничена, чтобы мы, скорее всего, получили несколько, а не множество этих моделей, которые можно было бы точно настроить для конкретных областей. С этой точки зрения кажется логичным думать, что базовые модели могут быть одним из основных строительных блоков универсального алгоритма. По крайней мере, это лучшая архитектура, которая у нас есть на данный момент, хотя она, безусловно, может быть оспорена в будущем.
