Примечание редактора: эта модель возможностей была обновлена до Новая модель зрелости возможностей для глубокого обучения. Однако эта статья по-прежнему актуальна.
В Аренд Хинтце есть хорошая короткая статья Понимание четырех типов ИИ, от реактивных роботов до самосознательных существ », в которой он выделяет следующие типы:
Реактивная машина - самый простой тип, который не может формировать воспоминания и использовать прошлый опыт для принятия решений. Они не могут функционировать вне конкретных задач, для которых они были созданы.
Ограниченная память - способность заглядывать в прошлое, чтобы принять текущие решения. Однако память преходяща и не используется для будущих переживаний.
Теория разума - эти системы могут формировать представления о мире, а также о других агентах, с которыми они взаимодействуют.
Самосознание - здесь в основном спекулятивное описание.
Мне гораздо больше нравится его классификация, чем дихотомия «Узкий ИИ» и «Общий ИИ». Эта классификация представляет собой попытку разбить Узкий ИИ на 3 категории. Это дает нам больше концепций для различения различных реализаций ИИ. Однако я оговорюсь в определении того, что они, по-видимому, исходят из мышления ГОФАИ. Более того, прыжок от ограниченной памяти, способной использовать прошлое, к теории разума, кажется огромным скачком.
Однако я хотел бы воспользоваться этой возможностью, чтобы предложить свою собственную классификацию, более ориентированную на область глубокого обучения. Я надеюсь, что моя классификация будет более конкретной и полезной для практиков. Эта классификация дает нам представление о том, где мы сейчас находимся и куда мы можем двигаться.
Мы все время завалены шумихой об искусственном интеллекте о том, что у нас нет хорошей концептуальной основы для точной оценки текущей ситуации. Это может быть просто из-за того, что многие авторы не могут успевать за последними разработками в области глубокого обучения. Слишком много нужно читать, чтобы успевать за обновлениями, а последние открытия продолжают изменять наше нынешнее понимание. Считайте Переосмысление обобщения одним из тех удивительных открытий.
Здесь я представляю прагматическую классификацию возможностей глубокого обучения:
- Только классификация (C)
Этот уровень включает в себя полносвязную нейронную сеть (FCN) и сверточную сеть (CNN) и их различные комбинации. Эти системы принимают в качестве входных данных вектор большой размерности и приходят к единственному результату, обычно к классификации входного вектора. Вы можете рассматривать эти системы как функции без сохранения состояния, что означает, что их поведение является только функцией текущего ввода. Генеративные модели - одна из тех областей, которые активно изучаются, и они также относятся к этой категории. Короче говоря, эти системы сами по себе вполне способны.
2. Классификация с памятью (CM)
Этот уровень включает элементы памяти, встроенные в сети уровня C. LSTM являются примером этого с блоками памяти, встроенными в узел LSTM. Другими их вариантами являются нейронная машина Тьюринга (NMT) и дифференцируемый нейронный компьютер (DNC) от DeepMind. Эти системы поддерживают состояние при вычислении своего поведения.
3. Классификация со знанием (CK)
Этот уровень в некоторой степени похож на уровень CM, однако, а не необработанная память, информация, к которой сеть уровня C может получить доступ, является символьной базой знаний. На самом деле я обнаружил три вида символической интеграции: метод трансфертного обучения, подход сверху вниз и подход снизу вверх. Первый подход использует символическую систему, которая действует как регуляризатор. Второй подход имеет символические элементы наверху иерархии, которые составлены внизу нейронными репрезентациями. В последнем подходе все наоборот, когда сеть уровня C фактически присоединяется к символьной базе знаний.
4. Классификация с несовершенными знаниями (CIK)
На этом уровне у нас есть система, построенная на основе CK, но способная рассуждать с несовершенной информацией. Примером такой системы могут быть игровые системы AlphaGo и Poker. Однако AlphaGo использует не CK, а возможности уровня CM. Подобно AlphaGo, такие системы могут обучаться, симулируя их против себя.
5. Совместная классификация с несовершенными знаниями (CCIK)
Этот уровень очень похож на «теорию разума», где на самом деле у нас есть несколько агентных нейронных сетей, которые объединяются для решения проблем. Эти системы предназначены для решения нескольких задач. На самом деле мы делаем несколько примитивных версий этого в состязательных сетях, которые учатся выполнять обобщение с конкурирующими дискриминаторами и генеративными сетями. Расширьте эту концепцию на теоретико-игровые сети, которые способны выполнять стратегические и тактические решения нескольких задач, и вы получаете это своего рода чрезвычайно адаптивные системы. Мы еще не достигли этого уровня, и нам еще предстоит провести много исследований на предыдущих уровнях.
На другом уровне появляются возможности, которых не было на предыдущем уровне. Например, системы уровня C способны предсказывать только антипричинные отношения. Системы уровня CM способны очень хорошо переводить. Системы уровня CIK способны вести стратегическую игру.
Мы можем видеть, как эта классификация несколько совпадает с классификацией Хинцте, за исключением, конечно, самосознания. Это возможность, которую я действительно не исследовал и не собираюсь использовать до тех пор, пока не будут рассмотрены необходимые возможности. Я также не рассматривал ни одноразовое, ни одноразовое обучение, ни обучение без учителя. Как сказал Янн ЛеКун, это по-прежнему одна из фундаментальных проблем:
Если бы интеллект был пирогом, то пирогом было бы обучение без учителя, вишенкой на торте было бы обучение с учителем, а вишенкой на торте - обучение с подкреплением. Мы умеем делать глазурь и вишню, но не умеем делать торт.
LeCun также недавно начал использовать фразу «предиктивное обучение» вместо «обучения без учителя». Это интересное изменение, указывающее на небольшое изменение его взгляда на то, что, по его мнению, требуется для реализации «торта». По мнению ЛеКуна, необходимо заложить фундамент, прежде чем мы сможем добиться существенного прогресса в области ИИ. Другими словами, построение текущего контролируемого обучения путем добавления дополнительных возможностей, таких как память, базы знаний и взаимодействующие агенты, будет сложной задачей, пока мы все не сможем построить этот «базовый уровень прогнозирования». На последней конференции NIPS 2016 он разместил этот слайд:
Однако одна из технологий ускорителя во всем этом заключается в том, что возможности используются в контуре обратной связи. Мы действительно видели пример такого метаобучения или обучения оптимизации в текущих исследованиях. Я рассказываю об этих разработках в другой статье Глубокое обучение теперь может спроектировать себя! ». Ключевой вывод мета-методов заключается в том, что наши собственные методы исследования становятся намного более мощными, когда мы можем обучать машины находить лучшие решения, которые в противном случае мы могли бы найти.
Вот почему, несмотря на огромные проблемы в исследованиях Deep Learning, мы не можем быть уверены в том, насколько быстро может продвигаться прогресс.
Чтобы лучше понять, как возможности глубокого обучения подходят вашему предприятию, посетите Intuition Machine или обсудите в Группе FaceBook по глубокому обучению.
Http://csc.ucdavis.edu/~cmg/papers/et1.pdf Вычислительная механика процессов ввода-вывода: структурированные преобразования и электронный преобразователь
