Взглянем на критиков Гэри Маркуса о методе глубокого обучения в искусственном интеллекте

В своей статье «Глубокое обучение: критическая оценка» Гэри Маркус дает обзор ограничений глубокого обучения и риска чрезмерной шумихи. Он также представляет альтернативы глубокому обучению. Статья начинается с обсуждения преимуществ глубокого обучения, таких как распознавание лиц и речи. Затем он переходит к ограничениям глубокого обучения и заканчивает изучением возможных способов сделать компьютеры такими же интеллектуальными, как люди, включая неконтролируемое обучение, символический ИИ и получение информации из человеческого познания. В этом эссе я рассмотрю идеи Маркуса о глубоком обучении и предоставлю краткое изложение, дополненное моими личными комментариями и темами, обсуждаемыми в ходе курса.

Что такое глубокое обучение и что оно делает хорошо?

Глубокое обучение — это ветвь машинного обучения, которая является подмножеством искусственного интеллекта. Глубокое обучение учит компьютеры выполнять задачи, предоставляя им примеры. Несмотря на то, что он существует уже некоторое время, он приобрел популярность за последние пять лет. Его можно рассматривать как статистический метод классификации паттернов с использованием выборочных данных и многослойных нейронных сетей. Эти сети состоят из входных блоков, нескольких скрытых слоев и выходных блоков, соединенных узлами, при этом веса соединений регулируются с помощью обратного распространения для минимизации функции потерь. Расположение входных, скрытых и выходных узлов напоминает соединения между биологическими нейронами, поэтому оно также известно как искусственные нейронные сети. Глубокое обучение оказало глубокое влияние на различные области, такие как распознавание речи, изображений и языковой перевод, что побудило компании вкладывать значительные средства в эту технологию. Однако, как утверждает Гэри Маркус, глубокое обучение может достигать своих пределов, и может быть разумно изучить альтернативные решения, если наша цель — заставить компьютеры превзойти человеческий интеллект. В следующей части я углублюсь в критику глубокого обучения Маркусом и рассмотрю выявленные им ограничения.

Ограничения глубокого обучения:

Согласно статье Маркуса, ограничения глубокого обучения начинаются с того, что оно не может делать обобщения на основе нескольких испытаний, а вместо этого требует тысяч или миллионов обучающих примеров. Люди, с другой стороны, могут изучать абстрактные отношения только на нескольких примерах, потому что они сохраняют способность изучать абстракции с помощью словесных определений, в то время как глубокое обучение работает, в значительной степени полагаясь на огромные объемы данных для обучения модели и создания точных прогнозов. Причина этого в том, что модели глубокого обучения требуют большого размера выборки для извлечения значимой информации, и чем больше данных доступно модели, тем лучше она может понять основные закономерности и обобщить новые, невидимые данные. При обучении с использованием ограниченного количества данных существует риск переобучения, когда модель становится неспособной обобщать невидимые данные из-за тесной привязки к известным обучающим данным. Это может привести к снижению производительности и неточным прогнозам. Однако использование больших объемов данных также имеет свои недостатки, поскольку это может быть трудоемкой и трудоемкой задачей. В заключение, глубокое обучение в значительной степени зависит от использования огромных объемов данных, и в случае ограниченных данных следует рассмотреть альтернативные решения.

Второе ограничение, упомянутое Маркусом, — непонимание абстрактных понятий, что означает, что глубокое обучение более поверхностно, чем мышление. В качестве примера можно рассмотреть игру Atari от DeepMind, в которой глубокое обучение сочетается с обучением с подкреплением. Система может обыграть экспертов-людей в играх, но когда система сталкивается с другими сценариями, отличными от тех, на которых она обучалась, система работает плохо. Само собой разумеется, что глубокое обучение не может понимать абстрактные концепции. В целом можно сказать, что глубокое обучение извлекает шаблоны только на поверхностном уровне.

Третье ограничение, представленное Маркусом, - это неспособность иметь дело с иерархической структурой и борьба с открытым выводом. Он предполагает, что модели глубокого обучения не могут понять иерархию языка и его сложную структуру, вместо этого они рассматривают предложения, как если бы они были просто списками слов, и это создает проблемы для моделей глубокого обучения при попытке понять язык. Я считаю, что основная проблема в настоящее время заключается в том, что глубокое обучение изучает корреляции в простом неструктурированном списке. В то время как иерархические структуры не представлены напрямую, и в результате системы глубокого обучения вынуждены использовать неадекватные процедуры, такие как последовательное положение слова, представленного в последовательностях. По этой причине модели глубокого обучения менее успешны в задачах, в которых вывод выходит за рамки того, что явно указано в тексте. Если бы мы сравнили модели глубокого обучения с людьми, мы бы увидели огромную разницу между ними. Люди часто делают новые и важные выводы из текстов, просто подразумевая их, например, выясняя мотивы персонажа с помощью косвенного языка. В настоящее время не существует системы глубокого обучения, которая, используя знания из реального мира, могла бы делать открытые выводы так же точно, как люди.

Кроме того, еще одно ограничение, которое утверждал мой Маркус, заключалось в том, что глубокое обучение недостаточно прозрачно, системы глубокого обучения имеют огромное количество параметров, из-за чего даже разработчикам трудно понять это. Несмотря на некоторый прогресс в визуализации отдельных узлов, глубокое обучение по-прежнему смущает большинство людей. Проблема с прозрачностью заключается в том, что для большинства людей не всегда понятно, как система принимает решения, это может стать проблемой в будущем, если все больше и больше технологических устройств будут продолжать использовать глубокое обучение, особенно в случае, когда люди хотели бы понимать, как работает система, и принимать решения в таких задачах, как медицинские диагнозы или финансовые сделки.

Пятое ограничение — отсутствие интеграции с предшествующими знаниями. Значение глубокого обучения эффективно для задач с большим количеством помеченных примеров, но оно имеет ограниченную полезность для открытых задач, требующих рассуждений на основе здравого смысла.

Следующее ограничение, которое он выдвигает, заключается в том, что ему трудно отличить причинно-следственную связь от корреляции. Глубокое обучение изучает сложные корреляции между входными и выходными функциями, но не может понять причинно-следственную связь. Например, система глубокого обучения может понять корреляцию между изучением словарного запаса и ростом, но не может понять, как эта корреляция вызвана ростом и развитием.

Шестое ограничение — невозможность использовать глубокое обучение в нестабильных ситуациях. Другими словами, чтобы модель глубокого обучения делала точные прогнозы, должен существовать набор стабильных правил, которым она следует. Применение глубокого обучения к задачам с предсказуемыми правилами, таким как настольные игры, вероятно, даст лучшие результаты по сравнению с использованием глубокого обучения для прогнозов погоды, как это было в 2013 году, когда система тенденций гриппа Google пропустила пик сезона гриппа.

Следующее ограничение касается надежности глубокого обучения. Маркус утверждает, что мы не можем полностью доверять этим моделям, поскольку они хорошо работают только в качестве приближения. Далее он говорит, что, хотя системы глубокого обучения могут быть полезны в небольшой части конкретной области, их также легко обмануть. Многочисленные исследования и примеры из реальной жизни продемонстрировали это. Например, системы глубокого обучения в области зрения ошибочно принимают полосы за школьные автобусы, а напечатанных на 3D-принтере черепах — за оружие. В заключение, несмотря на то, что глубокое обучение работает эффективно в большинстве ситуаций, мы не можем гарантировать его во всех обстоятельствах. Последней серьезной проблемой, упомянутой в статье Гэри Маркуса, является сложность надежного проектирования с использованием метода глубокого обучения. Это означает, что легче создавать системы, которые работают в ограниченных условиях, но гораздо сложнее гарантировать их производительность в новых данных или при использовании в качестве частью большей системы.

Обсуждение

Как я уже упоминал выше, Маркус считает глубокое обучение мощным инструментом, но со своими ограничениями. Когда количество данных ограничено или набор тестов отличается от набора для обучения, глубокое обучение может работать неэффективно. Собственные эксперименты авторов, проведенные в 1997 году с нейронными сетями для обобщения языковых паттернов, показывают, что сети не могут экстраполировать за пределы обучающего пространства. Эта проблема неспособности обобщать за пределами тренировочного пространства продолжает сохраняться. Кроме того, Маркус утверждает, что глубокое обучение поверхностно по своей природе и неспособно понять абстрактные концепции, иерархические структуры и открытые выводы. Кроме того, глубокое обучение не является прозрачным и может быть сложным для понимания даже разработчиками. Однако, несмотря на свои ограничения, Маркус утверждает, что глубокое обучение оказывает важное влияние на различные области, и необходимы дополнительные исследования, чтобы найти альтернативные решения, позволяющие компьютерам превзойти человеческий интеллект. Несмотря на все упомянутые им проблемы, он не согласен с необходимостью отказа от глубокого обучения. Скорее он выдвигает идею переосмысления и использования глубокого обучения в качестве инструмента. Он также продолжает говорить о рисках ажиотажа в отношении глубокого обучения, аргументируя это риском новой «зимы ИИ», подобной той, что произошла в 70-х годах, когда поле было слишком узким, чтобы его можно было использовать на практике. Автор также опасается, что ИИ может застрять, сосредоточившись на ограниченных моделях, таких как глубокое обучение, и пренебрегая более многообещающими подходами. Чтобы поле полностью раскрыло свой потенциал, оно должно избегать застревания. Кроме того, по словам Маркуса, могут существовать альтернативы глубокому обучению, такие как обучение без учителя, символический ИИ и человеческое познание.

Заключение

В заключение, глубокое обучение — это мощный инструмент, который можно использовать во многих областях. Однако важно признать его ограничения, как обрисовано в общих чертах Гэри Маркусом в его статье. Его статья начинается с признания сильных сторон глубокого обучения, а затем переходит к перечислению его ограничений, включая его зависимость от огромного количества данных, поверхностное понимание, трудность в работе с иерархическими структурами и работу с открытыми выводами, а также отсутствие прозрачности. Я считаю, что хотя глубокое обучение продемонстрировало невероятные успехи в некоторых областях, исследуя и пытаясь преодолеть его ограничения, мы можем лучше оценить его потенциал и найти способы его улучшить. Кроме того, также разумно исследовать альтернативные решения в других областях, особенно если цель состоит в том, чтобы компьютеры превзошли человеческий интеллект.