Автор: Старшие инженеры-программисты Synerzip. Мадхав Агарвал и Сумит Никам.

Машинное обучение — одна из самых быстрорастущих областей, и глубокое обучение представляет собой передовую область. Глубокое обучение — это новая область исследований, которая приближает нас к достижению одной из основных целей машинного обучения — искусственного интеллекта. Глубокое обучение широко используется в области распознавания изображений, обработки естественного языка (NLP), беспилотных автомобилей и классификации видео.

Фон

С 1940-х годов ученые пытались понять, как реальный мозг может обучаться, используя клетки (нейроны), которые связаны друг с другом. В конце концов были предложены искусственные нейроны, которые представляли собой комбинацию сложных математических функций, называемых моделями нейронных сетей. Сообщество считало, что если машина может математически понять данные, а затем сделать вывод о том, как они связаны, то можно сказать, что машина обучается. Машинное обучение — одна из самых быстрорастущих областей, и глубокое обучение представляет собой передовую область. Глубокое обучение — это новая область исследований, которая приближает нас к достижению одной из основных целей машинного обучения — искусственного интеллекта. Глубокое обучение широко используется в области распознавания изображений, обработки естественного языка (NLP), беспилотных автомобилей и классификации видео.

По разным причинам, таким как нехватка вычислительной мощности и появление других сложных алгоритмов машинного обучения, в ранний период глубокому обучению уделялось меньше внимания и меньше финансирования исследований. Однако интерес к нейронным сетям был далек от завершения. В середине 2000 года некоторые важные разработки сделали глубокое обучение правдоподобным:

  1. Стала реальной возможность обучения очень большой и глубокой нейронной сети.
  2. Появление мощных графических процессоров и инструментов программирования позволило использовать эти большие сети.
  3. Для обучения нейронной сети стали доступны огромные объемы данных в виде изображений, видео и т. д.

Ссылка на изображение Лаборатория данных Domino

Прикладное глубокое обучение

Комплексное распознавание изображений

Раньше задача распознавания изображений, тривиальная для человеческого мозга, была намного сложнее для машин. Но сегодня глубокое обучение позволяет машинам распознавать изображения, трудные даже для человека. Глубокое обучение является синонимом глубоких нейронных сетей, что является откровением, поскольку многие считают глубокое обучение неким черным ящиком. Большинство систем, таких как системы безопасности, игры с датчиками движения, беспилотные автомобили и т. д., используют алгоритмы глубокого обучения и показали лучшие результаты.

Классификация поисковых запросов

Глубокое обучение можно использовать для классификации поисковых запросов по разным сегментам, таким как навигационные запросы, транзакционные запросы, информационные запросы и т. д. Алгоритм Word 2 Vec используется для преобразования поисковых запросов в векторы, которые затем преобразуются в изображения. Затем эти изображения распределяются по разным классам с использованием сверточных нейронных сетей (CNN).

Помощники для общения

Ландшафт для разговорных помощников можно разделить на разные типы: от личных помощников, таких как Siri от Apple, Alexa от Amazon, Google Home и Cortana от Microsoft, до чат-ботов для конкретных доменов, которые пытаются решать проблемы в определенной области. Ожидания пользователей становятся все более требовательными, и эти системы должны быть интуитивно понятными, чтобы поддерживать интерес пользователя. Создание интерфейса на основе диалога является сложной задачей, и возникают проблемы с пониманием намерений пользователя из вопроса, правильным преобразованием речи в текст, определением контекста разговора и предоставлением соответствующих результатов. Глубокое обучение или глубокие нейронные сети используются для решения многих из этих проблем с помощью таких методов, как сверточные нейронные сети (CNN) и долговременная кратковременная память (LSTM). Глубокое обучение — отличный инструмент для разбора сложного зашумленного неструктурированного текста и создания осмысленных моделей для решения конкретных задач НЛП.

Архитектуры и инструменты нейронных сетей

Некоторые заслуживающие внимания архитектуры нейронных сетей, которые решают проблемы НЛП, включают:

  1. Сверточная нейронная сеть: хорошо работает для задач, связанных с определением контекста. CNN изучает морфологическую информацию и может дать хорошие результаты для исправления слов с ошибками или определения контекста. Expresso — это инструмент, построенный на Caffe, платформе с открытым исходным кодом, широко используемой для разработки сверточных нейронных сетей (CNN).
  2. Встраивание слов или встраивание символов: полезно, когда необходимо вывести семантическое сходство. Телгоритм работает даже для невидимых слов.
  3. Рекурсивные нейронные сети (RNN) и LSTM: их можно использовать в случаях, когда необходимо определить связь слов в последовательности. RNN также хорошо подходят для задач с заполнением слотов или маркировкой последовательностей, поскольку было обнаружено, что точность моделей RNN выше, чем у классификаторов условного случайного поля (CRF). Техника RNN полезна в компаниях, которые полагаются на реализацию таких задач, как покупка билета в кино, бронирование столика в ресторане или бронирование авиабилета.

Из инструментов и библиотек глубокого обучения библиотеки Python (Keras & Caffe) являются выбором многих разработчиков для реализации нейронных сетей. В сочетании с Theano или Tensor-flow они обеспечивают абстракцию для выполнения кода на графических процессорах.

Последние разработки

Глубокие нейронные сети могут быть сжаты для работы с низкой вычислительной мощностью и памятью

Исследователи из Индийского института науки (IISc) в Бангалоре работают над сжатием нейронных сетей, чтобы их можно было запускать на небольших устройствах с мощностью, аналогичной мобильным устройствам. Эта разработка поможет встраивать приложения глубокого обучения без использования ценных вычислительных ресурсов и ресурсов памяти. Также проводятся исследования графического интерфейса для проектирования, обучения и изучения сред глубокого обучения.

Глубокое обучение стало чрезвычайно популярным в машинном обучении, искусственном интеллекте и интеллектуальном анализе данных, поскольку оно создает множество новых возможностей в областях исследований, связанных с данными, таких как обработка сигналов, распознавание образов, а также НЛП.

Многие технологические гиганты уже используют глубокое обучение для различных проектов НЛП и начали делиться своими API с внешним миром.

Alexa, облачное предложение Amazon с голосовой поддержкой, позволяет людям подключать внешний продукт с микрофоном. Система использует глубокое обучение для распознавания речи. Недавно Amazon открыл API Alexa Skills для добавления пользовательского NLP. Это интересная разработка, поскольку она позволяет пользователям или разработчикам создавать собственные продукты, такие как домашняя автоматизация или голосовые помощники, с помощью Alexa.

Google также только что выпустил новый API для НЛП на облачной платформе — Cloud Natural Language API. По данным Google, этот API использует лучшие модели глубокого обучения (используемые в Google Search и Google Now) и предлагает мощные инструменты текстовой аналитики.

API-интерфейсы НЛП, предоставляемые этими технологическими компаниями, могут оказаться полезными для многих, кто надеется разработать продукты на основе НЛП, но не имеет возможности начать работу с нуля.

Компания Gartner предсказала пять тенденций в области больших данных, которые будут доминировать в 2016 году, и глубокое обучение — одна из них. Многие известные компании уже используют технологии Deep Learning, в том числе Apple, Facebook, Google, IBM, Microsoft, PayPal, Pinterest, Twitter, Yahoo, YouTube и другие. Эта технологическая тенденция может оказать значительное влияние на долгосрочные планы, программы и инициативы организации. По мере того, как все больше компаний инвестируют в эту технологию, мы увидим внезапное ускорение отраслевых приложений глубокого обучения.

Возможности Synerzip в глубоком обучении

Команда Synerzip применяет глубокое обучение в таких областях, как создание диалоговых помощников для конкретной предметной области, сбор информации из неструктурированного текста для расширения словарного запаса предметной области и анализ отзывов клиентов для предоставления отзывов о настроениях клиентов.

Обладая опытом в области машинного обучения и NLP, Synerzip является идеальным партнером для компаний, которым нужна помощь в эффективном анализе больших данных и использовании этих больших данных для прогнозирования расширения рынков и, в конечном итоге, для повышения доходов от бизнеса.