Введение в обработку естественного языка (NLP)

Обработка естественного языка (NLP) — подмножество методов искусственного интеллекта, которое используется для сокращения разрыва в общении между компьютером и человеком. Он возник из идеи машинного перевода (МП), которая возникла во время Второй мировой войны.

Первоначальная идея заключалась в том, чтобы преобразовать один человеческий язык в другой человеческий язык, например, превратить русский язык в английский язык, используя мозг Компьютеров, но после этого возникла мысль о преобразовании человеческого языка в компьютерный язык и наоборот, так что общение с машиной стало легким.

Простыми словами, язык можно понимать как группу правил или символов. Эти символы интегрируются и затем используются для передачи, а также трансляции информации. Здесь применяются правила для подавления символов. Область обработки естественного языка разделена на подобласти, то есть генерацию естественного языка и понимание естественного языка, которые, как следует из названия, связаны с генерацией и пониманием текста. Следующая диаграмма в общих чертах показывает эти точки

Пусть вас не смущают эти новые термины, такие как фонология, прагматика, морфология, синтаксис и семантика. Давайте рассмотрим их очень кратко -

Фонология. Эта наука помогает разобраться с моделями, присутствующими в звуке, и речью, относящейся к звуку как физическому объекту.

Прагматика. Эта наука изучает различные способы использования языка.

Морфология. Эта наука занимается структурой слов и систематическими отношениями между ними.

Синтаксис. Эта наука имеет дело со структурой предложений.

Семантика. Эта наука имеет дело с буквальным значением слов, фраз и предложений.

История обработки естественного языка (NLP)

Как указывалось выше, идея возникла из-за потребности в машинном переводе в 1940-х годах. Тогда исходным языком был английский и русский. Но использование других слов, таких как китайский, также возникло в начальный период 1960-х годов. Затем в 1966 году для МТ/НЛП наступила паршивая эра, этот факт подтверждался отчетом ALPAC, согласно которому МТ/НЛП чуть не умерло, потому что исследования в этой области не имели в то время темпов. Это состояние снова улучшилось в 1980-х, когда продукт, связанный с МП/НЛП, начал приносить клиентам некоторые результаты.

Достигнув умирающего состояния в 1960-х годах, НЛП/МТ обрели новую жизнь, когда возникла идея и потребность в искусственном интеллекте. LUNAR разработан в 1978 году компанией W.A. Woods; он мог бы анализировать, сравнивать и оценивать химические данные о составе лунной породы и почвы, которые накапливались в результате миссий Аполлона на Луну, и мог бы ответить на связанный с этим вопрос.

В 1980-х годах область вычислительной грамматики стала очень активной областью исследований, которая была связана с наукой о рассуждениях о значении и учете убеждений и намерений пользователя.

В период 1990-х годов темпы роста НЛП/МТ увеличились. Вместе с парсерами стали доступны грамматики, инструменты и практические ресурсы, связанные с НЛП/МП. Исследования по основным и футуристическим темам, таким как устранение неоднозначности смысла слов и статистически окрашенное НЛП, работа над лексикой получили научное направление. К этому поиску появления НЛП присоединились другие важные темы, такие как статистическая обработка языка, извлечение информации и автоматическое суммирование.

Обсуждение истории НЛП нельзя считать полным без упоминания ELIZA, программы чат-бота, которая разрабатывалась с 1964 по 1966 год в Лаборатории искусственного интеллекта Массачусетского технологического института. Он был создан Джозефом Вейценбаумом. Это была программа, основанная на сценарии под названием DOCTOR, который был создан для роджерианского психотерапевта и использовал правила для ответов на вопросы пользователей, основанные на психометрии. Это был один из чат-ботов, способных в то время пройти тест Тьюринга.

Последние тенденции в обработке естественного языка (NLP)

В настоящее время все хотят, чтобы машина говорила, и единственный способ, с помощью которого компьютер может говорить, — это обработка естественного языка (NLP). Возьмем пример Alexa, диалогового продукта от Amazon. Запрос передается ему посредством голоса, и он может ответить тем же средством, т. е. голосом. Его можно использовать, чтобы спросить что-нибудь, найти что-нибудь, для воспроизведения песен или даже для заказа такси. Кажется, что это магия, но это не из-за какого-то магического заклинания, см. диаграмму ниже.

Эта простая диаграмма демонстрирует процедуру обработки естественного языка (NLP) в Alexa. Alexa не является единственным примером, и эти говорящие машины, которые широко известны как чат-боты, могут даже управлять сложными взаимодействиями и процессами, связанными с оптимизированным бизнесом, используя только NLP. В прошлом чат-боты использовались только для взаимодействия с клиентами с ограниченными возможностями общения, поскольку они, как правило, основывались на правилах, но после появления обработки естественного языка и ее интеграции с машинным обучением и глубоким обучением теперь чат-бот может обрабатывать множество различных областей, таких как управление персоналом. и Здоровье.

Это не единственный случай использования НЛП, когда оно меняет правила игры; есть и другие примеры. Давайте кратко рассмотрим их.

Ниже приводится описание некоторых вариантов использования, которые показывают силу НЛП в современную эпоху.

НЛП в здравоохранении — сервисы Amazon Comprehend Medical, которые используются для извлечения данных о заболеваниях, могут проводить сеансы медитации и отслеживать результаты лечения с помощью отчетов о клинических испытаниях, электронных медицинских карт и записей пациентов. Это пример НЛП в аналитике здоровья, где с помощью НЛП возможно прогнозирование различных заболеваний с использованием методов распознавания образов и речи пациента и его электронной медицинской карты.

Анализ настроений с использованием НЛП. В настоящее время компании и организации концентрируются на различных способах узнать своих клиентов, чтобы можно было обеспечить индивидуальный подход. Используя анализ настроений (который возможен только с использованием НЛП), можно определить чувства, стоящие за словами. Анализ настроений может предложить много знаний о поведении клиентов и их выборе, которые можно рассматривать как важные факторы, влияющие на принятие решений.

Когнитивная аналитика и НЛП — это лучший пример сотрудничества различных технологий, но обе они находятся под одной крышей искусственного интеллекта. Используя НЛП, возможны диалоговые структуры, которые могут принимать команды с помощью голоса или текста. Используя когнитивную аналитику, теперь возможна автоматизация различных технических процессов, таких как создание технического билета, связанного с технической проблемой, а также обработка ее автоматическим или полуавтоматическим способом. Совместная работа этих методов может привести к автоматизированному процессу решения технических проблем внутри организации или к предоставлению клиенту решения некоторых технических проблем также автоматизированным способом.

Обнаружение спама. Гиганты технического мира, такие как Google и Yahoo, используют НЛП для классификации и фильтрации сообщений электронной почты, подозреваемых в спаме. Этот процесс известен как обнаружение спама и фильтрация спама соответственно. Это приводит к автоматизированному процессу, который может классифицировать электронную почту как спам и останавливать ее для входа в папку «Входящие».

НЛП при подборе персонала. НЛП также можно использовать как на этапах поиска, так и на этапе выбора при приеме на работу. Фактически, чат-бот также может использоваться для обработки запроса, связанного с вакансией, на начальном уровне, который также включает определение необходимые навыки для конкретной работы и обработки тестов и экзаменов начального уровня.

Разговорная платформа. В наши дни эта технология и связанные с ней устройства набирают все большую популярность. Alexa, которая была показана выше, является одним из них, но есть Siri от Apple и Ok Google от Google, которые являются примерами тех же вариантов использования технологий.

Будущее обработки естественного языка (NLP)

Рассмотрение рыночного сценария в случае НЛП. Ажиотаж вокруг НЛП на рынке растет в геометрической прогрессии, и ожидается, что к 2021 году он достигнет отметки в 16 миллиардов долларов при совокупном темпе роста в 16% в год. Причиной этого роста является рост числа чат-ботов, стремление узнать мнение клиентов, переход технологии обмена сообщениями от ручного к автоматизированному и многие другие задачи, которые необходимо автоматизировать и в какой-то момент задействовать язык/речь.

Хотя, как указано выше, функциональность НЛП вращается вокруг языка/речи, которая относится к словам в их базовой исходной форме. Каким бы ни было средство коммуникации, будь то устное или письменное, слова являются основной фундаментальной единицей функциональности НЛП. Но в современном НЛП, по-видимому, есть разница в производительности НЛП, когда оно обрабатывает тексты и когда оно обрабатывает голос. Эта задача обязательно будет решена в ближайшем будущем. Давайте рассмотрим различные сценарии, касающиеся НЛП и будущего. Эволюция от взаимодействия человека с компьютером к общению человека с компьютером.

Только в случае взаимодействия можно использовать единственное средство, которым может быть любое вербальное или невербальное общение. Но для общения необходимо использовать оба средства, вербальные и невербальные вместе. Хотя существует мнение, что с развитием обработки естественного языка и биометрии такие машины, как роботы-гуманоиды, приобретут способность читать выражения лиц, а также языки тела и слова. Для этого необходима интеграция многих современных технологий, таких как распознавание пользователей-людей, анализ настроений, анализ рекомендаций и методы с участием в разговорах, что возможно в динамической манере. Первая важная часть достижений НЛП — биометрия

К области невербальной коммуникации относятся язык тела, прикосновения, жесты и мимика. Таким образом, чтобы внедрить в игру невербальную коммуникацию, необходимо использовать биометрические данные, такие как распознавание лиц, сканер отпечатков пальцев и сканер сетчатки глаза. В настоящее время использование этой биометрии также становится основной функцией в области обеспечения безопасности на ноутбуках, планшетах или даже на смартфонах, что также дает уверенность в использовании биометрии для поиска шаблонов в выражениях лица человека для распознавания чувств. и эмоции от него. Точно так же, как разные слова используются для составления целого предложения, различные микровыражения также используются для выражения чувств в разговоре. Эти микровыражения являются ключом к выявлению разницы между различными чувствами и эмоциями, и если их можно соединить с блоками обработки естественного языка, то эта интеграция может открыть совершенно новый уровень взаимодействия, в результате которого человек взаимодействует с машиной, используя общение Вторая важная часть достижений НЛП — гуманоидная робототехника.

Каждой душе нужно тело, чтобы выразить себя. Точно так же существует потребность в физической единице, чтобы передать продвижение НЛП в надлежащей и коммерческой среде. Устройства мысли, такие как iPad, интерактивное телевидение, специальные устройства для разговоров (такие как Siri и Google Home) начали охватывать эту область, но все же это только царапина на поверхности, потому что они имеют ограничения, такие как использование определенного диапазона чувств ( слышать, говорить, до некоторой степени видеть, но не чувствовать прикосновения).

Это взаимодействие должно быть двунаправленным и в него должно быть включено четвертое чувство (осязание); например, человек общается с другим человеком лицом к лицу.

Роботы-гуманоиды являются необходимостью такого рода связи, поскольку это может быть тело для запрограммированной искусственной души. Поскольку рост НЛП и биометрии также набирает темпы и точность, эти технологии могут вывести на совершенно новый уровень исследования роботов-гуманоидов, чтобы они могли выражать себя через движения, позы и выражения.

Целостная стратегия

Чтобы узнать больше об использовании и приложениях обработки естественного языка (NLP) в различных областях, мы советуем предпринять следующие шаги:

Первоначально опубликовано на https://www.xenonstack.com 5 декабря 2019 г.