Обработка естественного языка (NLP) — это область информатики, которая фокусируется на программировании компьютера для обработки данных на естественном языке. В некотором смысле мы можем рассматривать НЛП как непрерывные занятия, которые обучают компьютеры человеческому языку. Цель НЛП — помочь машинам понимать человеческие языки посредством устного или письменного общения.
Какие типы или процессы есть в НЛП?
НЛП позволяет и поощряет машины выполнять автоматизированную речь и автоматизированное написание текста.
При разбивке практики НЛП могут быть включены в один из следующих уровней.
1. Обработка сигналов: преобразует произнесенные слова в тексты.
2. Семантический анализ: вникает в значение слов в предложениях.
3. Синтаксический анализ: извлекает грамматику или структуру предложений.
4. Прагматика: смотрит на общее значение предложения в более широком контексте. Пользователям нужно будет научить машину тому, как используются предложения и в каких контекстах.
НЛП обычно включает в себя два процесса: понимание и создание естественных языков. Понимание естественного языка похоже на это название, которое пытается понять человеческий язык. Проблема, с которой сталкивается процесс понимания, - это двусмысленность значений слов или предложений. Например, под гвоздем можно понимать ногти или острый тонкий металл, который мы используем в строительстве. Кроме того, тон человека также может изменить смысл предложения, особенно когда речь идет о сарказме. Представьте, что ваш лучший друг, который едва может нарисовать линию, пытается нарисовать ваш портрет и спрашивает, как он выглядит. Такой ответ, как «выглядит так хорошо, что я хочу умереть», скорее всего, будет интерпретирован компьютером как то, что картина вам нравится. Люди сложны, иногда мы говорим то, что на самом деле имеем в виду, а иногда играем со своими словами. Такая сложность вызовет у машин трудности с пониманием и интерпретацией наших предложений. Эти проблемы могут быть преодолены со временем, поскольку компьютеры узнают больше о том, как люди говорят. Генерация естественного языка создает удобочитаемые и осмысленные предложения и фразы из существующих структурированных данных. Этот процесс обычно проходит через контрольный список, чтобы гарантировать качество создаваемого текста. Как объяснил Гилл в своей статье, этапами являются планирование текста, планирование предложений и реализация. Планирование текста убирает слова, фразы и формирует структурированные данные; планирование предложений сочетает предложения со структурированными данными для создания потока информации. Реализация исправит грамматику предложения перед тем, как представить окончательный текст. Одна из проблем в этом процессе — сделать так, чтобы предложения звучали естественно. Например, официант спрашивает, не хотите ли вы добавить сыра к салату и соуса на гарнир. Как правило, естественным ответом будет «Да, пожалуйста». Люди обычно не повторяют этот вопрос в своем ответе, особенно в неформальной обстановке. Эту проблему можно решить, обучая модели, а также оптимизируя их производительность и точность.
До сих пор мы могли задаться вопросом, в чем разница между НЛП и анализом текста. У Гилла есть самый короткий ответ для нас.
Даже несмотря на то, что эти два имени могут сбить с толку новичков в аналитической сфере. В разбивке НЛП показывает дальнейшие процессы и приложения для текстов.
Какие компании используют НЛП?
Компании используют НЛП для создания своих приложений, анализа отзывов своих клиентов и так далее. Вот некоторые примеры: Siri, Amazon Echo и Google Home. Да, когда вы разговариваете с Siri, именно тогда вмешивается НЛП, чтобы помочь ей понять, что вы говорите. Кроме того, различные почтовые системы также используют NLP для обнаружения спам-писем и автоматического включения их в папку со спамом. НЛП все еще развивается, поэтому мы увидим больше в будущем.
Ссылки
Гилл, Дж. (2017) Обзор искусственного интеллекта и роли обработки естественного языка в больших данных Получено с https://www.xenonstack.com/blog/data-science/overview-of -искусственный-интеллект-и-роль-обработки-естественного-языка-в-больших-данных
Филлипс, В. (2006) Введение в обработку естественного языка. Получено с URL http://www.mind.ilstu.edu/curriculum/protothinker/natural_language_processing.php
