100+ встраиваний, 50+ классификаторов, 200 + языков, Бесконечная мощь - самый богатый инструмент НЛП на рынке!

John Snow Labs NLU - это библиотека Python для применения современного (SOTA) интеллектуального анализа текста непосредственно на любом фрейме данных с помощью одной строчки кода.

Являясь фасадом отмеченной наградами библиотеки Spark NLP, он поставляется с сотнями предварительно обученных моделей на десятках языков - все производственные, масштабируемые и обучаемые.

Картинка говорит более 1000 слов, вот и GIF! Откиньтесь назад и наслаждайтесь

NLP расшифровывается как обработка естественного языка, это задача предварительной обработки текста и извлечения полезных функций, таких как эмоции, грамматические метки, именованные сущности, создание встраиваний более низкого измерения и многое другое.

NLU означает понимание естественного языка, он помогает специалистам по обработке данных понять текстовые данные, написанные на человеческих языках, за счет минимизации части NLP до 1 строки кода.

Вместо того, чтобы сосредоточиться на обработке данных и проектировании функций, с NLU специалист по данным может сосредоточиться на ПОНИМАНИИ данных на естественном языке.

Что включает в себя NLU 0.1?

NLU предоставляет все, что может пожелать специалист по данным, в одной строке кода!

  • 350+ предварительно обученных моделей
  • 100+ последних встраиваний слов НЛП (BERT, ELMO, ALBERT, XLNET, GLOVE, BIOBERT, ELECTRA, COVIDBERT) и их различных вариаций.
  • 50+ последних встраиваний предложений НЛП (BERT, ELECTRA, USE) и их различных вариаций.
  • 50+ классификаторов
  • Разбор зависимостей с метками и без меток
  • Проверка орфографии
  • Различные методы предварительной обработки и очистки текста

    Выберите подходящий инструмент для решения нужной задачи!
    Если вы анализируете фильмы или твиттер, у NLU есть подходящая модель для вас!

Какие классификаторы включает в себя NLU 0.1?

Это всего лишь краткий обзор классификаторов, которые может предложить NLU.

  • NER предварительно обучался на CONLL (18 класс)
  • Часть речи
  • Классификатор на 50 вопросов класса
  • Классификатор спама
  • Классификатор фейковых новостей
  • Классификатор эмоций
  • Классификатор киберзапугивания
  • Классификатор сарказма
  • Классификатор токсичных веществ
  • E2E Классификатор
  • Классификатор настроений предварительно обучен на обзорах фильмов IMDB
  • Предварительно обученный классификатор настроений в Twitter
  • Классификатор языков на 20 языков

В дополнение к этому, NLU определяет широкий спектр так называемых компонентов NLU, которые украшают один из многих алгоритмов NLP, все, конечно, всего в одной строке.

Как это работает?

Проще простого! Вы просто вызываете nlu.load (model) и передаете строковую ссылку на нужные модели, несколько примеров:

Давайте познакомимся с 5 новейшими встраиваемыми технологиями глубокого обучения!

nlu.load('bert albert elmo electra xlnet').predict(youData)

Однострочное распознавание именованных сущностей (NER)

nlu.load('ner').predict('That was easy')

Однострочная часть речи (POS)

nlu.load('pos').predict('The fastest way for SOTA POS results')

Хотите классифицировать бинарные настроения?

nlu.load('sentiment').predict('I love nlu!')

Особые настроения для твиттера?

nlu.load('sentiment.twitter').predict('@CKL-IT NLU rocks #nlp !')

А может для фильмов?

nlu.load(‘sentiment.imdb’).predict('The Matrix was pretty cool')

Это все, что вам нужно знать, чтобы достичь современных результатов НЛП!

Ваши данные могут быть:

  • Фреймворк Pandas
  • Фрейм данных Modin
  • Фрейм данных Spark
  • Строка Python
  • Список строк Python
  • Numpy массив строк

Имея под рукой такое количество моделей, вы ограничены только вашим воображением и тараном. Если ваша оперативная память достигает своих пределов, вы можете легко масштабироваться с помощью Spark NLP, поскольку каждая модель в NLU предоставляется Spark NLP. Это означает, что вы можете легко и быстро масштабировать свой конвейер NLU до сотен узлов в кластере Spark!

С помощью одной строки NLU и нескольких строк для построения вы можете создавать потрясающие графики, подобные приведенным ниже. Ознакомьтесь с другой нашей статьей о Medium, чтобы узнать, как легко создавать такие типы графиков для любого набора текстовых данных.

Другие статьи о NLU Medium

Подробнее о NLU