Публикации по теме nlp

Публикации по теме 'nlp'

Начало работы с обработкой естественного языка

Обработка естественного языка - это подраздел искусственного интеллекта, который помогает обрабатывать и анализировать естественный язык, такой как текст, речь и т. Д. В этой статье я попытаюсь объяснить различные методы, используемые в НЛП. Мы можем разделить весь конвейер НЛП на 3 части Предварительная обработка текста Функциональная инженерия Построение и оценка модели В этой статье я расскажу о первых двух частях, а потом вы сможете построить свою модель на их основе...

Google Ассистент

Эй, Гугл! Сыграй мне песню Йоасоби! Если бы мы не были ограничены в свободном перемещении по улице из-за этой ситуации с пандемией, я бы провел время с Google Smart Speaker в комнате секретаря моей студенческой организации в кампусе, отдыхая вместе с моим другом и прося умный динамик играть. нам немного музыки. Этот умный динамик на самом деле представляет собой динамик с «мозгом», посаженным внутри. Следовательно, он умный . Вот почему я могу попросить его что-нибудь сделать,..

Основы NLP: удаление стоп-слов и нормализация текста с использованием NLTK и spaCy в Python

Обзор Узнайте, как удалить стоп-слова и выполнить нормализацию текста в Python — важное чтение по обработке естественного языка (NLP) Мы рассмотрим различные методы удаления стоп-слов, а также поговорим о методах нормализации текста, таких как стемминг и лемматизация. Примените свою теорию на практике, выполнив удаление стоп-слов и нормализацию текста в Python с помощью популярных библиотек NLTK, spaCy и Gensim. Введение Вам не нравится, насколько удивительно разнообразна Обработка..

Введение в обработку естественного языка - Разработка функций

Иногда из-за напряженности слов они могут отображаться как разные токены. Методы НЛП могут справиться с проблемой и уменьшить каждый токен слова до его корневого слова. Stemming - это удаление концов слов, где конец сигнализирует о деривационных изменениях в слове. Выделение корней - это грубый и эвристический процесс, который, возможно, не имеет смысла как настоящие английские слова. Однако реализовать это несложно. Лемматизация похожа на выделение корней и заключается в изучении..

Резюме: Интерпретация нейронных сетей с ближайшими соседями (EMNLP-ws 2018)

Авторы: Эрик Уоллес , Ши Фэн , Джордан Бойд-Грабер . [1809.02847] Интерпретация нейронных сетей с ближайшими соседями Аннотация: Методы интерпретации локальных моделей объясняют отдельные прогнозы, присваивая значение важности каждому… arxiv.org Они обсуждают ряд ограничений для интерпретаций, основанных на значимости. В частности, достоверность нейронной сети может быть неоправданно высокой, даже если входные данные лишены какой-либо..

Уменьшение размеров путем отбеливания BERT / Roberta.

С момента появления BERT в качестве PLM (предварительно обученной языковой модели) в конце 2018 года все мы пробовали разные методологии для использования ее для различных последующих задач NLP, таких как Ответ на вопрос (SQuAD v1.1), вывод естественного языка ( MNLI), семантическое текстовое сходство (STS) и т. Д. Мы часто используем встраивание текста для семантического поиска, кластеризации или анализа перефразирования. Но BERT для таких задач не подходит. После введения..

Можно ли научить машины правильно различать кредиты и кредитные карты ?

Экономия времени — это то, что машины делают лучше всего. Представьте, что у вас есть суперсила, позволяющая за считанные секунды найти интересующий вас материал среди множества случайных постов. Это именно то, к чему стремился мой проект, используя передовые инструменты обработки естественного языка для правильного определения тем, к которым относится сообщение Reddit. Для этого проекта были выбраны две очень похожие темы («Кредиты» и «Кредитные карты»). Это должно было создать модель,..