Публикации по теме nlp

Публикации по теме 'nlp'

ВЗЛОМАЕМ ЧЕРНЫЙ ЯЩИК: как машины учатся быть расистами

РАННИЕ КОМПЬЮТЕРЫ были в основном просто большими калькуляторами, помогавшими нам обрабатывать большие числа. Однако сейчас компьютеры настолько мощны, что учатся самостоятельно принимать решения в быстро растущей области искусственного интеллекта. Но умные машины с искусственным интеллектом зависят от знаний, которыми они питаются. Ранее в этом году Microsoft усвоила этот урок на собственном горьком опыте, когда выпустила ИИ-бота для Twitter под названием Tay, который был обучен говорить..

Меняем «его» на «ее»: учим компьютеры английскому языку

Если бы вы преобразовали предложение Она проделала отличную работу в мужскую версию, вам было бы довольно легко придумать Он проделал отличную работу . Преобразование У нее очень хороший словарный запас! вероятно, тоже было бы легко, так же, как я дал ей пять звезд в качестве награды , это было бы естественно. Примечательно, что компьютер преуспевал в первом предложении, но ужасно терпел неудачу в последних двух. В этом посте я объясню, почему обработка языка удивительно сложна для..

Использование Weka и LibSVM для классификации текстовых данных

Метод опорных векторов (SVM) стал наиболее предпочтительным методом классификации текстовых данных, поскольку он обеспечивает самую высокую точность среди других методов. Но все лучшие реализации машин опорных векторов не поддерживают прямую классификацию текстовых данных. Однако мы можем использовать дополнительный инструмент для преобразования текстовых данных в числовое представление и использовать эти числовые данные в SVM. Weka Weka ( http://www.cs.waikato.ac.nz/ml/weka ) — это..

Пользовательский NER с использованием неконтролируемого подхода

Постановка проблемы: мне нужна модель, извлекающая сущности из текста. У меня нет аннотированных обучающих данных, у меня есть список примеров сущностей. Он должен быть хорошо масштабируемым в том смысле, что если я добавлю новый класс сущностей, он должен работать без огромных усилий, и, что не менее важно, сущности должны быть контекстным. Например: В предложении «У меня жар» лихорадка относится к классу сущностей симптом , в этом предложении «Это лекарство может вызвать..

Ускорьте вашу языковую модель глубокого обучения до 1000% с помощью адаптивного softmax, часть 1

Хотели бы вы ускорить выполнение задач языкового моделирования (LM) на 1000% почти без снижения точности? Недавняя статья Исследовательской группы ИИ Facebook (FAIR) , написанная Grave et al. (2017) , названный Эффективное приближение softmax для графических процессоров , показывает, как можно добиться значительного ускорения в одном из наиболее трудоемких аспектов языкового моделирования - этапе softmax, требующем больших вычислений, с помощью их адаптивного softmax ...

Анализатор письменного общения — оценка удобочитаемости

При написании некоторого контента также всегда необходимо знать свою аудиторию. Интенсивность и глубина нашего письма должны соответствовать языковой зрелости читателя или контексту. Представьте себе компанию, выпускающую свой годовой отчет, в котором есть жаргон социальных сетей, или кого-то, кто пытается научить детей начальной школы командной работе с выдержками из Harvard Business Review! Это не очень хорошо работает, верно? Независимо от содержания, которое необходимо донести,..

ChefAI

ChefAI Соавторы: Гаган Кошик, Сэмюэл Йебоа, Уилл Уортингтон, Сэмюэл Очоа, Кларк Пун, Вигнеш Кришнамурти, Дипанши Шарма Github: https://github.com/willworthington/ChefAI ВВЕДЕНИЕ В этой статье мы представляем наш подход к созданию новых кулинарных рецептов с использованием модели неконтролируемого обучения для создания рецептов. Наше исследование сосредоточено в первую очередь на использовании GAN и NLP для создания текстовых ингредиентов и рецептов. Мы создали список..