GluonNLP [7] только что был улучшен. Версия 0.7 включает базовую модель BERT, предварительно обученную на крупномасштабном корпусе, производительность которой сопоставима с большой моделью BERT из оригинальной статьи BERT. Другие основные моменты включают больше версий BERT, обученных на специализированных корпусах, новые модели (ERNIE, GPT-2, ESIM и т. Д.) И другие наборы данных. Полные примечания к выпуску можно найти здесь: https://github.com/dmlc/gluon-nlp/releases.

После Большого взрыва BERT (или, проще говоря, внедрения BERT в НЛП) сообщество было переполнено различными вариациями BERT для конкретных наборов данных и сценариев использования. Каждый из этих вариантов оказался чрезвычайно полезным для своих конкретных приложений, от SciBERT, модели, которая значительно улучшила BERT для использования с научными публикациями и корпусами, до BioBERT [5], которая значительно улучшает исходную модель для использования с биомедицинскими текстовыми данными. Одновременно этот внезапный приток новых моделей подлил масла в образный огонь модернизации и улучшения модели BERT.

По сути, это наше главное достижение в этом выпуске. Наша базовая модель BERT была радикально обновлена, она была предварительно обучена на трех новых корпусах объемом 60 гигабайт текстовых данных: OpenWebText Corpus, BooksCorpus и Wikipedia на английском языке. Из-за большего корпуса точность этой базовой модели (и я повторяю * base *) выросла и превзошла даже большую модель, представленную в исходной статье, в шести из семи задач. Ознакомьтесь с приведенной ниже таблицей для получения полных результатов (выделенное жирным шрифтом число - лучшее из трех сравниваемых).

Кроме того, мы также обеспечили легкий доступ для решения вашей проблемы адаптации предметной области, сделав загрузку модели SciBERT, модели BioBERT, модели ClinicalBERT [3] такой же простой, как одна строка кода, при этом предоставляя целый ряд новых модели: модель ERNIE [1], языковая модель GPT-2 [6] и модель ESIM [2], также все доступные с помощью одной строчки кода.

Мы представили больше вспомогательных скриптов для тех, кто желает настроить BERT так, как им удобно, заполнив некоторые из пробелов, которые у нас были ранее, с помощью хорошо прокомментированного кода: мы создали прекрасную- сценарий настройки для NER (распознавание именованных объектов) в наборе данных CoNLL2003, сценарий точной настройки для китайского набора данных XNLI и сценарий точной настройки для классификации намерений и маркировки слотов в наборах данных ATIS и SNIPS. Независимо от вашей последующей задачи, мы предоставляем вам базовый набор инструкций и подходящий инструмент для работы, которые полностью настраиваются в соответствии с вашими потребностями в НЛП. Но на этом хорошие новости не заканчиваются.

В дополнение к моделям и скриптам мы выпустили наборы данных, которые сочетаются с этими моделями, чтобы вы могли тщательно тестировать, оценивать и адаптировать их по своему желанию. . Мы включили в последний выпуск CoLA, SST-2, MRPC, STS-B, MNLI, QQP, QNLI, WNLI, наборы данных RTE для NLU, CR и MPQA, два набора данных анализа тональности, а также ATIS и SNIPS для классификация намерений тестирования и маркировка слотов.

Так чего же вы ждете? Выбирайтесь и используйте эти инструменты; счастливого НЛП!

Начало работы с GluonNLP

Чтобы начать работу с BERT с использованием GluonNLP, посетите наш учебник, в котором рассматривается код для тонкой настройки BERT для решения нескольких задач. Вы также можете ознакомиться с нашим зоопарком моделей BERT, где можно найти сценарии предварительного обучения BERT и сценарии тонкой настройки для нескольких наборов данных.

Чтобы узнать о других новых функциях, добавленных в GluonNLP, пожалуйста, прочтите наши примечания к выпуску здесь. Мы работаем над множеством новых функций и еще больше ждем следующего выпуска.

-

Авторы: Фарамарц Мунши, Хайбин Линь
Редактор: Томас Дельтейль

-

Благодарности

Мы благодарны сообществу GluonNLP за большой вклад: @davisliang @paperplanet @ThomasDelteil @Deseaus @MarisaKirisame @Ishitori @TaoLv @ basicv8vc @rongruosong @ crcrpar @ mrchypark @ xwind-h @faramarzmunshi @leezu @szha @imgarylai @xiaotinghe @hankcs @ sxjscience @ hetong007 @ bikestra @ haven-jeon @cgraywang @ lstoninzhang @ astoninzhang @ junrushao1994

использованная литература

[1] Sun, Yu, et al. ERNIE: Расширенное представительство через интеграцию знаний, 2019 г .; [Http://arxiv.org/abs/1904.09223 arXiv: 1904.09223]
[2] Цянь Чен, Сяодань Чжу, Чжэньхуа Лин, Си Вэй, Хуэй Цзян: Улучшенный LSTM для естественного языкового вывода , 2016; [Http://arxiv.org/abs/1609.06038 arXiv: 1609.06038].
[3] Кексин Хуанг, Яан Альтосаар: ClinicalBERT: моделирование клинических заметок и прогнозирование повторной госпитализации, 2019; [Http://arxiv.org/abs/1904.05342 arXiv: 1904.05342].
[4] Из Бельтаги, Арман Кохан: SciBERT: Предварительно обученные контекстуализированные вложения для научного текста, 2019; [Http://arxiv.org/abs/1903.10676 arXiv: 1903.10676].
[5] Джинхёк Ли, Вонджин Юн, Сондон Ким, Донхён Ким, Сонкю Ким, Чан Хо Со: BioBERT: предварительная версия. -обученная модель представления биомедицинского языка для биомедицинского анализа текста , 2019; [Http://arxiv.org/abs/1901.08746 arXiv: 1901.08746].
[6] Алек Рэдфорд, Джеффри Ву, Ревон Чайлд, Дэвид Луан, Дарио Амодеи, Илья Суцкевер: Языковые модели - это неконтролируемая многозадачность. Учащиеся ,» 2019; [Https://www.techbooky.com/wp-content/uploads/2019/02/Better-Language-Models-and-Their-Implications.pdf].
[7] Цзянь Го, Хэ Хэ , Тонг Хе, Леонард Лаузен, Му Ли, Хайбинь Линь, Синцзянь Ши, Чэнгуанг Ван, Цзюнюань Се, Шэн Чжа, Астон Чжан, Ханг Чжан, Чжи Чжан, Чжунюэ Чжан: GluonCV и GluonNLP: глубокое обучение компьютерному зрению и естественному языку. Обработка », 2019; [Http://arxiv.org/abs/1907.04433 arXiv: 1907.04433].