BERT ( B двунаправленный E кодировщик R презентации от T преобразователей), возможно, является наиболее заметным предварительным обучением. модель в обработке естественного языка (NLP). Например, BERT поднял оценку с 72,8 до 80,5 в тесте GLUE для 9 различных задач НЛП - это крупнейшее достижение за последнее время [6]. Хотя BERT впечатляет, к сожалению, не было реализаций с открытым исходным кодом, которые одновременно включить масштабируемое предварительное обучение с..

Одно из главных требований MXNet - это скорость! Особенно в распределенном режиме. Итак, я решил провести собственное расследование, чтобы ответить на вопрос: можно ли линейно масштабировать MXNet в распределенном режиме? Отказ от ответственности Чтобы понять, как именно проводились измерения, необходимо ознакомиться с материалом моей предыдущей статьи: Подробное объяснение распределенного обучения MXNet или, по крайней мере, иметь представление о том, как распределенное обучение..