В этом информационном бюллетене вы узнаете обо всех последних событиях в области машинного обучения и искусственного интеллекта, произошедших за последнюю неделю. Как мы все знаем, эта область развивается с головокружительной скоростью, и трудно успеть за всеми событиями. Я надеюсь, что этот информационный бюллетень поможет исследователям, отраслевым практикам или любому Любопытному Джорджу быть в курсе событий :)
Я разбил новости на разные разделы в зависимости от типа контента, не стесняйтесь переходить к тем разделам, которые вам будут интересны.
Генерация текста и контроль качества на мобильных устройствах
Предварительно обученные языковые модели, такие как BERT и GPT-2, теперь реализованы с использованием Swift Core ML и могут быть перенесены на устройства iOS, чтобы продемонстрировать возможности инструментов НЛП нового поколения на мобильных устройствах без сети.
Зачем использовать квантильную регрессию?
Квантильная регрессия - это метод регрессии, который пытается смоделировать медианное значение, режим или другие квантили распределения данных. В этой ветке Twitter @ jeremystan рассказывает о сильных сторонах квантильной регрессии и о том, когда ее следует предпочесть другим методам регрессии.
Дело в докторе философии ..
Хотя получение докторской степени - захватывающий вариант карьеры для многих, у него есть свои проблемы, которые необходимо чаще обсуждать на публике.
Недавно аспирант покончил с собой из-за нарушения академической дисциплины. Его историю необходимо услышать, поскольку она учит нас некоторым трудностям, с которыми они сталкиваются. Кроме того, даже если такие невзгоды случаются, есть другие варианты, которые следует рассмотреть, например, отказаться от докторской степени или преобразовать ее в магистратуру. Недавно студентка написала в Твиттере о своем решении преобразовать докторскую степень в магистратуру.
Беседы и ресурсы
Было множество конференций, которые загружали свои доклады. Я выбрал лишь несколько из них для краткости.
PyData London 2019 - YouTube - www.youtube.com
На PyData London 2019 было несколько интересных бесед о воспроизводимости записных книжек Jupyter и тестировании для науки о данных. Эти темы оказались обязательными для специалистов по данным. Проверьте их.
SciPy 2019: Конференция по научным вычислениям с Python - YouTube - www.youtube.com
Я настоятельно рекомендую посмотреть отличный программный доклад Рэйчел Томас о Новой эре в НЛП на Scipy 2019, где она рассказывает о последних достижениях в области НЛП и их неизбежных / текущих угрозах.
SPACY IRL 2019 - YouTube - www.youtube.com
Рассказы Себастьяна Рудера о трансферном обучении охватывают широкий спектр методов использования предварительно обученных моделей для адаптации к другой задаче.
Кроме того, видео Питера Баумгартнера о прикладном НЛП охватывает проблемы, связанные с реальными приложениями НЛП, и то, как эффективно сообщать о ходе реализации вероятностных проектов, таких как НЛП.
Центр вычислительной статистики и машинного обучения - 77 фотографий - Колледж и университет - Университетский колледж Лондона, Гауэр-стрит, WC1E 6BT, Лондон, Соединенное Королевство - www.facebook.com
12-дневное мероприятие, организованное Университетским колледжем в Лондоне, охватывает широкий спектр тем машинного обучения, начиная от оптимизации и байесовского вывода до глубокого обучения, обучения с подкреплением и гауссовских процессов. Они организованы как учебные пособия, предполагающие базовые знания математики и статистики. Эти видео познакомят вас с основами работы в этих предметных областях.
GitHub - benedekrozemberczki / awesome-graph-classification: сборник важных учебных материалов по внедрению, классификации и представлению графов с реализациями. - github.com
Сборник важных статей по внедрению, классификации и представлению графов с реализациями. - Benedekrozemberczki / удивительная-граф-классификация
Статьи
[1907.09595] MixNet: смешанные по глубине сверточные ядра
Глубинные свертки уменьшили количество операций и параметров за небольшую плату за точность. Однако в этой статье авторы исследуют несколько размеров ядра и обнаружили, что точность улучшилась. Далее они исследовали свой алгоритм с AutoML, чтобы разработать MixNet, который превосходит предыдущие модели.
[1907.04829] БАМ! Рожденные заново многозадачные сети для понимания естественного языка
В этой статье авторы расширяют возможности сетей Born-Again, в которых сеть учителей обучает сеть учеников совершенствованию ее производительности при решении задачи. Они дополнительно включили методы отжига учителей, чтобы сеть учеников превосходила сеть учителей в решении многозадачных задач.
[1907.06558] Решение проблемы отложенной обратной связи для непрерывного обучения с помощью нейронных сетей при прогнозировании CTR
При обучении моделей CTR, которые помогают прогнозировать эффективность медийной рекламы, возникают проблемы с получением положительных отзывов от пользователей, поскольку они часто задерживаются. В этой статье авторы рассмотрели проблему отложенной обратной связи, объединив различные функции потерь, и сообщили о приросте дохода на тысячу запросов (RPMq) на 55%.
Инструменты
MAPLE: эффективный алгоритм прогнозирования наряду с интерпретируемостью с использованием ансамблей деревьев. В статье Модельные локальные эксперименты под наблюдением авторы модифицировали древовидные ансамбли, чтобы найти локальные объяснения интерпретируемости без ущерба для точности. Они смогли продемонстрировать превосходную точность набора данных игрушек по сравнению с RandomForest и лучшую интерпретируемость, чем LIME. Код можно найти здесь.
GitHub - huggingface / pytorch-transformers: 👾 Библиотека современных предварительно обученных моделей для обработки естественного языка (NLP) - github.com
👾 Библиотека современных предварительно обученных моделей для обработки естественного языка (NLP) - huggingface / pytorch-transformers
GitHub - microsoft / AzureML-BERT: Комплексные рецепты для предварительного обучения и точной настройки BERT с использованием службы машинного обучения Azure - github.com
End-to -end рецепты для предварительного обучения и тонкой настройки BERT с помощью службы машинного обучения Azure - microsoft / AzureML-BERT
Блоги и статьи
Прорыв в понимании темпорального выражения
Команда x.ai использовала «» нейронный машинный перевод для решения своей проблемы извлечения временных выражений из электронных писем для автоматизации планирования встреч. Они упомянули, что традиционный многослойный подход НЛП пострадал из-за того, что дал им достаточно хороших результатов, чтобы исключить человека в цикле. Однажды они увидели точность до 93%, а затем переключились на архитектуру кодер-декодер с использованием BERT в качестве кодировщика.
Автокодеры с накоплением капсул
В предыдущих капсульных сетях объекты на изображении идентифицировались сначала путем идентификации его частей. Назначение деталей объектам (также известное как маршрутизация) выполнялось для идентификации объекта. Это оказалось неэффективным с точки зрения вычислений и памяти и сделало невозможным масштабирование до более крупных изображений. Однако в последней версии под названием Stacked Capsule Autoencoders они пытались вывести части из объектов, исключая этап итеративной маршрутизации. Кроме того, автокодеры с накоплением капсул - это самоконтролируемый алгоритм, в котором он пытается сгенерировать объект из частей, которые улучшили бы его обобщение.
Примечания NAACL 2019: Практические идеи для приложений НЛП
В этом сообщении в блоге Никита Жильцов рассказывает о «» последних достижениях в области НЛП, которые были представлены на NAACL 2019. Это обстоятельная статья, охватывающая различные темы, такие как трансферное обучение для различных задач, толерантные к ошибкам вложения слов, контекстные вложения слов и крестики. языковые вложения слов. Это отличное чтение, чтобы понять последние достижения в НЛП.
9 советов по обучению молниеносных нейронных сетей в Pytorch
В этом сообщении в блоге автор предлагает различные методы повышения скорости обучения нейронной сети в PyTorch. Эти методы включают загрузчики данных, обучение со смешанной точностью, несколько графических процессоров и некоторые другие.
Дайте мне знать, если у вас есть предложения по улучшению информационного бюллетеня. Вы можете написать мне на [email protected]. Подпишитесь, чтобы быть в курсе последних тенденций в области искусственного интеллекта.
