Публикации по теме deep-learning

Публикации по теме 'deep-learning'

БЕРТ, давай сделаем светлее

Двунаправленные представления кодировщиков от преобразователей (BERT) – это метод обработки естественного языка, разработанный Google [1]. По очень простому объяснению, это предварительно обученная языковая модель, которая обучается на Википедии (2,5 миллиарда слов) + BookCorpus (800 миллионов слов)[2]. На основе BERT можно обучить глубокий двунаправленный преобразователь. BERT может видеть ВСЁ предложение по обе стороны от контекстного языкового моделирования слова и все слова почти..

Работа с фи-расхождением, часть 3 (машинное обучение)

Оценка псевдоминимального фи-расхождения для полиномиальной логистической регрессии со сложным планом выборки (arXiv) Автор: Елена Кастилья , Нириан Мартин , Леандро Пардо . Аннотация: В этой статье разрабатывается теоретическая основа, необходимая для изучения модели полиномиальной логистической регрессии для сложного плана выборки с псевдоминимальными оценками фи-дивергенции. На численном примере и имитационном исследовании предлагаются новые оценки параметра модели логистической..

Как получить векторы предложений?

В нескольких своих предыдущих сообщениях я обсуждал методы получения вложений слов, такие как SVD, word2vec или GloVe. В этом посте я сделаю абстракцию на уровень выше и расскажу о 4 различных методах, которые были предложены для встраивания предложений. Но сначала некоторые из вас могут спросить, зачем нам вообще нужен другой метод для получения векторов предложений. Поскольку предложения по существу состоят из слов, может быть разумным утверждать, что простое взятие суммы или среднего..

Переделка приложения SeeFood из «Силиконовой долины»

Переделка приложения SeeFood из «Силиконовой долины» Используйте Teachable Machine и Flutter для разработки приложения Jian Yang Я провел рождественские каникулы, пересматривая потрясающий комедийный сериал Силиконовая долина , в котором Цзянь Ян разработал мобильное приложение для классификации еды на «хот-дог» и «не хот-дог». Вот кусок сериала! Мой энтузиазм по поводу этого шоу побудил меня воссоздать прототип приложения, который в основном будет выглядеть следующим образом:..

Работа с непрерывностью Липшица, часть 1 (машинное обучение)

Кинетическая ланжевеновская выборка MCMC без градиентной липшицевой непрерывности — сильно выпуклый случай (arXiv) Автор: Тим Джонстон , Иосиф Литрас , Сотириос Сабанис . Аннотация: В этой статье мы рассматриваем выборку из логарифмически вогнутых распределений в гамильтоновой постановке, не предполагая, что целевой градиент является глобально липшицевым. Мы предлагаем два алгоритма, основанные на монотонных полигональных (прирученных) схемах Эйлера, для выборки из целевой меры и..

ЖЕСТКИЙ ОТРИЦАТЕЛЬНЫЙ МАЙНИНГ

ПРОСТОЕ ОБЪЯСНЕНИЕ ПОЧЕМУ НЕГАТИВНОГО МАЙНИНГА Жесткий отрицательный анализ — это метод, используемый в машинном обучении для повышения производительности моделей бинарной классификации. В этом методе модель обучается на наборе положительных и отрицательных примеров, а затем идентифицируются и добавляются примеры, в которых модель ошибается, т. е. ложноотрицательные результаты. к тренировочному набору как жесткие отрицательные примеры. Например, в задаче классификации..

Воспроизведение тренировочной эффективности YOLOv3 в PyTorch (Часть 1)

Часть 1: Сетевая архитектура и канальные элементы слоев YOLO Привет, меня зовут Хирото Хонда, инженер отдела исследований и разработок компании DeNA Co., Ltd. в Японии. В этой статье я делюсь деталями обучения детектора, которые реализованы в нашем репозитории PyTorch_YOLOv3 , исходный код которого был открыт DeNA 6 декабря 2018 года. В прошлый раз я представил наше репо и подчеркнул почему важно воспроизводить тренировочные показатели. На этот раз я хотел бы показать структуру..