Системы машинного обучения справились с широким спектром сложных проблем в самых разных областях, от компьютерного зрения до распознавания речи и обработки естественного языка, и тем не менее вопрос о том, как разработать системы, способствующие обучению, которые соответствуют гибкости и универсальности человеческого мышления, остается недосягаемым. Это вызвало широкую дискуссию о том, что может быть «недостающий ингредиент» в современном машинном обучении, и ряд гипотез выдвинули как..

Я рад, что сегодня у меня есть Колин Раффел . Колин в настоящее время работает научным сотрудником в Google. Исследовательские интересы Колина в основном лежат в таких областях, как обучение с ограниченными размеченными данными, трансферное обучение, особенно из контекста НЛП. Колин также является одним из первых авторов основополагающей статьи Изучение ограничений передачи обучения с помощью унифицированного преобразователя текста в текст (T5). Среди других работ Колина мне больше..

В этой статье я расскажу вам, как я разработал систему распознавания эмоций, используя речь в качестве входных данных, а затем увеличил производительность с помощью самоконтролируемых представлений, обученных с помощью Contrastive Predictive Coding (CPC). Точность результатов улучшилась с 71% до 80% при использовании CPC. Это значительное относительное снижение ошибки на 30%. Посмотреть полный код здесь . Кроме того, я протестировал различные архитектуры модели, обученной с..

Самоконтролируемое обучение, полу-контролируемое обучение, предварительное обучение, самообучение, надежные представления и т. Д. - вот некоторые из самых горячих терминов в настоящее время в области компьютерного зрения и глубокого обучения. Недавний прогресс в самообучении поразителен. С этой целью исследователи FAIR разработали новую статью , в которой представлен новый метод изучения надежных представлений изображений. Вступление Одна из наиболее важных целей самостоятельного..

Самоконтроль - это способ обучения моделей изучению самореферентных структур. И это довольно успешно. В качестве примера ссылки на себя из области изображения в этой визуализации. В текстовой области архитектура BERT ( https://arxiv.org/pdf/1810.04805.pdf ) использует Предсказание случайно замаскированных слов из контекста 2. Предсказание приговора neghbourhood в двух предложениях. В результате изучается самореференционная структура, которую можно использовать для..