Самоконтроль - это способ обучения моделей изучению самореферентных структур. И это довольно успешно.
В качестве примера ссылки на себя из области изображения в этой визуализации.
В текстовой области архитектура BERT (https://arxiv.org/pdf/1810.04805.pdf) использует
- Предсказание случайно замаскированных слов из контекста
2. Предсказание приговора neghbourhood в двух предложениях.
В результате изучается самореференционная структура, которую можно использовать для любой конкретной задачи с небольшим количеством меток или без меток.
Однако в самоконтроле ограничением является только творчество. В текстовой области (и в любой другой области) может быть длинный список таких самоконтролируемых задач.
- Прогнозируйте полные слова в предложении по их частично замаскированному входному содержанию, например «Я хочу, чтобы ва *** пить» из списка слов, начинающихся с «ва», например вафля, официант, стенка.
2. Предскажите «что если» в предложении, например, Что находится в ячейке 1, если в ячейке 2 мы имеем want - в частичном предложении ' вода для питья '
3. Предскажите в беспорядочном мешке слов из 2 предложений - выпей воды хочу, чтобы я съел гамбургер, а теперь ты - сгруппируйте слова, если они произошли из одного предложения и в каком месте.
4. Правильная последовательность нескольких предложений, прочитанных из абзаца.
5. Найдите набор слов в предложении без пробелов - «iwantwatertodrink».
Спасибо за прочтение.
