Крупномасштабные предварительно обученные языковые модели достигли самых современных результатов по многим тестам обработки естественного языка (NLP), но эти модели, требующие большого количества данных, имеют тенденцию испытывать затруднения в условиях обучения с небольшим количеством кадров, где доступны только ограниченные данные обучения. Чтобы решить эту проблему, команда из Массачусетского университета в Амхерсте и Google Research предложила самообучение с расширением задач..