Недавняя разработка крупных базовых моделей, таких как BERT, GPT-3 MAE и т. д., привела к изменению парадигмы ИИ. Такие модели извлекают выгоду из предварительного обучения на больших данных в масштабе и продемонстрировали революционную производительность и отличные возможности передачи для различных последующих задач. Отсутствие единой теоретической базы…
