- AI-KD: состязательное обучение и неявная регуляризация для извлечения самопознания (arXiv)
Автор: Хёнмин Ким, Сонхо Со, Сонхён Бэк, Дэхван Ким, Даун Чжон, Хансан Чо, Чунмо Ким.
Аннотация: Мы представляем новый состязательный метод дистилляции самопознания со штрафом, названный состязательным обучением и неявной регуляризацией для дистилляции самопознания (AI-KD), который упорядочивает процедуру обучения с помощью состязательного обучения и неявной дистилляции. Наша модель не только выделяет детерминированные и прогрессивные знания, полученные из предварительно обученных и предсказательных вероятностей предыдущей эпохи, но также передает знания о детерминированных прогнозных распределениях с использованием состязательного обучения. Мотивация заключается в том, что методы дистилляции самопознания упорядочивают прогностические вероятности с помощью мягких целей, но точное распределение может быть трудно предсказать. В нашем методе используется дискриминатор, чтобы различать распределения между предварительно обученными моделями и моделями учащегося, в то время как модель учащегося обучена обманывать дискриминатор в обученной процедуре. Таким образом, модель учащегося может не только изучить прогностические вероятности предварительно обученной модели, но и согласовать распределения между предварительно обученной и студенческой моделями. Мы демонстрируем эффективность предлагаемого метода с сетевыми архитектурами на нескольких наборах данных и показываем, что предлагаемый метод обеспечивает более высокую производительность, чем современные методы.
2. Сколько данных стоит дополнений? Исследование законов масштабирования, инвариантности и неявной регуляризации (arXiv)
Автор: Джонас Гейпинг, Мика Голдблюм, Гаутами Сомепалли, Равид Шварц-Зив, Том Гольдштейн, Эндрю Гордон Уилсон.
Аннотация. Несмотря на явные преимущества увеличения данных в производительности, мало что известно о том, почему они так эффективны. В этой статье мы распутываем несколько ключевых механизмов, посредством которых работает дополнение данных. Устанавливая обменный курс между дополненными и дополнительными реальными данными, мы обнаруживаем, что в сценариях тестирования вне распределения дополнения, которые дают выборки, которые разнообразны, но не согласуются с распределением данных, могут быть даже более ценными, чем дополнительные обучающие данные. Более того, мы обнаружили, что дополнения данных, которые способствуют инвариантности, могут быть более ценными, чем одна только инвариантность, особенно на обучающих выборках малого и среднего размера. Следуя этому наблюдению, мы показываем, что аугментации вызывают дополнительную стохастичность во время обучения, эффективно сглаживая картину потерь.
