Трансферное обучение и переподготовка

Трансферное обучение и переподготовка

Проще говоря, трансферное обучение — это подход к машинному обучению, при котором модель, уже обученная на определенном наборе данных и разработанная для конкретной задачи, повторно используется в качестве отправной точки для обучения на другом наборе данных для другой задачи. Трансферное обучение является популярным подходом к обучению моделей, а предварительно обученные модели компьютерного зрения и обработки естественного языка обычно используются в качестве отправной точки для конкретных пользовательских приложений. В Modzy, безопасной ИИ-платформе ModelOps, наши модели предназначены для работы из коробки для ваших конкретных приложений, но мы также предоставляем возможность переобучения через ЦП, используя трансферное обучение и адаптацию предметной области, чтобы наши модели еще больше адаптированы к вашим конкретным приложениям.

Почему это важно

Трансферное обучение работает на удивление хорошо во множестве приложений, ориентированных на компьютерное зрение и обработку естественного языка. Трансферное обучение и адаптация предметной области относятся к ситуациям, когда то, что было изучено в одних условиях, используется для улучшения обобщения в других условиях. Всегда существует несоответствие распределения между исходным и целевым распределением данных, но причина несоответствия отличается от одного параметра к другому. Подходы к трансфертному обучению и адаптации предметной области предназначены для решения этой проблемы. Проблема, которую нужно решить здесь, является сложной, потому что одно из основных предположений в науке о машинном обучении заключается в том, что обучающие и тестовые данные задают одно и то же распределение вероятностей. Однако в реальных приложениях это не так. Таким образом, важно использовать существующие исходные знания, которыми обладает модель после обучения исходной задаче, для решения другой целевой задачи, учитывая, что источник и цель могут демонстрировать несоответствие распределения.

Основное предположение, сделанное для трансферного обучения и адаптации предметной области, состоит в том, что исходная и целевая области различаются с точки зрения предельного распределения данных, но помеченные наборы данных для двух областей одинаковы. Также бывают случаи, когда предельные распределения исходных и целевых наборов данных связаны, но исходные и целевые задачи имеют разные помеченные наборы данных. В зависимости от конкретного приложения передаваемые знания могут быть в форме экземпляров данных, представлений функций или параметров модели. В нашем конкретном решении мы фокусируемся на функциях, полученных при обучении модели на исходном наборе данных для исходной задачи, а затем адаптируем эти функции к новому целевому набору данных и целевой задаче. Например, если у нас есть модель обнаружения объектов на основе YOLO для обнаружения зданий в определенном наборе данных, функции, изученные этой моделью, могут быть использованы в целевом наборе данных для обнаружения зданий в наборе данных с другим распределением пикселей; это делается путем выполнения ограниченного переобучения для нескольких слоев модели YOLO.

Подход Modzy к трансфертному обучению и переподготовке

В Modzy мы подходим к трансферному обучению и адаптации предметной области с точки зрения «обучения для обучения». Способность учиться учиться, присущая людям и животным, подразумевает, что по мере того, как биологическая когнитивная система приобретает больше опыта, она лучше справляется с новыми задачами. Мы обучаем наши модели на больших наборах данных, состоящих из точек данных из разных распределений вероятностей. Наша цель состоит в том, чтобы наши предварительно обученные модели имели очень низкую ошибку обобщения. Кроме того, мы предоставляем возможность индивидуального переобучения некоторых наших моделей на пользовательском наборе данных. Наш вариант переобучения происходит при следующих условиях:

• Ограниченное время и вычислительная мощность. Переобучение наших моделей должно занять короткое время и потребовать лишь ограниченных вычислительных ресурсов, но должно повысить производительность на пользовательском наборе данных.
• Переобучение проводится в соответствии с наукой, лежащей в основе трансферного обучения на основе признаков и адаптации предметной области. Например, в модели глубокого обучения, используемой для повторного обучения, большинство слоев будет заморожено, а повторное обучение модели повлияет только на веса в нескольких слоях, чтобы ранее изученные функции использовались более эффективно для новое приложение и набор данных.

Что это значит для вас

Непрерывное обучение или обучение обучению является важной темой в области искусственного интеллекта. Адаптация предметной области и трансферное обучение являются важными новыми решениями в области непрерывного обучения для задач компьютерного зрения и обработки естественного языка. В Modzy мы разрабатываем наши модели, чтобы они не только хорошо работали с рядом наборов данных и приложений, но также хорошо переносились в очень специфические приложения, для которых могут не существовать большие наборы данных. Мы используем ограниченные варианты переобучения, основанные на переносе обучения и адаптации предметной области, чтобы преодолеть разрыв в распределении вероятностей между исходным и целевым наборами данных, чтобы минимизировать влияние доменных изменений в распределении изученных признаков. Таким образом, мы можем уменьшить ошибку обобщения при применении модели к различным задачам.