Обрезка - это более старая концепция в области глубокого обучения, восходящая к статье Яна Лекуна 1990 года Оптимальное повреждение мозга. В последнее время к нему возобновился интерес, и он становится все более важным инструментом для специалистов по анализу данных. Возможность развертывания значительно меньших и более быстрых моделей привлекла большую часть внимания, при этом минимально влияя (а в некоторых случаях улучшая) такие показатели, как точность.
Отсечение - это процесс удаления весовых соединений в сети для увеличения скорости вывода и уменьшения размера хранилища модели. В общем, нейронные сети очень параметризованы. Обрезку сети можно рассматривать как удаление неиспользуемых параметров из чрезмерно параметризованной сети.
В основном обрезка действует как поиск архитектуры в сети. Фактически, при низком уровне разреженности (~ 40%) модель обычно обобщает немного лучше, поскольку обрезка действует как регуляризатор. На более высоких уровнях обрезанная модель будет соответствовать базовой. Если продолжить, модель начнет обобщать хуже, чем базовая, но с более высокой производительностью. Например, хорошо обрезанная модель ResNet-50 может почти соответствовать базовой точности ImageNet при 90% разреженности (90% весов в модели равны нулю).
Существует множество алгоритмов и гиперпараметров на выбор при обрезке. Это может затруднить понимание, с чего начать или что исправить, если что-то пойдет не так. В этой электронной книге мы даем обзор лучших практик обрезки модели, чтобы упростить процесс и гарантировать успех. Кроме того, мы включаем подробное пошаговое руководство по постепенному сокращению масштабов (алгоритм сокращения, который мы и исследовательское сообщество сочли наиболее эффективным) и связанных с ним гиперпараметров.
Чтобы получить подробный обзор обрезки, загрузите электронную книгу Обрезка для успеха здесь.
[Подробнее из Neural Magic: Neural Magic запускает высокопроизводительный механизм вывода и набор инструментов для процессоров]
Нейронная магия: искусственный интеллект без оборудования, или устранение аппаратных барьеров, сдерживающих развитие машинного обучения. Neural Magic делает глубокое обучение простым, доступным и доступным для всех. В рамках этого следующего грандиозного открытия машинного обучения специалисты по обработке данных зададут более серьезные вопросы, поставят под сомнение нормы и представят новый класс приложений искусственного интеллекта, живущих на грани воображения.
