Следуя совету Джулии Эванс, я собираюсь писать о вещах, которые мне хотелось бы знать год назад.
Исследования машинного обучения иногда кажутся занятием, предназначенным только для интеллектуально превосходящих людей, в то время как нам, простым смертным, нравится их обрезка, когда они публикуют, а сообщество разработчиков открытого исходного кода реализует их.
Вам не нужна докторская степень
Этот миф был полностью развенчан для меня, когда я прошел курс fast.ai Практическое глубокое обучение для кодеров, версия 3. Итак, мой первый совет, сделайте это. Кроме того, этот пост Рэйчел Томас дает отличный совет тем, кто думает о аспирантуре.
Если что-то из приведенного ниже кажется тарабарщиной, fast.ai - хорошее место.
Советы для людей, желающих начать создавать / улучшать модели глубокого обучения.
Найдите интересующий вас набор данных
Вот хороший пост о том, где это найти. Постарайтесь не получить паралич анализа, просто выберите один. Вы не состоите в браке с выбранным вами набором данных, но вы должны его знать.
Здесь есть множество ресурсов, чтобы научиться визуализировать и анализировать набор данных.
Используйте Google Colab
Если вам нужен бесплатный доступ к графическому процессору, пожалуйста.
Если вы хотите знать, почему или настройка графического процессора становится неприятной.
Получите 100% точность на одном экземпляре ваших данных
Вместо того, чтобы тратить время на загрузку всех данных каждый раз, когда вы хотите проверить наличие ошибок, создайте крошечный набор данных только с одним экземпляром вашего набора данных и дополните его очень простой моделью.
Получите 100% точность примерно на 10% ваших данных
Как только вы сможете переобучить свою модель на одном экземпляре, начните использовать больше своих данных и попытайтесь переобучить ее, добавив больше слоев. На данный момент не используйте какую-либо регуляризацию (например, Dropout, L1 / L2 регуляризацию), это еще один совет по сохранению здравомыслия, чтобы вы знали, что ваша модель учится.
Добавьте все данные о тренировках
Если после добавления всех данных обучение занимает слишком много времени, оставьте его как эксперимент и продолжайте работу с 10% данных. Если вы переобучаете, когда добавляете больше слоев и все свои данные, вот пять шагов, чтобы уменьшить переобучение.
И на сегодня все, эти советы - одни из ценных драгоценных камней, о которых я хотел бы узнать раньше.
Если есть отзывы, дайте мне знать.
Спасибо за чтение
