Что вы получите от этого?

  • Простой способ создания «сред» Python, которые представляют собой «песочницы» из различных пакетов библиотеки, которые вы можете настроить самостоятельно. Среды можно создавать и быстро разрушать по мере необходимости.
  • Файл установки, содержащий все основные библиотеки / пакеты Python для машинного обучения, глубокого обучения и компьютерного зрения.
  • Возможность создавать записные книжки Jupyter для запуска вашего кода Python и иметь возможность переключаться между различными средами в ваших записных книжках.

Установка Conda

Для начала установите Anaconda (см. Https://docs.anaconda.com/anaconda/install/mac-os/) и убедитесь, что инициализатор полностью инициализирует вашу среду.

Что такое Анаконда?

Anaconda - это менеджер пакетов для Python, который упрощает добавление / удаление пакетов и создание настраиваемых «сред», которые похожи на изолированные друг от друга песочницы. Возможно, вы также слышали о pip для python, но я предпочитаю Anaconda, потому что он также является оболочкой для pip и имеет больше возможностей.

Проверка

После установки Anaconda (или для краткости Conda) вы можете убедиться, что у вас настроена среда по умолчанию и настроен инструмент командной строки:

conda env list

Вы должны увидеть что-то вроде:

# conda environments:
#
base                  *  /anaconda3

Установка пакета

Затем создайте в своей рабочей области новую папку с именем dl (для глубокого обучения).

Зайдите в вашу вновь созданную папку:

cd dl

Скопируйте и вставьте этот YAML в новый файл с именем requirements.yml:

name: dl
# conda env create -f requirements.yml
# then conda activate dl
# to remove, simply do conda env remove -n dl
channels:
- anaconda # default one
- pytorch # necessary for pytorch and torchvision
dependencies:
- python=3.7
- matplotlib=3.0.1
- nb_conda
- numpy=1.15.2
- pip # needed to install pip dependencies below
- pytorch
- torchvision
- scipy=1.1.0
- tensorboard
- pip:
  - scikit-learn==0.20.0
  - opencv-contrib-python==4.0.0.21

Обратите внимание, что при этом устанавливаются следующие элементы:

  • Python 3.7 - на момент публикации это последняя основная версия Python.
  • PyTorch - библиотека глубокого обучения, разработанная Facebook (альтернатива Tensorflow, которую некоторым легче освоить)
  • Numpy / Scipy - библиотеки численных вычислений / научной обработки. Тензоры PyTorch и массивы Numpy переводимы.
  • Tensorboard - фреймворк для визуализации PyTorch и Tensorflow
  • Matplotlib - полезно для построения графиков
  • OpenCV - популярная библиотека компьютерного зрения с открытым исходным кодом
  • Scikit-Learn - библиотека с открытым исходным кодом для машинного обучения, не предполагающая глубокого обучения
  • NB_conda - это позволяет нам переключаться между средами Conda в наших записных книжках, когда мы переходим к созданию новой записной книжки Jupyter. Поскольку NB_conda зависит от Jupyter, он также установит Jupyter.

После сохранения указанного выше файла требований вы можете запустить:

conda env create -f requirements.yml

После установки среды запустите:

conda env list

чтобы убедиться, что он был установлен. Вы должны увидеть что-то вроде:

# conda environments:
#
base                  *  /anaconda3
dl                       /anaconda3/envs/dl

Обязательно активируйте среду перед ее использованием.

conda activate dl

Чтобы протестировать эту среду, попробуйте запустить оболочку python с помощью команды python и посмотрите, сможете ли вы сделать:

import torch
import matplotlib
import numpy as np
import cv2
import sklearn

Все эти команды импорта должны выполняться без ошибок. Выйдите из оболочки Python (ctrl-D), и в своем терминале bash вы также сможете запустить:

jupyter notebook

и начните использовать записные книжки Jupyter Lab. Когда вы нажмете кнопку «Создать», чтобы создать новую записную книжку, вы увидите:

Звездочка находится рядом с выбранной средой (нашей текущей), но вы можете легко переключаться между ними, выбрав другую.

Чтобы добавить больше библиотек в будущем, вы можете просто сделать

conda install <new library>

Чтобы удалить пакет, используйте conda uninstall ‹library_name› или pip uninstall ‹library_name› в зависимости от того, находится ли он под зависимостями верхнего уровня или под pip в файле YAML (например, conda uninstall tensorboard или pip удалить opencv).

Вот и все для установки! Мы успешно установили все компоненты, необходимые для компьютерного зрения и глубокого обучения с помощью OpenCV и PyTorch соответственно.

Начало работы с глубоким обучением и компьютерным зрением

Чтобы начать работу с PyTorch, ознакомьтесь с руководством по PyTorch: https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html

Обратите внимание, что на вашем Mac может не быть графического процессора NVIDIA (вы можете проверить, щелкнув значок Apple ›Об этом Mac и проверив, есть ли у вас карта NVIDIA GPU). В результате вы не можете использовать CUDA в PyTorch для обучения графическому процессору. Вам нужно будет провести только тренировку процессора, что медленнее, но все равно должно быть хорошо для наращивания. Чтобы получить доступ к графическим процессорам, попробуйте экземпляры Google Cloud или AWS Deep Learning, но будьте осторожны с затратами!

Мы также установили Tensorboard, который позволяет нам визуализировать наши модели: https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html

Если вас интересует OpenCV, посетите: https://www.pyimagesearch.com/category/opencv/

Удачи!