Что вы получите от этого?
- Простой способ создания «сред» Python, которые представляют собой «песочницы» из различных пакетов библиотеки, которые вы можете настроить самостоятельно. Среды можно создавать и быстро разрушать по мере необходимости.
- Файл установки, содержащий все основные библиотеки / пакеты Python для машинного обучения, глубокого обучения и компьютерного зрения.
- Возможность создавать записные книжки Jupyter для запуска вашего кода Python и иметь возможность переключаться между различными средами в ваших записных книжках.
Установка Conda
Для начала установите Anaconda (см. Https://docs.anaconda.com/anaconda/install/mac-os/) и убедитесь, что инициализатор полностью инициализирует вашу среду.
Что такое Анаконда?
Anaconda - это менеджер пакетов для Python, который упрощает добавление / удаление пакетов и создание настраиваемых «сред», которые похожи на изолированные друг от друга песочницы. Возможно, вы также слышали о pip для python, но я предпочитаю Anaconda, потому что он также является оболочкой для pip и имеет больше возможностей.
Проверка
После установки Anaconda (или для краткости Conda) вы можете убедиться, что у вас настроена среда по умолчанию и настроен инструмент командной строки:
conda env list
Вы должны увидеть что-то вроде:
# conda environments: # base * /anaconda3
Установка пакета
Затем создайте в своей рабочей области новую папку с именем dl (для глубокого обучения).
Зайдите в вашу вновь созданную папку:
cd dl
Скопируйте и вставьте этот YAML в новый файл с именем requirements.yml:
name: dl # conda env create -f requirements.yml # then conda activate dl # to remove, simply do conda env remove -n dl channels: - anaconda # default one - pytorch # necessary for pytorch and torchvision dependencies: - python=3.7 - matplotlib=3.0.1 - nb_conda - numpy=1.15.2 - pip # needed to install pip dependencies below - pytorch - torchvision - scipy=1.1.0 - tensorboard - pip: - scikit-learn==0.20.0 - opencv-contrib-python==4.0.0.21
Обратите внимание, что при этом устанавливаются следующие элементы:
- Python 3.7 - на момент публикации это последняя основная версия Python.
- PyTorch - библиотека глубокого обучения, разработанная Facebook (альтернатива Tensorflow, которую некоторым легче освоить)
- Numpy / Scipy - библиотеки численных вычислений / научной обработки. Тензоры PyTorch и массивы Numpy переводимы.
- Tensorboard - фреймворк для визуализации PyTorch и Tensorflow
- Matplotlib - полезно для построения графиков
- OpenCV - популярная библиотека компьютерного зрения с открытым исходным кодом
- Scikit-Learn - библиотека с открытым исходным кодом для машинного обучения, не предполагающая глубокого обучения
- NB_conda - это позволяет нам переключаться между средами Conda в наших записных книжках, когда мы переходим к созданию новой записной книжки Jupyter. Поскольку NB_conda зависит от Jupyter, он также установит Jupyter.
После сохранения указанного выше файла требований вы можете запустить:
conda env create -f requirements.yml
После установки среды запустите:
conda env list
чтобы убедиться, что он был установлен. Вы должны увидеть что-то вроде:
# conda environments: # base * /anaconda3 dl /anaconda3/envs/dl
Обязательно активируйте среду перед ее использованием.
conda activate dl
Чтобы протестировать эту среду, попробуйте запустить оболочку python с помощью команды python и посмотрите, сможете ли вы сделать:
import torch import matplotlib import numpy as np import cv2 import sklearn
Все эти команды импорта должны выполняться без ошибок. Выйдите из оболочки Python (ctrl-D), и в своем терминале bash вы также сможете запустить:
jupyter notebook
и начните использовать записные книжки Jupyter Lab. Когда вы нажмете кнопку «Создать», чтобы создать новую записную книжку, вы увидите:
Звездочка находится рядом с выбранной средой (нашей текущей), но вы можете легко переключаться между ними, выбрав другую.
Чтобы добавить больше библиотек в будущем, вы можете просто сделать
conda install <new library>
Чтобы удалить пакет, используйте conda uninstall ‹library_name› или pip uninstall ‹library_name› в зависимости от того, находится ли он под зависимостями верхнего уровня или под pip в файле YAML (например, conda uninstall tensorboard или pip удалить opencv).
Вот и все для установки! Мы успешно установили все компоненты, необходимые для компьютерного зрения и глубокого обучения с помощью OpenCV и PyTorch соответственно.
Начало работы с глубоким обучением и компьютерным зрением
Чтобы начать работу с PyTorch, ознакомьтесь с руководством по PyTorch: https://pytorch.org/tutorials/beginner/blitz/tensor_tutorial.html
Обратите внимание, что на вашем Mac может не быть графического процессора NVIDIA (вы можете проверить, щелкнув значок Apple ›Об этом Mac и проверив, есть ли у вас карта NVIDIA GPU). В результате вы не можете использовать CUDA в PyTorch для обучения графическому процессору. Вам нужно будет провести только тренировку процессора, что медленнее, но все равно должно быть хорошо для наращивания. Чтобы получить доступ к графическим процессорам, попробуйте экземпляры Google Cloud или AWS Deep Learning, но будьте осторожны с затратами!
Мы также установили Tensorboard, который позволяет нам визуализировать наши модели: https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html
Если вас интересует OpenCV, посетите: https://www.pyimagesearch.com/category/opencv/
Удачи!