Содержание
1. Введение
2. Предварительные условия
3. Соединения
4. Загрузка набора данных
Введение
Когда я начал свой путь в науке о данных, у меня были ограничения по оборудованию и вычислительным устройствам. Я уверен, что у многих из нас были эти проблемы. Передо мной было два варианта, а именно.
1) Купите дорогой ноутбук с отличными графическими процессорами
2) Получите доступ к облаку
Я выбрал облачную платформу. После некоторых исследований я наткнулся на Google Colab. Это было именно то, что мне было нужно. Google Colab предлагает бесплатные услуги графического процессора для увеличения времени обработки. Кроме того, мне больше всего нравится то, что его легко связать с Kaggle, чтобы присоединиться к любому соревнованию или загрузить любой огромный набор данных.
Этот блог о том, как вы можете добиться того же. Давайте прыгнем прямо в него.
Предварительные условия
1) Аккаунт Google
2) Аккаунт Kaggle
Подключения
Во-первых, прежде чем мы начнем, мы должны убедиться, что Google colab может получить доступ к списку наборов данных и списку соревнований. После этого мы можем приступить к созданию конвейера машинного обучения.
Шаг 1. Настройка Блокнота в Google Colab
Посетите домашнюю страницу Google Colab ( PS Убедитесь, что вы вошли в свою учетную запись Google), вы увидите экран ниже. Здесь нажмите кнопку НОВЫЙ НОУТБУК PYTHON 3.
это запустит ваш Jupyter Notebook, готовый к использованию. Вы можете переименовать блокнот по своему выбору.
Шаг 2. Получите токен Kaggle Access API
Посетите домашнюю страницу Kaggle, войдите в свою учетную запись. В правом верхнем углу щелкните изображение своего профиля, откройте свой профиль. Перейдите на вкладку Дополнительно и выберите вариант Учетная запись. Прокрутите вниз и найдите раздел API, нажмите кнопку Создать новый токен API. Пожалуйста, смотрите изображение ниже для получения дополнительной информации.
Это загрузит файл json. Этот файл подключит ваш Google Colab к вашей учетной записи Kaggle.
Загрузка набора данных
Вернитесь к своей записной книжке Google Colab, которую вы создали ранее. Здесь используйте приведенный ниже код, чтобы загрузить файл json, загруженный ранее.
импортировать файлы из google.colab
files.upload()
См. ниже
После завершения выполнения ячейки выполните приведенный ниже код.
!mkdir -p ~/.kaggle
!cp kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json
После выполнения этого кода выполните приведенный ниже код
!kaggle список наборов данных
Теперь, когда вы видите список наборов данных, вы загружаете любой набор данных по вашему выбору. Здесь я загружаю набор данных FIFA19. Пожалуйста, смотрите ниже.
# загрузить набор данных
!kaggle datasets download -d karangadiya/fifa19
# просмотреть список файлов
!ls
# распаковать и просмотреть список файлов
!unzip fifa19.zip
!ls
# загрузить набор данных
импортировать pandas как pd
data = pd.read_csv(‘data.csv’)
data.head()
Когда данные загружены, мы можем начать строить конвейер машинного обучения.
Заключение
На этом этапе ваш блокнот Google Colab подключен к наборам данных Kaggle. Если вы хотите загрузить набор данных активных соревнований, все, что вам нужно изменить, это команды, как показано ниже.
!kaggle Competitions List
!kaggle Competitions download -c LANL-Earthquake-Prediction
Остальной код остается прежним.
Надеюсь, это было полезно. Дайте мне знать ваши комментарии.
