Полная дорожная карта для изучения Python для обработки данных
Если вы заинтересованы в изучении всех этих вещей, которые я упомянул в блоге сразу, то я недавно запустил свой курс по Python для обработки данных.
Этот курс поднимет вас с самого базового до продвинутого уровня.
Изучение Python входит в пятерку лучших навыков для Data Engineers.
Если вы решили изучать Python, вот как вы можете это сделать.
Python имеет очень много разных вариантов использования
— Веб-разработка
— Наука о данных/аналитика/инжиниринг
— Разработка игр
— Удаление веб-страниц
— Машинное обучение
и многое другое…
Вот структура, которую я предлагаю вам использовать
- Изучите основы
- Расширенные концепции и практические занятия
- Выбор ниши
Изучите основные принципы
Есть несколько понятий, общих для всех языков программирования
✅ Переменные
✅ Операторы
✅ Циклы
✅ Условные операторы
✅ Типы данных
✅ Функции
и многое другое
Эти концепции вы найдете во всех основных языках программирования.
ВЫ НЕ МОЖЕТЕ ПРОПУСТИТЬ ИХ!
Расширенные концепции и практические занятия
Как только вы изучите основы, это означает, что вы просто собирали разные инструменты.
✅ Изучите объектно-ориентированное программирование
✅ Обработка исключений
✅ Работа с различными пакетами
✅ Функции
✅ Лямбда-функции
Оттачивайте свои навыки
— Конкурентное кодирование
— Реализация алгоритмов (для обучения)
— Выполнение небольших проектов (Строительный калькулятор)
Это придаст вам уверенности в написании кода и улучшит вашу логику.
Выбор ниши
Как я уже сказал, Python имеет много разных вариантов использования, и вам не нужно изучать все существующие пакеты.
— Если вы изучаете Python для науки о данных, сосредоточьтесь на таких пакетах, как NumPy, Pandas, Matplotlib и т. д.…
— Если вы изучаете Python для анализа веб-страниц, сосредоточьтесь на таких пакетах, как BeautifulSoup или Scrapy
— Если вы изучаете Python для веб-разработки, сосредоточьтесь на таких фреймворках, как Django, FastAPI или Flask.
Изучение Python для обработки данных
Что делает инженер данных в повседневной жизни?
— Читает файлы разных типов и записывает их
— Очищает данные/манипулирует ими
— Записывает преобразование job
— Запрашивать базу данных с помощью библиотек
— Автоматизировать некоторые задачи и т. д.…
Как только вы разберетесь с основами и логикой, сосредоточьтесь на этих вещах.
1. Понимание различных типов форматов файлов (чтение и запись)
— CSV
— AVRO
— JSON
— ORC
— PARQUET
2. Узнайте, как подключаться и запрашивать базы данных с помощью Code
— SQLAlchemy
— pymysql
— psycopg2
3. Работа с различными типами форматов DateTime и часового пояса
— Да, ваши столбцы будут в часовом поясе UTC, но вам нужно преобразовать их в местный часовой пояс
— Иногда дата и время отображаются неправильно отформатирован, поэтому убедитесь, что вы знаете, как с ним обращаться
4. Преобразование
— многие библиотеки в Python могут помочь вам читать файлы и выполнять над ними операции.
Одна из них — Панды.
5. Научитесь автоматизировать вещи
. К ним относятся настройка заданий cron или автоматическое развертывание кода в облаке с помощью некоторых сценариев (да, это немного похоже на DevOps, но знать это тоже важно).
6. Научитесь читать документацию и подключаться к различным инструментам.
– Вам часто придется подключаться к различным инструментам
Работаете в облаке? Подключитесь к сервису, используя код для создания/обновления или удаления объектов.
О курсе:
Вы также сможете выполнить сквозной проект по инженерии данных с использованием Python!
Дайте мне знать, если у вас есть дополнительные вопросы
