Публикации по теме 'big-data'


AWS Redshift: чтение и запись в базу данных на python
AWS Redshift — это хранилище данных, используемое в качестве эффективного источника многих моделей машинного обучения, развернутых в облаке, а данные из Redshift можно легко прочитать в сценарии Python в редакторах кода или в блокноте jupyter/colab. Чтение данных из AWS Redshift Шаг 1. Импортируйте библиотеки sqlalchemy и pandas Шаг 2. Создайте redshift_engine с указанным ниже синтаксисом и добавьте учетные данные AWS: хост, имя пользователя, пароль, порт и имя базы данных...
Воскресный брифинг D4S №184
Воскресный брифинг D4S №184 Еженедельный информационный бюллетень с последними разработками в области науки о данных, машинного обучения и искусственного интеллекта.​​​​​​​ 04 декабря 2022 г. Дорогие друзья, ​ Добро пожаловать на воскресный брифинг от 4 декабря. На этой неделе у нас перерыв в ведении блога, но мы завершаем два поста на следующей неделе. Между тем, вы можете ознакомиться с нашей последней публикацией в серии G4Sci: Сетевые атаки: взлом сети без полного наблюдения за..
Zingg, Data Meshes, Dagster; ThDPTh #53
Благодаря Prukalpa Sankar , соучредителю Atlan, я наткнулся на статью о сетках данных, которая очень хорошо вписывается в то, над чем я сейчас работаю, в книге, над которой я соавтор (пинг! Сетка данных в действии — это в раннем доступе ). Я Свен , я собираю Точки данных , чтобы помочь понять и сформировать будущее, основанное на данных. Мысли Свенса Если у вас есть всего 30 секунд свободного времени, вот что я считаю полезной информацией для инвесторов, руководителей данных и..
Почему я кодирую
Я тайно был компьютерщиком, сидящим за классным детским столиком в школьной столовой в течение многих лет. Позволь мне объяснить. Для меня все началось с того, что старшие руководители на работе начали подбрасывать модные словечки, которые мы все слышали раньше. «Подключиться к клиенту из поколения миллениума» и «построить магазин будущего» - это были аккуратно составленные звуковые фрагменты, которые мои коллеги и я неоднократно слышали от высшего руководства. Но «что все это..
Как автоматически генерировать визуализацию данных с помощью Lux в Python?
Подробное руководство о том, как вы можете автоматически генерировать визуализацию данных с помощью библиотеки Python Lux. Привет, ребята! Исследование данных и визуализация данных являются одними из важных аспектов науки о данных, машинного обучения, бизнес-аналитики, анализа данных и так далее. Если вы новичок в коде Python или начинающий программист в целом, вы можете воспользоваться Lux — библиотекой Python для автоматической визуализации и исследования данных очень простым..
Объединение сил ради будущего, ориентированного на родные стрелы
Позвольте нам снова представиться Уэса МакКинни и Джоша Паттерсона Слишком часто люди мимоходом говорят: «Давайте сделаем что-нибудь вместе», но не делают этого. Время от времени происходит межпроектное сотрудничество, но люди редко делают следующий шаг. Есть бесчисленное множество причин, почему это происходит, и согласовать цели, мягко говоря, сложно. Но, потратив последние несколько лет на отдельную работу над связанными проблемами в экосистеме данных, мы поняли, что наша лучшая..
12. Пишем Airflow PythonOperator с шаблонами Jinja
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 4, часть 2 Введение Эта серия постов подытоживает мои выводы из книги Баса Харенслака и Джулиана де Рюйтера. Если хочешь…