Публикации по теме 'big-data'
Демистификация веб-скрейпинга
Раскройте потенциал данных
«Данные — это новая нефть ». — Клайв Хамби, специалист по данным
В сегодняшнюю цифровую эпоху данные имеют огромную ценность, которую часто называют «новой нефтью». У него есть потенциал для принятия бизнес-решений, выявления рыночных тенденций и предоставления ценной информации. Веб-скрапинг, метод, используемый для извлечения и уточнения данных с веб-сайтов, играет ключевую роль в использовании этого ценного ресурса. В этой серии блогов мы углубимся в..
Машинное обучение и индустрия кабин
Прогнозирование спроса на такси на Манхэттене
Я недавно получил степень магистра в области науки о данных ( KSchool ) и хотел поделиться своим заключительным проектом, чтобы другие специалисты по данным могли извлечь пользу из моей работы.
Manhattan Taxi Demand Predictor - это приложение для машинного обучения, которое предсказывает на следующие три дня, сколько пассажиров запросят такси на Манхэттене. Прогнозы отображаются сгруппированными по городским зонам и по часам.
Цель..
Будущее кибербезопасности: тенденции, которых следует опасаться в 2023 году
Кибербезопасность стала критической проблемой в эпоху цифровых технологий. Каждый день предприятия и частные лица сталкиваются с киберугрозами, которые могут привести к значительным финансовым потерям, утечке данных и другим последствиям. Угрозы кибербезопасности продолжают развиваться, и по мере нашего продвижения в цифровую эпоху потребность в эффективных мерах кибербезопасности становится все более важной. В этой статье мы рассмотрим некоторые тенденции, которые, вероятно, определят..
PostgreSQL: пример использования мета-команды gexec, показывающий, как наиболее эффективно запускать SQL
Автоматизация – это волшебство. Каждому программисту это нужно, чтобы жить лучшей жизнью.
Вариант использования 1:
Я пользователь PostgreSQL. Если я хочу создать индекс для всех столбцов, имя которых заканчивается на Product_number, могу ли я использовать для этого один оператор SQL?
Да, вот оно.
SELECT format(
'create index index_prefix_%I CONCURRENTLY on table_name(%I)', attname, attname
)
FROM pg_attribute
WHERE attrelid = 'table_name'::regclass
AND attname like..
Наука о данных — День 3. В чем разница между KNN и K-Means?
Привет, я изучаю большие данные из UOW, и я хотел бы поделиться тем, с чем я столкнулся при изучении часто используемых алгоритмов машинного обучения в науке о данных в виде серий наряду с отдельными проектами анализа данных с использованием Python. Эта статья состоит из 3 частей:
KNN (K-ближайшие соседи) K-средние Разница между KNN и K-средними
Прежде чем мы начнем реализовывать сквозные проекты с использованием определенного языка программирования, такого как Python или R, с..
Предварительная обработка данных с помощью Pandas по трендовой статистике видео на YouTube 〠 ❤︎ ✔︎
Цель этой статьи - предоставить стандартизированное решение для предварительной обработки данных, которое можно применить к любым типам наборов данных. Вы узнаете, как преобразовать данные из исходной необработанной формы в другой формат, чтобы подготовить данные для исследовательского анализа и моделей машинного обучения.
Обзор данных
Этот набор данных представляет собой ежедневную запись самых популярных видеороликов YouTube из США. Данные включают название видео, название канала,..
Прогнозирование извержения вулкана с помощью tsfresh & lightGBM
Подход с минимальными усилиями к проектированию функций и машинному обучению на многомерных данных временных рядов.
Извержение вулкана может унести десятки тысяч жизней, разрушить инфраструктуру на миллионы долларов и доставить массу неудобств. Что, если бы ученые могли предвидеть извержения вулканов, как они предсказывают погоду? Это было целью конкурса Kaggle INGV - Прогнозирование извержений вулканов , организованного Национальным институтом геофизики и вулканологии (INGV).
Я..
