Публикации по теме big-data

Публикации по теме 'big-data'

Пространственная аналитика: основная инфраструктура современного ИТ-мира.

Пространственная аналитика , как и ГИС, считается базовой инфраструктурой современного ИТ-мира. Наука о данных — самая быстрорастущая профессия, возможности которой растут в геометрической прогрессии из года в год. Руководители корпораций во всех секторах и государственные деятели пришли к пониманию того, насколько эффективным может быть пространственный анализ в процессе принятия решений в бизнесе и обществе, обеспечивая дополнительный уровень понимания. Широкое использование..

Начало работы с Apache Spark — I

Серия статей, которые помогут вам начать работу с Apache Spark! Определение больших данных С постепенным увеличением распределенных вычислений, вычислительной мощности и множества вариантов хранения, появившихся в последнее десятилетие, термин «большие данные» стал широко использоваться. Что такое большие данные и какие данные можно назвать большими данными? По сути, мы можем описать это, используя Объем 3V Объем генерируемых данных (измеряется в байтах, мегабайтах,..

Применение математики - наука о данных и машинное обучение

Назовете ли вы это математикой, математикой или традиционным способом называть это математикой, если у вас есть среднее или выше минимальное знание счета чисел, значит, вы уже обладаете навыком решать и анализировать проблемы. Поскольку вы занимаетесь математикой, ваши возможности безмерно многочисленны с точки зрения работы и карьерного роста. От карьеры в области бухгалтерского учета, банковского дела, актуарной науки, метеорологии, преподавания, финансового анализа, статистики,..

Как записать результаты горячего кодирования PySpark One в интерпретируемый файл CSV

5-минутное руководство по стилю Pandas One Hot Encoding с использованием Spark. Создайте чистую, интерпретируемую человеком схему горячего кодирования, доступную для записи в файлы любого типа, включая CSV. Однократное горячее кодирование — это типичный шаг для подготовки любого набора данных к моделированию машинного обучения. Это один из наиболее распространенных шагов в любом конвейере предварительной обработки функций. Горячее кодирование превращает категориальные данные в двоичное..

Доставка ML-кода в производство за несколько дней: как мы сэкономили много денег нашей компании с…

Обзор В нашей компании в производстве на постоянной основе находятся сотни моделей машинного обучения (ML) и расчетных скриптов. И наше подразделение Data Engineering поставило задачу сделать какой-нибудь CD/CD-компонент, наиболее подходящий для наших целей: Большое количество используемых библиотек от проекта к проекту Различные исполнительные платформы Гибкое расписание Уменьшение времени выхода на рынок (TTM) Масштабируемость и отказоустойчивость Для достижения наших целей мы..

Данные + AI = БУМ! ¤

Два самых важных слова, обозначающих будущее бизнеса, на данный момент также являются двумя самыми популярными словами: данные и искусственный интеллект . Исследование, проведенное Narrative Science, показывает, что 62 процента организаций будут использовать искусственный интеллект к 2018 году . Для стартапов это число намного выше: многие технологические стартапы, независимо от отрасли, имеют бизнес-модели, основанные на выявлении проблемы и применении той или иной технологии..

Типовой проект инженерии данных - обмен данными от группы разработки данных Netflix

На прошлой неделе мне посчастливилось побывать на семинаре WiBD, организованном командой разработчиков данных Netflix. Я ранее общался с инженерами по обработке данных из многих ведущих технологических компаний, таких как LinkedIn, Facebook, а также с их коллегами из быстрорастущих стартапов. Неудивительно - роль инженера по обработке данных значительно варьируется от одной компании к другой. Следовательно, путь к инженерии данных всегда окутан тайной. Мне было очень приятно понять, чем в..