Публикации по теме big-data

Публикации по теме 'big-data'

Вашей организации нужен новый старт: хранилище данных 2.0

Современные конвейеры данных имеют больше смысла, чем вы думаете Пузырь доткомов 90-х годов привел к созданию различных сервисных компаний, и с тех пор предложения ИТ-компаний росли в геометрической прогрессии. Параллельно с этим происходил экспоненциальный рост доступности данных, который растет день ото дня. Например: Сегодня Pizza Hut собирает данные из различных источников, таких как социальные сети, текстовые SMS, мобильные телефоны, приложения, системы наблюдения,..

Запускайте рабочие нагрузки обработки данных Spark, используя OpenDataHub, OCS и внешний кластер Ceph.

Kubernetes стал де-факто стандартной платформой для оркестрации контейнеров. При таком подходе организации пытаются собрать все свои приложения и платформы вокруг Kubernetes, чтобы воспользоваться его стабильностью, гибкостью и простотой. Запуск всего вашего стека в Kubernetes позволит вам иметь единый API и общий язык, будь то для приложения, базы данных или механизма хранения, который необходимо развернуть. Несколько лет назад люди считали, что для повышения производительности при..

Решение проблемы интеграции данных

Проникновение в промышленную среду — это спящий гигант, который угрожает пустить под откос почти половину всех благонамеренных аналитических проектов. Этот гигант — интеграция данных. В этой серии из двух частей мы рассмотрим, почему интеграция данных является серьезной проблемой для промышленных сред и почему стандартные методы ETL просто не работают. Интеграция данных оказывается ахиллесовой пятой промышленного Интернета вещей (IIoT) и блокирует прогресс в преобразованиях и..

TLP / WA +62 813–8143–2012 , Машинное обучение на основе больших данных и социальные науки

САРАНА ТЕРБАЙК УНТУК УНТУК МЕМПЕРМУДА АНДА ДАЛАМ БЕРБИСНИС !!!! Слова машинного обучения больших данных, Решение для машинного обучения больших данных, Методы машинного обучения больших данных, Обучение машинному обучению больших данных, Финансы машинного обучения больших данных, Машинное обучение больших данных Hadoop, Машинное обучение больших данных, здравоохранение, Машинное обучение больших данных для прогнозирования сбоев , Финансы машинного обучения больших данных , Электронная..

Как сдерживать ненависть

Как сдерживать ненависть Помимо проблем с данными, целей расширения или технологий виртуальной реальности, Марк Цукерберг озабочен еще одной серьезной проблемой - модерацией контента. Как сообщалось в статье Материнская плата в августе прошлого года, основатель Facebook в прошлом году провел ряд громких обедов с учеными социальных сетей, чтобы обсудить различные проблемы, с которыми сталкивается технический гигант, но не более того, как сдерживать ненависть. Авторы статьи намекают..

Тестирование в Apache Beam, часть 2: Stream

Тестирование в Apache Beam, часть 2: Stream Исходный код, упомянутый в статье, можно найти здесь: https://github.com/papaizaa/apache-beam-examples/tree/master/src/main/java/com/papaizaa/streaming_example В Части 1 мы исследовали написание модульных тестов для конвейеров Apache Beam Batch. На этот раз мы рассмотрим, как писать тесты для потоковых конвейеров. Поскольку Apache Beam был разработан как единый SDK для пакетной обработки и потокового конвейера, мы должны ожидать, что..

Какие списки доступных режимов записи / сохранения в Spark с примерами?

В этой статье вы познакомитесь с различными типами режимов чтения в программе Spark. Примечание: Всякий раз, когда мы записываем файл без указания режима, программа Spark рассматривает режим по умолчанию, т.е. существует ошибка . 1. Инициализировать сеанс Spark. from pyspark.sql.session import SparkSession spark = SparkSession.builder.master("local") .appName("different_write_modes").getOrCreate() 2. Список режимов записи / сохранения. добавить..