Публикации по теме 'big-data'


15 лучших инструментов для работы с большими данными в 2020 году
1) Хадуп: Программная библиотека Apache Hadoop — это платформа для работы с большими данными. Это позволяет распределенную обработку огромных наборов данных по группам ПК. Он предназначен для масштабирования от отдельных рабочих до огромного количества машин. Возможности: Улучшения аутентификации при использовании прокси-сервера HTTP Спецификация работы файловой системы, совместимой с Hadoop Поддержка расширенных атрибутов файловой системы в стиле POSIX. Он предлагает..
Введение в потоковую передачу событий с помощью Kafka и Kafdrop
Введение в потоковую передачу событий с помощью Kafka и Kafdrop Источники событий, согласованность в конечном итоге, микросервисы, CQRS. Они быстро становятся нарицательными при разработке основных приложений. Но знаете ли вы, что ими движет? Какие основные строительные блоки требуются для сборки сложных бизнес-ориентированных приложений из мелкозернистых сервисов, не превращая их в большой ком грязи? В этой статье исследуется фундаментальный строительный блок - потоковая передача..
Практика проверки данных Tensorflow
Google только что выпустил свой новый продукт для сквозной платформы больших данных, TFDV! Одна из самых больших проблем в науке о данных - это решение проблемы качества данных, то есть проверка данных. Давайте посмотрим, как Google справится с этой первой версией и насколько полезна эта новая библиотека. 1. Установка Довольно стандартный процесс установки через pip, однако убедитесь, что вы предварительно установили несколько зависимостей, чтобы убедиться, что он компилируется без..
Новое мышление в экосистеме цифрового здравоохранения: устранение разобщенности #GiantHealthEvent | Мэтт…
Новое мышление в экосистеме цифрового здравоохранения: устранение разобщенности #GiantHealthEvent | Блог Мэтта Стаммерса на WordPress.com Ни одна компания или частное лицо не является бункером. Интернет изменил все, и теперь все подключено Но что произойдет, когда 50 миллиардов машин будут подключены? Вдруг данные покажут нам поток в больнице, результаты высветятся. Компьютеры могут обнаруживать проблемы и устранять их. Это столкновение физических и аналитических,..
Нет решения для больших данных
При работе с большими данными иногда может казаться, что ты Дон Кихот кидаешься к ветряным мельницам - если «… ты не разбираешься в бизнесе приключений… отойди в сторону и помолись, пока я сражаюсь с [этими гигантами] яростно и жестко. неравный бой ». (из Приключения Дон Кихота Мигеля де Сервантеса Сааведры) Ты не одинок. Большие данные поставили в тупик некоторых из лучших ученых и исследователей. Фактически, компании заработали состояние, управляя большими объемами данных и..
Стратегия данных для внедрения ИИ на предприятиях
Данные — важнейший ингредиент этого рецепта под названием ИИ, поэтому один великий человек однажды сказал: «Большая ошибка — теоретизировать, не имея данных». - Шерлок Холмс Данные — это действительно все в этом мире, управляемое технологиями. Инновации теперь кажутся повседневным делом, а количество данных, создаваемых в этом современном мире, просто невообразимо. Что нам делать с таким количеством данных? Что ж, хорошая новость заключается в том, что каждое предприятие приходит к..
Предварительная обработка больших наборов данных: данные розничной торговли в Интернете с более чем 500 тыс. Экземпляров
Несколько месяцев назад у меня была возможность работать над проектом с огромным набором данных с более чем 500 000 строк ! Честно говоря, это был первый раз, когда мне пришлось обрабатывать безумный объем данных, но я подумал, что было бы весело поиграть с ними и изучить новые методы интеллектуального анализа данных. В этом посте я собираюсь объяснить, как я справился с этой проблемой и в итоге получил чистый набор данных, с которым удобно работать. Также предоставляется код R...