Публикации по теме 'clickhouse'
Практическое создание конвейера больших данных — часть 1
Эта статья будет долгой, но ее стоит прочитать. Я хотел бы сказать: “Any Machine Learning project is 80% data engineering and 20% Model Engineering”. Следовательно, если вы посмотрите мое портфолио статей, я много раз концентрировался на различных шаблонах конвейеров данных, которые будут способствовать инженерии данных, эта статья также попадает в эту категорию. Мы сосредоточимся на построении конвейера больших данных и увидим практическую реализацию этого E2E.
Основные этапы..
Включение предиктивных возможностей в базе данных ClickHouse
Особая благодарность Роберту Ходжесу из Altinity за его вклад в эту статью.
В этом сообщении блога мы рассмотрим, как мы можем интегрировать возможности прогнозирования на основе машинного обучения с базой данных ClickHouse. ClickHouse — это быстрая база данных SQL с открытым исходным кодом, ориентированная на столбцы, которая очень полезна для анализа данных и аналитики в реальном времени. Проект поддерживается и поддерживается компанией ClickHouse , Inc. Мы будем изучать его..
Управление наборами данных ClickHouse с помощью ad-cli
Роберт Ходжес
Большие наборы данных имеют решающее значение для всех, кто пробует или тестирует ClickHouse. ClickHouse настолько быстр, что вам обычно требуется не менее 100 миллионов строк, чтобы различать различия при настройке запросов. Кроме того, убийственные функции, такие как материализованные представления, намного интереснее при работе с большими объемами разнообразных данных. Несмотря на важность таких наборов данных для пользователей ClickHouse, существует мало..
Работа с ClickHouse из данных Spring с использованием драйвера MySql
Некоторое время назад мне поставили задачу написать сервис, который вставляет данные в ClickHouse. Моя команда использует Kotlin и Spring Framework, поэтому я решил попробовать Spring Data JDBC в качестве инфраструктуры ORM для ClickHouse. После некоторого исследования я обнаружил, что ClickHouse имеет интерфейс MySql . Таким образом, вероятно, Spring Data JDBC может общаться с ClickHouse с помощью драйвера MySql.
К сожалению, Spring Data JDBC не работает с ClickHouse из коробки с..
Вопросы по теме 'clickhouse'
Общие словари Clickhouse
Есть ли способ «совместно использовать» или «реплицировать» словарь на нескольких машинах в одном общем и / или кластере с помощью clickhouse.
В настоящее время у меня есть ~ 10 файлов для внешних словарей, загружаемых clickhouse (и несколько...
358 просмотров
schedule
21.05.2022
ClickHouse Spark Connector — зависимость от Scala
Я использую https://github.com/DmitryBe/clickhouse-spark-connector .
Я создаю свою банку с помощью сборки sbt после того, как клонировал репозиторий, а затем добавляю свои операторы импорта.
import...
2535 просмотров
schedule
30.09.2023
ClickHouse ЗаменаMergeTree
Пытаюсь понять, как работает ReplacingMergeTree движок.
У меня есть следующая таблица, настроенная с таким двигателем.
┌─brand─┬─country─┬─id─────┬────updated─┬─version─┐
│ IM │ FR │ 1 │ 2017-09-29 │ 2 │
│ IM │ FR...
2813 просмотров
schedule
13.05.2023
Не удается подключиться к кликхаусу на удаленном сервере со странным адресом
У меня есть сервер clickhouse, работающий в подсистеме Linux для Windows на сервере Windows 2016. Я установил правила брандмауэра как для входящих, так и для исходящих подключений на 9000 и 8123 портах. Я использовал конфигурацию по умолчанию....
3930 просмотров
schedule
28.07.2023
Как установить часовой пояс сеанса для соединения ClickHouse jdbc?
Могу ли я это сделать? Например, так это выглядит в Postgres:
set timezone 5;
1790 просмотров
schedule
13.09.2022
Влияние на производительность запросов SELECT при постоянном заполнении таблицы Clickhouse с помощью INSERT INTO
Таблица Clickhouse, MergeTree Engine, постоянно заполняется запросами «INSERT INTO… FORMAT CSV», начиная с пустого. Средняя скорость ввода 7000 строк в секунду. Вставка выполняется партиями по несколько тысяч строк. Это сильно влияет на...
1402 просмотров
schedule
16.06.2022
Java-класс Zookeeper для автозапуска не найден
У меня есть такая конфигурация zookeeper:
autopurge.snapRetainCount=10
autopurge.purgeInterval=1
snapCount=3000000
И мой /opt/zookeeper-3.4.11/data каталог становится большим, никакого autopurge не происходит.
Я пытаюсь убрать этот...
472 просмотров
schedule
27.08.2022
Получите один байт в Clickhouse. Невозможно получить очень простую работу с запросами
Запрос SELECT splitByChar('x,y', ','); говорит
Получено исключение от сервера (версия 1.1.54385): Код: 0. DB :: Exception: Получено от localhost: 9000, :: 1. DB :: Exception: недопустимый разделитель для функции splitByChar. Должен быть...
114 просмотров
schedule
24.12.2022
Как запросить несколько баз данных в одном запросе select в базе данных clickhouse?
У меня есть база данных clickhouse. Он содержит несколько баз данных. Таблицы внутри баз данных идентичны.
Например, в DB1 есть таблица «Таблица1», в DB2 также есть таблица «Таблица1» (здесь базы данных разные, таблицы также разные, но имеют...
897 просмотров
schedule
10.07.2022
«Отдельно» - обычная операция для ClickHouse?
Я хочу использовать ClickHouse для маркетинга. В большинстве случаев они хотят знать не просто, КАК многие люди используют ту или иную функцию, но и точные электронные письма, на которые следует рассылать спам. Является ли это хорошим выбором для...
1154 просмотров
schedule
31.03.2023
Реплика лидерства в Clickhouse
Я хотел бы получить более подробную информацию о лидерстве реплики (т.е. system.replicas.is_leader ) в базе данных ClickHouse.
В документации указано следующее:
is_leader: Whether the replica is the leader.
Only one replica can be the...
733 просмотров
schedule
20.12.2022
Как реализовать накопительную сумму без встроенной функции?
Мне нужно проводить кумулятивное суммирование за каждый день.
Например, мой набор данных выглядит следующим образом:
buyer | bread | date |
---------------------------
b1 | 2 | 2018-01-01|
b1 | 3 | 2018-01-02|
b1 | 1 |...
532 просмотров
schedule
20.06.2023
Необходимы шаги для реализации распределенного запроса clickhouse
Я установил clickhouse на 2 разных машинах A (96 ГБ ОЗУ, 32 ядра) и B (96 ГБ ОЗУ, 32 ядра), а также настроил реплику с помощью zookeeper. Я могу принимать и извлекать данные с обоих компьютеров, и репликация также работает нормально.
Теперь я...
582 просмотров
schedule
04.03.2024
Могу ли я использовать clickhouse в качестве хранилища ключей и значений?
Можно ли использовать clickhouse в качестве key-value хранилища, где данные регулярно перезаписываются, но редко читаются? Какой двигатель следует использовать, если это возможно?
1376 просмотров
schedule
11.07.2023
Присоединяйтесь к теме Clickhouse Kafka:
У меня две (и более) темы Kafka, и мне нужно к ним присоединиться. Мой вопрос из того, что я читал в блогах / StackOverflow .... два варианта:
1) передать их оба, движок Clickhouse Kafka / потоковую передачу искры, в таблицы sperate, а затем...
643 просмотров
schedule
28.12.2022
Вставить все строки из одной таблицы в другую идентичной структуры
Я пытаюсь переместить все содержимое таблицы в другую таблицу с той же структурой. Здесь много строк, поэтому, когда я пытаюсь выполнить это так
insert into target_table select * from source_table;
Я получаю такую ошибку:
ClickHouse...
8763 просмотров
schedule
29.04.2023
Как использовать TTL для таблицы clickhouse?
Читая документацию, я обнаружил, что функция TTL очень удобна для меня. Однако я не могу создать действительный SQL, чтобы задействовать его.
Как это сделать:
CREATE TABLE t1 (
name String,
date DateTime default now(),
number UInt64...
3748 просмотров
schedule
17.07.2023
Можно ли обновить первичный ключ в кликхаусе с помощью движка MergeTree?
Я пытаюсь обновить первичный ключ в простой таблице.
Когда я выполняю такой запрос:
alter table test update id = 2 where id = 1;
Я вижу сообщение:
Cannot UPDATE key column `id`
Есть ли какие-нибудь обходные пути по этому поводу?
2235 просмотров
schedule
20.04.2023
Ошибка семейства неизвестных кодеков ClickHouse при обновлении версии
Я работал над кластером ClickHouse с тремя узлами с таблицей, созданной с помощью ReplicatedMergeTree . Недавно я обновил один из его узлов с версии 18.14.2 до 19.3.7 . Однако после обновления мне не удалось установить соединение с обновленным...
905 просмотров
schedule
03.05.2022
Обновите ClickHouse с 1.1.54231 до 19.6.2.11
Наконец, мы решили обновить наш производственный сервер ClickHouse версии 1.1.54231 до новой версии 19.6. Новая версия запустилась, все конфиги подобрал, данные на сервере тоже видит, но на Zookeeper новые данные забрать не может. В журнале ошибок...
389 просмотров
schedule
05.06.2023
