Какой NoSQL снова :), но другой вариант использования

Предложения по хранилищу данных NoSQL, чтобы мы могли легко передавать данные и генерировать отчеты Qlikview в реальном времени?

Это просто означает: 1. Поддержка Qlikview для чтения (mongodb доступный коннектор, в противном случае, возможно, можно записать коннектор JDBC, в противном случае, возможно, можно записать пользовательский коннектор QVX в хранилище данных)

  1. Легко адаптируется к изменениям в схеме или без схемы. Мы довольно часто меняем нашу схему...
  2. Поддержка Java для записи
  3. Сверхбыстрое чтение — добавочный доступ в реальном времени, а также пакетный доступ к старым данным в пределах временного диапазона. Я читал, что Cassandra выделяется диапазонами.
  4. Достаточно быстро пишет
  5. Хранилище достаточно больших данных — 20 миллионов строк, хранящихся в день, около 200 байт каждая.
  6. Было бы неплохо, если бы он мог масштабироваться для данных за годы, эластичность не так важна.
  7. Простота в использовании, установке и запуске. Глядя на минимальное время установки и настройки.
  8. Поддержка Matlabe для специальных запросов

Первоначально я не думаю, что нам нужна распределенная система, однако возможен кластер.

Я посмотрел на Mongodb, Cassandra и Hbase. Я не думаю, что переход на REST - хорошая идея из-за (теоретически) более низкой производительности.

В настоящее время я склоняюсь к MongoDB из-за простоты использования, поддержки Matlab, отсутствия схемы, поддержки Qlikview (доступен бета-коннектор). Однако, если кто-то может предложить что-то лучше, это было бы здорово!


nosql mongodb performance qlikview hbase
person user1263229    schedule 12.03.2012    source источник
comment
Ради интереса, когда вы упоминаете о доступности бета-коннектора, вы имеете в виду коннектор QVSource или есть другой?   -  person chrisb    schedule 17.03.2012
comment
Хороший вопрос. Я сталкиваюсь с примерно такой же установкой. Вы нашли ответ? Вы все еще используете mongoDB?   -  person smartmeta    schedule 02.10.2013
comment
Я написал модуль формата qvx на основе nodejs, который позволяет мне использовать потоки из драйвера mongo и создавать файлы qvx, которые я отправляю в qlikview, используя http. github.com/kmpm/node-qvx   -  person kmpm    schedule 03.03.2015

Ответы (1)


arrow_upward
0
arrow_downward

В зависимости от серверной инфраструктуры, которую вы будете использовать, я думаю, лучшим выбором будет служба Amazon NoSQL, доступная на aws.amazon.com.

Дело в том, что любая БД будет иметь низкую производительность в облачной инфраструктуре из-за того, как она хранит данные, например, amazon EC2 с EBS ОЧЕНЬ медленный для этой задачи, требующий подключения до 20 томов EBS в рейде для получения приличной скорости. . Они решили эту проблему, создав эту службу NoSQL, которой я никогда не пользовался, но она выглядит неплохо.

person jturolla    schedule 12.03.2012
comment
Amazon — это просто пример, я думаю, что у некоторых других может быть такой же сервис. Это может показаться более дорогим, но для такого интенсивного использования это, вероятно, будет дешевле в долгосрочной перспективе. - person jturolla; 12.03.2012