Каковы минимальные технические характеристики компьютера, необходимые для процессов администрирования и контейнера?


person FGreg    schedule 17.07.2015    source источник
comment
Это может быть хорошим вопросом и для сообщества Server Fault. Там есть много экспертов с опытом настройки и управления системами для различных задач, и они, вероятно, могут внести ценный вклад.   -  person Matt    schedule 17.07.2015


Ответы (1)


Ответ в обоих случаях зависит от того, для чего вам нужно их использовать. Похоже, что Spring XD предназначен для высокопроизводительных вычислений (HTC), поэтому, в отличие от традиционных высокопроизводительных вычислений, добавление графических процессоров или сопроцессоров в этом случае, вероятно, не будет особенно полезным. Если вы просто хотите попробовать это и у вас есть несколько серверов, кажется, что пока у вас есть что-то достаточно мощное для запуска ОС, поддерживающей Java, вы, вероятно, могли бы, по крайней мере, заставить его работать. Если вы находитесь на начальных этапах тестирования Spring XD, чтобы увидеть, будет ли он интегрироваться с вашей существующей инфраструктурой, это позволит вам хотя бы попробовать его. Если вы прошли этот этап тестирования и уверены, что Spring XD будет работать, и хотели бы приобрести оборудование для оптимизации его производительности, не стесняйтесь продолжать чтение.

Раньше я не использовал Spring XD, но на основе документации, которую я читал, и некоторого опыта работы с HTC есть несколько соображений по настройке систем для его запуска. если вы посмотрите на диаграмму из документации и прочтите немного о службах. Похоже, что административная база данных, Zookeeper, Analytics Repo и пакетная база данных заданий могут быть размещены на виртуальных машинах (ВМ) под гипервизором по вашему выбору.

Использование установки с несколькими подсистемами, необходимыми для использования распределенной модели, работающей на виртуальных машинах, даст вам возможность масштабировать ресурсы по мере необходимости, например. для запуска системы с одним гипервизором может быть достаточно для запуска всего, но по мере роста трафика/использования может оказаться желательным разделить виртуальные машины на несколько гипервизоров и предоставить некоторым виртуальным машинам дополнительные ресурсы.

С контейнерами похоже на многие другие схемы виртуализации или контейнеризации для HTC, где более мощные системы, например. много оперативной памяти, SSD-накопителей позволяют пользователям запускать больше контейнеров на одном физическом устройстве.

Чтобы адекватно оценить потребности в новой системе, работающей с любым приложением, важно понять, каков ограничивающий фактор проблемы; это связано с памятью, IO или CPU? Для крупномасштабных параллельных приложений существует множество инструментов для профилирования кода и определения узких мест. TAU – это распространенная утилита профилирования в высокопроизводительных вычислениях. Доступно несколько проприетарных предложений. также.

Как только ограничения программы становятся ясными, определить систему с аппаратным обеспечением для уменьшения/минимизации проблемы становится намного проще и, как правило, дешевле. Надеюсь, эта информация будет полезной.

Дополнения на основе комментариев:

Кажется, что он будет работать со 128 КБ памяти, если у вас есть ОС, которая будет загружаться и запускать Java и любые другие требования. Если где-то есть внутренние настройки хранилища, такие как автономный сервер БД, который можно использовать для баз данных, как описано в разделе «Конфигурация БД» руководства, кажется, что потребуется лишь небольшой объем хранилища.

В зависимости от того, как вы развертываете образы для ОС администратора, они могут даже не понадобиться, поскольку вы можете использовать KIWI. для создания и развертывания пользовательского образа ОС по вашему выбору с файлами конфигурации и другими настройками, встроенными в образ. Этот образ можно загрузить по сети через PXE или в один из других выходных форматов, поддерживаемых KIWI, таких как виртуальные машины, загрузочный USB и т. д.

Точная конфигурация систем, на которых работает Spring XD, будет зависеть от конечных целей, доступной инфраструктуры и ряда других вещей. Похоже, что узел Spring XD Admin можно запустить на большинстве серверов инфраструктуры. При выборе оборудования также необходимо учитывать такие факторы, как надежность, стабильность и желаемая производительность.

В: Будет ли Spring XD Admin работать в системе с такими спецификациями, как RaspberryPi?

A: на основании документации, да

В: Будет ли он работать с хорошей производительностью или надежно на такой системе?

О: Вероятно, нет, если вы используете его в течение длительного периода времени или для больших объемов трафика.

person Matt    schedule 17.07.2015
comment
Я согласен с тем, что правильное определение размеров машин, на которых работают компоненты, — сложный вопрос, требующий анализа ожидаемых приложений (или потоков и заданий в случае XD), которые будут работать на платформе. Тем не менее, минимальные требования все еще существуют, и мне любопытно, каковы они. Могу ли я запускать свои административные процессы с 128 КБ памяти? Требуется ли место на диске? и т.д... - person FGreg; 17.07.2015
comment
Я сделал несколько обновлений на основе вашего комментария выше, которые были бы слишком длинными для поля комментария. В конечном счете это зависит от того, является ли это средой производства, тестирования или разработки. Одним из преимуществ использования виртуальных машин для узла и задач администратора является то, что вы можете попробовать разные настройки, чтобы выяснить, что лучше всего подходит для вашей среды. Не зная больше о том, как он будет использоваться, трудно быть более конкретным. - person Matt; 17.07.2015
comment
Очень полезная дискуссия. Кто-нибудь из вас знает, какие существуют требования к хранению? Я провел исследование других инструментов для работы с большими данными, в которых говорится об использовании локального хранилища из-за объема операций ввода-вывода, но я не смог найти такого прямого утверждения для Spring XD или ZooKeeper (все еще нужно исследовать Redis) . - person user944849; 31.07.2015
comment
Я попытался запустить Spring XD с максимальной кучей, установленной на 128 КБ, и это не удалось с ошибкой OOM. Я ценю детали, данные в вашем ответе, но я чувствую, что он не отвечает на мой простой вопрос ... Spring XD имеет минимальные требования к оборудованию для простого запуска; а я спрашиваю что это. - person FGreg; 13.10.2015