Я хотел бы построить кластер для получения высокой производительности и для использования в случае добровольных вычислений. Я нахожу несколько добровольных вычислительных платформ, таких как BOINC L, кластер Beowulf. Я немного знаком с Apache Hadoop, кластером Spark. Некоторым из этих кластерных платформ придется использовать MPI и другие библиотеки параллельной обработки. Однако у меня нет опыта параллельного программирования. Кроме того, я не мог позволить себе писать параллельные программы для кластера, потому что хотел бы выполнять сетевое моделирование, обработку изображений, тестирование программирования и т. д. на своем кластере. Поэтому я нахожу кластерную структуру, которая может запускать любые приложения, распределенные между узлами. Я обнаружил, что структура кластера openMosix будет соответствовать моим требованиям, но я обнаружил, что она остановила разработку своего кластера. Итак, я хотел бы с уважением попросить несколько предложений от великих старших, чтобы указать мне, какой тип кластерной структуры подходит для повышения вычислительной мощности в случае выполнения любых приложений. Большое спасибо.
Запрос инфраструктуры кластерных вычислений для обеспечения высокой производительности
Ответы (1)
(Раскрытие информации: я являюсь одним из разработчиков BOINC, я также управляю несколькими проектами BOINC)
Пока ваши приложения поддерживают распараллеливание (например, вы можете разделить набор данных или изменить параметры командной строки приложения, чтобы разделить область поиска), вам доступны несколько простых вариантов. Если ваши узлы работают под управлением Linux и вы можете подключиться к ним по протоколу SSH, вам могут подойти простые инструменты, такие как GNU Parallel. подходящее.
BOINC в целом больше ориентирован на добровольные вычисления, объединяющие разнородные ресурсы. Он требует некоторого обучения и много внимания уделяет безопасности (например, весь код, работающий на платформе, должен быть подписан, что усложняет развертывание «любого» приложения). Если вы ищете реальное использование в стиле кластера, где вы будете запускать десятки различных приложений, BOINC может не подойти вам (обратите внимание, что существуют способы отправки двоичных файлов приложения как часть работы, но это не тривиально).
Если вы все же решите попробовать BOINC, есть несколько старая виртуальная машина с предустановленным сервером BOINC или просто получить последнюю версию кода с Гитхаб.
