У меня есть несколько алгоритмов/методов, которые я пытаюсь оценить, запустив сотни тысяч тестов. С каждым тестовым случаем связаны некоторые метаданные. На данный момент я собираю метаданные для каждого тестового примера на диске в иерархии каталогов. Я запускаю тестовые примеры параллельно на 48 узлах. Однако я обнаружил, что часто использую ввод-вывод, а не ЦП. Я предполагаю, что 48 одновременных обращений к диску могут вызывать некоторые проблемы. Интересно, должен ли я хранить метаданные в централизованном хранилище ключей и значений (или что-то подобное), которое будет сериализовать доступ к диску (и/или кэшировать значения). У меня нет большого опыта работы с базами данных SQL или noSQL.
Есть ли смысл в переходе от травления многих объектов к хранилищу «ключ-значение»?
Ответы (1)
Вы рассматривали возможность использования Redis? Вы сможете загрузить все замаринованные объекты сразу, а затем получить быстрый произвольный доступ до выключения.
получить объект из Redis без eval?
person
timcour
schedule
17.10.2013
Выглядит интересно, посмотрю повнимательнее.
- person Epimetheus; 17.10.2013