Есть ли смысл в переходе от травления многих объектов к хранилищу «ключ-значение»?

У меня есть несколько алгоритмов/методов, которые я пытаюсь оценить, запустив сотни тысяч тестов. С каждым тестовым случаем связаны некоторые метаданные. На данный момент я собираю метаданные для каждого тестового примера на диске в иерархии каталогов. Я запускаю тестовые примеры параллельно на 48 узлах. Однако я обнаружил, что часто использую ввод-вывод, а не ЦП. Я предполагаю, что 48 одновременных обращений к диску могут вызывать некоторые проблемы. Интересно, должен ли я хранить метаданные в централизованном хранилище ключей и значений (или что-то подобное), которое будет сериализовать доступ к диску (и/или кэшировать значения). У меня нет большого опыта работы с базами данных SQL или noSQL.