Хранилище Key Value без файловой системы?

На ум приходит Apache Cassandra. Это текущее избранное решение NoSQL, когда речь идет о массовом масштабировании. Он используется в производстве в несколько крупных компаний с огромными требованиями к масштабированию. Немного поработав с это, я могу сказать, что требуется немного времени, чтобы переосмыслить вашу модель данных, чтобы она соответствовала тому, как она организует свой механизм хранения. Знаменитая статья "WTF суперстолбец" дает хорошее представление об этом. Предостережение: Cassandra действительно имеет смысл только тогда, когда вы планируете хранить огромные наборы данных, а распространение без единой точки отказа является критически важным требованием. С тем, как вы объяснили свои данные, это звучит как совпадение.

Кроме того, вы вообще заглядывали в Redis, по крайней мере, для сохранения ключевых ссылок? Ваши требования к памяти намного превышают возможности одного экземпляра, но Redis также можно настроить на сегментирование. Это не его основной вариант использования, но он используется как в Craigslist, так и в Groupon.

Кроме того, сделали ли вы все возможное для оптимизации монго, особенно изучая, как вы могли бы улучшить индексацию? Mongo действительно сохраняет на диск, но должен быть относительно производительным, когда оптимизирован, чтобы по возможности сохранять самую горячую часть набора в памяти.

Можно ли кэшировать эти данные, если они не слишком временные?

Я полностью предостерегаю вас от использования этого самостоятельно. Просто справедливое предупреждение. Это не удар по вам или кому-либо еще, просто мне лично приходилось поддерживать пользовательские «индексы данных», написанные собственными разработчиками, которые раньше мешали им. На моей работе у нас есть огромное хранилище ключей и значений на диске, которое является основным узким местом в производительности в нашей системе и было написано разработчиком, который с тех пор уволился из компании. Разочаровывает то, что такое решение застряло среди захватывающих сегодня возможностей NoSQL. Проекты, подобные тем, которые я упомянул выше, используют всю силу сообщества открытого исходного кода для проверки и оптимизации их использования. Это не то, чего вы сможете достичь, работая над собственным решением, если только не потратите много времени, усилий и продвижения. По крайней мере, я рекомендую вам просмотреть все варианты nosql и, возможно, найти проект, в который вы могли бы внести свой вклад, а не создавать свой собственный. Написание самого сервера базы данных, безусловно, нетривиальная задача, для которой требуется огромная команда, особенно с указанными вами требованиями (но если вы в конечном итоге это сделаете, я желаю вам удачи! =))

Поздний ответ, но для дальнейшего использования я думаю, что Паук делает это