Теперь у меня есть файл, в котором записаны записи таблицы поиска. Если количество записей невелико, я могу просто загрузить этот файл в карту STL и выполнить поиск в своем коде. Но что, если записей очень много? Если я сделаю это так, как указано выше, это может вызвать ошибку, например нехватку памяти. Я здесь, чтобы выслушать твой совет...
P.S. Я просто хочу выполнить поиск, не загружая все записи в память.
Может ли база данных "ключ-значение" решить эту проблему?
В конце концов вам придется загружать данные с жесткого диска, но если таблица большая, она не поместится в память, чтобы выполнить линейный поиск по ней, поэтому:
Это очень упрощенная схема для типичной системы управления базами данных, поэтому вы можете использовать такую, как MySQL, PostgreSQL, MsSQL, Oracle или любую из них. Если это учебный проект, то после того, как вы решите проблему поиска, подумайте об оптимизации линейных операций (путем переключения на что-то вроде бинарного поиска) и таблиц (в реальных базах данных используются сбалансированные древовидные структуры, хэш-таблицы и т.п.).
Одним из способов может быть реорганизация данных в файле по группам.
Например, давайте рассмотрим полный языковой словарь. Обычно словари слишком велики, чтобы их можно было полностью прочитать в память. Так что одна идея состоит в том, чтобы сгруппировать слова по первой букве.
В этом примере вы сначала прочитаете в соответствующей группе на основе письма. Таким образом, если слово, которое вы ищете, начинается с «m», вы загрузите группу «m» в память.
Существуют и другие методы группировки, такие как длина слова (ключа). Также могут быть подгруппы. В этом примере вы можете разделить группу «m» на длину слова или на вторую букву.
После группировки вы можете захотеть записать данные обратно в другой файл, чтобы вам больше не приходилось изменять данные.
Есть много способов сохранить группы в файле, например, с помощью маркера «раздел». Хотя это уже другой вопрос.
Идеи здесь, в том числе из @047, состоят в том, чтобы структурировать данные для наиболее эффективного поиска, учитывая ваши ограничения памяти.
