Обзор многочисленных компромиссов, которые следует учитывать при выборе решения для базы данных векторов
За последние несколько месяцев векторные базы данных привлекли большое внимание: более 10 компаний предлагают тот или иной тип архитектуры векторных баз данных. Почему существует так много типов? Что такое векторная база данных? Должен ли я переместить свою базу данных в векторную базу данных? Чтобы ответить на эти вопросы, давайте сначала попытаемся определить, что такое данные.
Исторический обзор баз данных
Данные состоят из информации, которая хранится в компьютере в цифровом виде и может быть организована или полуструктурирована. Данные обычно хранятся в системе, созданной для легкого доступа и управления, — базе данных. Векторы состоят из определенного типа данных, обычно из сжатого представления, которое содержит какое-то семантическое представление своей базовой идентичности. Основная суть использования векторов заключается в том, что их базовая идентичность может быть чем угодно — от текстового документа до аудиофайла. База данных векторов — это система баз данных, предназначенная для обработки векторов в любом масштабе. Идея состоит в том, чтобы иметь возможность извлекать векторы на основе семантики запроса, поскольку семантическое понимание обеспечивает лучший перевод запроса и результаты, чем запрос на основе ключевых слов.
Когда речь идет о базах данных, базы данных SQL — одни из первых типов, которые приходят на ум. Это связано с тем, что они возникли в 1970-х годах и являются одним из наиболее зрелых типов баз данных. Они настолько широко используются, что любой, кто работал в области, связанной с данными, в какой-то момент сталкивался с ними. Их успех обусловлен тем, что они рассматривают данные как структурированные, и в реальном мире большая часть данных создается в транзакционной форме. Последовательное использование всех этих транзакций для хранения данных в структурированной таблице. Реляционные базы данных становятся интересными, когда разные таблицы связаны друг с другом, чтобы отразить сложность мира. Несмотря на несомненный успех, основным недостатком реляционных баз данных является их негибкость. Реальные данные могут поступать из различных источников, и с появлением больших данных сбор данных происходит с высокой скоростью. Возможность собирать данные из этих разнообразных источников требует от нас сохранять данные, которые иногда могут быть…
