Microsoft Cosmosdb для Mongodb: объединение необработанной коллекции в сегментированную

Вы можете выполнить агрегирование и добавить оператор $merge на последнем этапе.

| $merge                                | $out                                       | 
| Can output to a sharded collection.   | Cannot output to a sharded collection.     | 
| Input collection can also be sharded. | Input collection, however, can be sharded. | 

https://docs.mongodb.com/manual/reference/operator/aggregation/merge/#comparison-with-out

Итак, мой вопрос: как я могу эффективно добавить данные из коллекции X в коллекцию Y?

Серверные инструменты mongodump и mongorestore. Вы можете экспортировать данные исходной коллекции в файлы дампа BSON и импортировать в целевую коллекцию. Эти процессы выполняются очень быстро, поскольку данные в базе данных уже находятся в формате BSON.

С помощью этих инструментов данные можно экспортировать из не сегментированной коллекции в сегментированную коллекцию. В этом случае требуется, чтобы в исходной коллекции было поле ключа осколка (или поля) со значениями. Обратите внимание, что индексы из исходной коллекции также экспортируются и импортируются (с помощью этих инструментов).

Вот пример рассматриваемого сценария:

mongodump --db=srcedb --collection=srcecoll --out="C:\mongo\dumps"

Это создает каталог дампа с именем базы данных. В нем будет файл srcecoll.bson, который используется для импорта.

mongorestore --port 26xxxx --db=trgtdb --collection=trgtcoll --dir="C:\mongo\dumps\srcecoll.bson"

Хост / порт подключается к mongos сегментированного кластера. Обратите внимание, что имя файла bson необходимо указать в параметре --dir.

Импорт добавляет данные и индексы в существующую сегментированную коллекцию. Процесс только вставляет данные; существующие документы не могут быть обновлены. Если значение _id из исходной коллекции уже существует в целевой коллекции, процесс не перезапишет документы (и эти документы не будут импортированы, и это не является ошибкой).

Для mongorestore есть несколько полезных опций, например: --noIndexRestore и --dryRun.

Поскольку версия MongoDb в CosmosDB в настоящее время 3.4.6, она не поддерживает $ merge и множество других команд, таких как colleciton.copyTo и т. Д. Использование функции импорта Studio 3T также не помогло.

Решение, которое я использую, - загрузить целевую коллекцию на мой локальный mongodb, очистить ее, а затем написать Java-код, который будет читать мои чистые данные из локальной базы данных и вставлять (или записывать) их в целевую коллекцию. Таким образом, данные будут добавлены в целевую коллекцию. Скорость, которую я измерил, составила 2 часа для 1 млн документов (~ 750 МБ), конечно, эти цифры могут варьироваться в зависимости от различных факторов, например сети, размера документа и т. Д.