Вопросы по теме 'bulk-load'
Поля даты и данные загрузки Django
Можно ли загрузить дату в DateField, используя данные загрузки Django функция администратора ? У меня есть файл JSON, который я использую для массовой загрузки данных в свое приложение. При дампе данных поля даты выводятся в формате гггг-мм-дд ....
559 просмотров
schedule
01.10.2022
повышение производительности файла данных загрузки mysql
Я пытаюсь массово загрузить около 12 миллионов записей в таблицу InnoDB в (локальном) mysql, используя LOAD DATA INFILE (из CSV), и обнаружил, что это занимает очень много времени.
Тип первичного ключа — UUID, и ключи в файлах данных не...
4877 просмотров
schedule
23.10.2022
Массовая загрузка XML, относящаяся к автоинкременту родительского идентификатора
Вкратце : я хочу выполнить массовую загрузку XML в базу данных SQL Server (2008) и сгенерировать идентификаторы автоинкремента для родительского элемента, которые можно использовать в дочернем элементе. Это кажется ограниченным объемом: родительский...
3160 просмотров
schedule
22.05.2023
Массовая вставка/загрузка в MySQL и HBase
У меня есть система с двумя процессами, один из которых выполняет одиночную вставку, а другой — массовую вставку. Очевидно, что второй процесс быстрее, и я работаю над переносом первого процесса на механизм массовой вставки, но сегодня утром меня...
389 просмотров
schedule
17.07.2023
Большие записи вызывают нестабильность в кольце Cassandra
Я пытаюсь загрузить большой объем данных в кольцо Cassandra с 10 узлами.
Сценарий, выполняющий вставки, получает около 4000 вставок в секунду, предположительно заблокированных на сетевом вводе-выводе. Я запускаю 8 из них на одной машине, и...
1200 просмотров
schedule
18.08.2023
Массовая вставка MS SQL
У меня есть требование вставить большой файл 2 GB CSV в мою базу данных MS SQL. большую часть строк при этом вставлять не требуется. Я не нашел ничего для фильтрации строк при массовой вставке. Для этого я использую команду массовой вставки MS...
3084 просмотров
schedule
11.06.2023
Импорт DB2 с измененным форматом метки времени для времени с прикрепленным к нему EDT/EST
У меня есть файл import_file.csv с указанным ниже форматом метки времени.
Oct/21/2013 09:45:01 AM EDT
Dec/04/2013 04:41:01 PM EST
Я создал таблицу в IBM DB2 v9.7
create table table_import_timestamp ( my_timestamp timestamp )
А затем...
2311 просмотров
schedule
27.02.2023
Лучшая стратегия для гигантской массовой вставки SQL Server — высокочастотная или низкочастотная
Лучше загружать N пакетов данных по 1 МБ (высокая частота) или 1 пакет данных X МБ (низкая частота)?
Проблема для меня в том, что синтаксический анализ и обработка данных также требуют времени, поэтому кажется, что параллельный синтаксический...
369 просмотров
schedule
28.09.2022
Массовая загрузка MonetDB с автоматическим приращением
Я пытаюсь загрузить файлы csv в таблицы monetdb с автоматическим увеличением столбцов PK / Id, используя copy into <table> from file... .
В таблице есть столбец PK с автоматическим приращением.
В таблице больше столбцов, чем в входящих...
405 просмотров
schedule
02.11.2023
Самый быстрый способ заполнить тестовые данные для модуля cassandra?
Я использую модуль cassandra для тестирования в своем проекте (Java), и это здорово, но проблема в том, что загрузка тестовых данных занимает довольно много времени (100 секунд для ~ 25 000 простых вставок).
У меня есть некоторые идеи, но они не...
518 просмотров
schedule
30.09.2022
Параллельный импорт данных в SQL Server
У меня есть более 100 файлов для импорта на сервер sql, и большинство из них имеют размер 500 МБ. Я хочу использовать утилиту параллельного импорта SQL-сервера и прочитал несколько веб-страниц, например следующие:
Как загрузить 1 ТБ данных за 30...
1329 просмотров
schedule
04.08.2023
Массовая вставка Redis: протокол против встроенных команд
Для моей задачи мне нужно как можно быстрее загрузить большую часть данных в Redis. Похоже, эта статья правильно описывает мой случай: https://redis.io/topics/mass-insert
Статья начинается с примера использования нескольких встроенных команд...
862 просмотров
schedule
05.02.2023
Есть ли ограничение по времени для одного вызова синхронизации в Eloqua?
Мне нужно получить 1000 тыс. записей из Eloqua в mule esb, я делаю следующие 3 вызова в Eloqua для получения данных:
Создайте определение экспорта
Синхронизируйте исходящие данные во временную промежуточную область
Получить данные
В...
163 просмотров
schedule
19.10.2022
Проблемы со искрой при создании hfiles — добавлен ключ, лексически не превышающий предыдущую ячейку.
Я пытаюсь создать hfiles для массовой загрузки в Hbase, и он продолжает выдавать ошибку с ключом строки, хотя все выглядит нормально. Я использую следующий код:
val df = sqlContext.read.format("com.databricks.spark.csv")
.option("header",...
2186 просмотров
schedule
28.09.2022
Массовая загрузка в Cassandra, проблема грязного чтения и ее влияние на кластер
Наш вариант использования — загрузка больших объемов данных в наш работающий производственный кластер Cassandra. Нам приходится ежедневно загружать большие объемы данных в Cassandra. Мы наткнулись на sstableloader. У нас есть несколько запросов...
311 просмотров
schedule
20.05.2022
«Обнаружение компрессора может быть вызвано только для некоторых байтов xcontent или сжатых байтов xcontent» ошибка при индексировании списка словарей
Этот вопрос связан с другим: Как с помощью python читать данные из списка и индексировать определенные значения в Elasticsearch?
Я написал сценарий для чтения списка (фиктивного) и индексации его в Elasticsearch. Я преобразовал список в список...
361 просмотров
schedule
03.06.2023
