Вопросы по теме 'data-partitioning'
Проблема раздела Matlab
Моя голова застряла в поисках алгоритма решения моей проблемы.
Предположим, у меня есть N числа (скажем, 4), и я хочу иметь ВСЕ X-разделы (X = N / 2)
Пример:
2-разделами {1,2,3,4} являются: (1,2) (1,3) (1,4) (2,3) (2,4) (3,4) [Проще говоря:...
1963 просмотров
schedule
17.01.2023
Задача с рекурсивной функцией разбиения (теория чисел)
Пример: предположим, что ваш пользовательский ввод равен 6. Тогда количество последовательностей, которые в сумме дают 6, равно 11 (включая само 6). Проблема, с которой я сталкиваюсь, заключается в том, что он работает, когда пользователь вводит 1...
2159 просмотров
schedule
21.11.2022
Алгоритм разделения списка на две равные части
Связанные вопросы:
Алгоритм разделения списка чисел на 2 списка с равной суммой
разделите список на две части, чтобы их сумма самые близкие друг к другу
Предположим, у меня есть список, который содержит ровно 2k элементов....
1546 просмотров
schedule
28.05.2024
Рекурсивный алгоритм для всех k-way разделов списка
Я пишу функцию, которая должна выводить все k-путевые разделы списка A. Эта проблема явно рекурсивна, и ее реализация должна быть простой:
def gen_partition_k_group( A, k):
#
if len(A) == 0 :
# EDITED FOLLOWING SUGGESTION...
246 просмотров
schedule
11.07.2023
Сокращение раздела с использованием столбцов DATE и RANGE
Я пытаюсь разделить базу данных, используя столбец DATE, чтобы воспользоваться сокращением разделов в MySQL 5.7. По внутренним причинам мне нужно разделить на RANGE COLUMNS , потому что добавлять/удалять разделы легко и быстро.
Хотя веб-сайт...
241 просмотров
schedule
05.10.2022
Игнорировано повторяющееся свойство derby.module.dataDictionary в Hive
У меня есть таблица EMPLOYEES, которая разбита на разделы на основе COUNTRY и STATE. Ниже представлены перегородки.
hive (human_resources)> show partitions employees ;
OK
country=IN/state=PU
country=US/state=CA
country=US/state=IL
Time taken:...
181 просмотров
schedule
22.04.2024
Как функция createDataPartition из данных разделения пакета каретки?
Из документации:
Для бутстрап-выборок используется простая случайная выборка.
Для другого разбиения данных случайная выборка выполняется в пределах уровней y, когда y является фактором в попытке сбалансировать распределения классов в разбиениях....
22541 просмотров
schedule
26.03.2024
как создать динамическое количество разделов, используя разделение таблиц на основе ключей в MYSQL?
Я пытаюсь создать таблицу Partitioned с помощью mysql, но не хочу указывать количество разделов. например, в данной таблице у меня будет более 100 тыс. записей для каждого региона. Я не знаю регионов. они придут позже. поэтому количество разделов...
1193 просмотров
schedule
25.09.2023
Избегайте затрат на перераспределение при фильтрации и последующем объединении
Я реализую запрос диапазона в RDD из (x, y) точек в pyspark. Я разделил пространство xy на сетку 16 * 16 (256 ячеек) и назначил каждую точку в моем RDD одной из этих ячеек. gridMappedRDD — это PairRDD: (cell_id, Point object)
Я разделил этот...
649 просмотров
schedule
07.08.2022
Повторное разделение Dask Dataframe с настраиваемым индексом
У меня есть огромный фрейм данных Dask, похожий на этот
|Ind| C1 | C2 |....| Cn |
|-----------------------|
| 1 |val1| AE |....|time|
|-----------------------|
| 2 |val2| FB |....|time|
|-----------------------|
|...|....| .. |....| ...|...
955 просмотров
schedule
13.05.2023
Есть ли ограничение на количество столбцов разделов DolphinDB?
есть ли у DolphinDB ограничение на количество столбцов разделов, которые можно указать?
Предположим, что большинство столбцов таблицы имеют одинаковый диапазон значений (100 столбцов). Могу ли я создать таблицу разделов, указав их все?
18 просмотров
schedule
08.05.2023
Динамическое создание ключа раздела с помощью команды Sqoop из MySQL в Hive
Я хочу создать таблицу Hive, импортировав данные из MySQL. Следующая команда может создать таблицу:
sqoop import \
-D mapred.job.name=name \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true \
-connect "connection_detail" \
-username...
206 просмотров
schedule
13.04.2023
Как импортировать данные из таблицы hdfs во вложенную секционированную таблицу в улье?
Я сделал вложенную секционированную таблицу в улье. Но я не знаю, как вставить данные в таблицу.
Я попытался вставить метод перезаписи таблицы.
В улье,
create external table accounts_nested(
first_name string, last_name string, zipcode...
69 просмотров
schedule
03.03.2023
Допустимо ли несколько раз вводить одни и те же входные данные в машинном обучении (с разными выходными данными)?
Мне было интересно, допустимо ли в машинном обучении иметь набор данных, который может содержать одни и те же входные данные несколько раз, но каждый раз с другим (действительным!) выходом. Например, в случае машинного перевода, вводное...
1302 просмотров
schedule
30.04.2023
Самый простой алгоритм для разделения нескольких (возможно) перекрывающихся диапазонов
Предположим, у меня есть вектор диапазонов, и я хочу разделить их на несколько разделов. Обратите внимание, что это не то же самое, что делает std::partition, то есть находит единственную точку раздела. Мне интересно, есть ли для этого STL или boost...
48 просмотров
schedule
26.08.2023
Распределение данных по ключу в Apache Flink, логическом или физическом операторе?
Согласно документации Apache Flink, преобразование KeyBy логически разбивает поток на непересекающиеся разделы. Все записи с одинаковым ключом относятся к одному разделу.
Является ли KeyBy 100% логическим преобразованием? Разве это не включает...
351 просмотров
schedule
16.07.2022
