Вопросы по теме 'mapper'
Таблица сопоставления SQLAlchemy со столбцами, отличными от ascii, в класс
item = Table('Item', metadata, autoload=True, autoload_with=engine, encoding = 'cp1257')
class Item(object):
pass
from sqlalchemy.orm import mapper
mapper(Item, item)
Я получаю сообщение об ошибке:
line 43, in <module>...
1146 просмотров
schedule
16.10.2022
Ant: скопируйте один и тот же набор файлов в несколько мест - продолжение
Мой вопрос - продолжение этой темы: Ant: скопируйте тот же набор файлов в несколько мест
Я новичок в картографах. Может ли кто-нибудь (Carej?) Любезно поделиться примером использования картографа для этого? Вот что я пытаюсь:...
2355 просмотров
schedule
28.10.2022
Можно ли создать Compound-Primary-key в модели в картографе лифта?
Можно ли создать составной первичный ключ в моделях лифта? Если да, то как?
172 просмотров
schedule
16.03.2023
Zend Framework - отношения ORM и оптимизация
Я использую ZF несколько месяцев и очень доволен этим, однако я не совсем уверен в том, как работать с отношениями моделей и в то же время избегать множественных запросов к базе данных. Многие люди сталкиваются с этой проблемой, и никто не может...
1983 просмотров
schedule
09.03.2023
Запрос относительно перетасовки при уменьшении карты
Как узел, обрабатывающий сопоставитель, знает, что он должен отправить часть вывода ключ-значение узлу A (работает редуктор) и часть узлу B (работает другой редуктор)? Есть ли где-нибудь список узлов редуктора, поддерживаемый JobTracker? Если да, то...
128 просмотров
schedule
12.03.2023
mrJob python mapReduce word_count.py
Я только начал использовать mrJob (mapReduce для python) и не знаком с парадигмой MapReduce. Я хотел бы узнать следующее об учебнике word_count.py, который представлен на сайте документации MRJob.
В документах говорится, что если мы создадим...
2522 просмотров
schedule
03.09.2022
Общая запись данных не может быть применена к Авро.
Недавно я выполнил задание Sqoop , а затем использовал AvroTools для извлечения схемы файлов avro, а затем скомпилировал ее в класс Java . . Всякий раз, когда я пытаюсь использовать объект Avro, я получаю следующее исключение ClassCastException:...
1544 просмотров
schedule
30.05.2022
Количество входных разбиений равно количеству картографов?
Я обрабатываю один файл с картой, уменьшая этот размер файла до 1 ГБ, а размер блока по умолчанию в HDFS составляет 64 МБ, поэтому для этого примера, сколько входных разбиений и сколько картографов?
1373 просмотров
schedule
15.05.2022
hadoop mapreduce выполняется только один маппер
Я запускаю работу по уменьшению карты. Независимо от размера файла (70 МБ, 200 МБ, 2,5 ГБ) запускается только один маппер. Размер блока составляет 128 МБ.
Кто может помочь разобраться в чем может быть причина??
Примечание
Файл данных не...
779 просмотров
schedule
08.10.2022
Доступ к счетчику Mapper на этапе Reducer (до завершения работы)
Как совершенно очевидно из названия, моя цель — использовать счетчик Mapper на фазе сокращения, прежде чем закончить конкретную работу.
Я столкнулся с несколькими вопросами, которые были тесно связаны с этим вопросом, но ни один из них не решил все...
1147 просмотров
schedule
24.10.2022
Сопоставление Джексона со списком строк или простой строкой
Я пытаюсь получить Json из API и разобрать их на несколько POJO для работы с ними, но у меня есть случай, когда я могу получить для ключа простую строку или список строк.
Json выглядит так:
{
"offerDisplayCategoryMapping": [
{...
5734 просмотров
schedule
05.02.2023
Орика: карта из строки в список некоторых объектов
Рассмотрим следующую ситуацию:
public class A {
private String stringA;
public String getStringA() {
return stringA;
}
public void setStringA(String stringA) {
this.stringA = stringA;
}
}
public class B {...
3444 просмотров
schedule
12.05.2023
Mapreduce не может сортировать по значению [python]
Цель состоит в том, чтобы отсортировать (ключ, значение) по значению ввода, который представляет собой файл json. У меня есть 4 метода, две пары мапперов и редукторов.
Ввод похож на
{
id: 1,
user: {
friends_count: 1
}
}
Вывод...
1151 просмотров
schedule
01.06.2023
отчет resultMap всегда должен соответствовать конструктору, идентификатору, результату, ассоциации, коллекции, дискриминатору
Мой файл сопоставления mybatis всегда сообщает следующее сообщение об ошибке:
Содержимое элемента типа «resultMap» должно соответствовать «(конструктор?, идентификатор*, результат*, ассоциация*, коллекция*, дискриминатор?)».
и вот моя...
1879 просмотров
schedule
08.10.2022
Как сопоставить json, что я не знаю количество параметров
Здравствуйте, у меня есть json, который возвращает мне некоторые параметры в виде переменных. У него есть Parameter1, Parameter2, Parameter3 и т. д. Я не знаю, сколько параметров он мне даст. Это не список, это просто разные переменные в json....
70 просмотров
schedule
15.11.2022
org.apache.hadoop.mapred.lib.MultipleOutputs.addNamedOutput() в oozie
Я пытаюсь использовать MultipleOutputs для изменения имени выходного файла в редюсере. Я использую рабочий процесс oozie для запуска задания mapreduce.
Я не могу найти способы добавить свойство ниже в рабочий процесс oozie -...
117 просмотров
schedule
13.06.2022
Преобразование членства в группах LDAP в атрибуты SAML в Keycloak
Мне нужно преобразовать членство в группах из внешнего каталога LDAP в атрибут SAML в сеансе SAML с помощью Keycloak. Для каждого пользователя будет неопределенное количество членств в группах. Имя группы будет иметь идентификатор клиента для Amazon...
997 просмотров
schedule
28.05.2023
Найти путь к файлу jar в GCP
Найдите путь к jar-файлу hadoop-streaming-1.2.1.jar в файловой платформе Google.
https://github.com/devangpatel01/TF-IDF-implementation-using-map-reduce-Hadoop-python-
Я пытаюсь запустить этот mapreduce на GCP с помощью Hadoop, но не могу...
353 просмотров
schedule
24.09.2022
java.lang.OutOfMemoryError: ошибка пространства кучи Java при выполнении запроса Hive
При выполнении запроса Hive из Hive Shell с использованием механизма выполнения TEZ я получаю java.lang.OutOfMemoryError: ошибка пространства кучи Java в журналах, но в конце запрос завершается.
Я хотел понять, почему я получаю эту ошибку в...
111 просмотров
schedule
13.03.2023
