Вопросы по теме 'cascading'
Чтение из HBase с обвариванием
Я очень новичок в Cascading/Scalding и не могу понять, как горячо читать данные из HBase.
У меня есть таблица в HBase, где хранится история рук в покерных играх (очень простым способом: id -> hand, serialized with ProtoBuf ). Задание ниже...
779 просмотров
schedule
02.05.2023
Как читать исходный текст в Hadoop, разделенный специальным символом
В моем формате данных вместо новой строки используется \0. Таким образом, читатель textLine по умолчанию не работает. Как я могу настроить его для чтения строк, разделенных специальным символом?
Если невозможно настроить LineReader, возможно,...
2157 просмотров
schedule
31.03.2023
Запустите простое каскадное приложение в локальном режиме.
Я новичок в Cascading/Hadoop и пытаюсь запустить простой пример в локальном режиме (т.е. в памяти). Пример просто копирует файл:
import java.util.Properties;
import cascading.flow.Flow;
import cascading.flow.FlowConnector;
import...
6731 просмотров
schedule
25.07.2023
нокаут js не может связать каскадное выпадающее меню
Я новичок в нокауте и пытаюсь понять, как заполнить второй раскрывающийся список на основе выбора, сделанного в первом. Я основывал свой код на первой скрипте , предоставленной rpn в этом разговор .
Вот моя разметка
<div...
1349 просмотров
schedule
12.07.2022
Как переименовать поля Pipe в каскаде?
В двух разных случаях мне приходилось переименовывать все поля в канале для объединения (используя Merge или CoGroup ). Что я сделал недавно:
//These two pipes contain similar values but different Field Names
Pipe papa = new Retain(papa,...
887 просмотров
schedule
06.04.2023
Объединение выходов в каскаде
Я анализирую файлы журналов с различными доменными именами, используя Cascading. Вот пример выходного отчета после фильтрации:
www.google.nl 3
www.google.it 3
www.google.com.co 3
www.google.com.hk 3
www.google.co.jp 3
Я хотел бы...
78 просмотров
schedule
31.08.2022
Как передать аргументы действию Oozie с помощью oozie.launcher.action.main.class?
У Oozie есть свойство конфигурации с именем oozie.launcher.action.main.class, где вы можете передать имя «основного класса» для действия уменьшения карты (или действия оболочки), например:
<configuration>
<property>...
9079 просмотров
schedule
14.05.2022
Кто-нибудь выполнял соединения, используя 3 таблицы в каскаде?
Каскадирование — одна из лучших сред для работы с заданиями Hadood с использованием простых потоков данных.
Кто-нибудь пробовал и выполнял соединения, используя 3 таблицы в каскаде, если да, не могли бы вы поделиться своими идеями относительно...
123 просмотров
schedule
14.08.2022
CSS с использованием единицы измерения em. Половина размера изображения в родительском элементе div
У меня есть изображение, используемое в качестве источника в HTML-теге img , в файле div . Используя блок размера em , я хотел бы изменить размер моего изображения как половину его родительского блока div. Поэтому я установил img для свойств CSS...
1544 просмотров
schedule
27.05.2023
Ошибка каскадного задания 2.0.0 в Hadoop FileNotFoundException job.split
Когда я запускаю свою работу с большим набором данных, многие преобразователи/редьюсеры терпят неудачу, что приводит к сбою всей работы. Вот ошибка, которую я вижу у многих картографов:
java.io.FileNotFoundException: File does not exist:...
345 просмотров
schedule
08.09.2023
Каскадирование для нетерпеливого замораживания примера TFIDF
Я пытаюсь работать с Cascading для создания и выполнения сложных рабочих процессов обработки данных в локальном кластере Hadoop.
Я хочу создать вектор TFIDF, чтобы применить к нему алгоритмы машинного обучения, такие как NaiveBayes, с помощью среды...
82 просмотров
schedule
29.07.2022
Доступ к переменной пути в FileInputStream с использованием отражения
Я наткнулся на код, который использует отражение, чтобы добраться до переменной «путь» в FileInputStream!! Более странным является то, что commons.lang.reflect.FieldUtils.readField(is, "path", true) выбрасывает java.lang.IllegalArgumentException ....
708 просмотров
schedule
17.08.2023
Использование статических переменных внутри каскадирования
Когда я запускаю свою работу MapReduce, я сохраняю текущую метку времени как объект Date в статической переменной моего основного класса.
Позже, когда я хочу прочитать значение из другого класса (например, моего пользовательского класса...
82 просмотров
schedule
18.06.2023
цикл по значениям в richPipe: ошпаривание
Я пытаюсь решить проблему, когда мне приходится перебирать все значения в канале. Чтобы смоделировать мою проблему, я объясню пример проблемы.
Input file :
number
1
2
3
4
Output should be
number sumOfSmaller...
284 просмотров
schedule
22.01.2023
mutable.Buffer не работает с Scalding JobTest for Type Safe API
Я почти закончил свой проект Scalding, который использует Type Safe API вместо Fields API. Последняя проблема, которая остается для меня в общей настройке проекта, — это интеграционные тесты всего задания Scalding (я закончил модульные тесты для...
194 просмотров
schedule
04.06.2024
Получение значения поля из канала за пределами канала в Hadoop Cascading
Что касается вышеуказанной темы, есть ли способ получить значение поля из канала. И использовать это значение вне области действия канала в Hadoop Cascading? Данные имеют разделитель в виде «|»:
first_name|description
Binod|nothing...
159 просмотров
schedule
04.07.2022
Каскадные правила CSS W3C, объяснение, пожалуйста
Итак, у нас есть стандарты w3c, говорящие, какой приоритет имеет CSS при применении:
Сортировка по важности (обычная или важная) и происхождению (автор, пользователь или пользовательский агент). В порядке возрастания старшинства:
объявления...
83 просмотров
schedule
20.04.2022
Добавление определенного текста в Hadoop Cascading Flow
В каскадном потоке Hadoop у меня есть несколько кортежей, которые обрабатываются, и, наконец, я попал в пункт назначения.
Теперь мое требование: поместить эти кортежи в файл назначения с определенными определенными постоянными строковыми...
31 просмотров
schedule
29.05.2022
Hadoop: размер разделенных метаданных превысил 10000000
Когда я запускал каскадное задание, я получаю сообщение об ошибке:
Split metadata size exceeded 10000000
Я пытаюсь увеличить лимит на уровне задания, передав следующее в командную строку
xxx.jar -D...
1168 просмотров
schedule
23.11.2022
