Я использую Apache Spark для создания приложения. Чтобы сделать RDD доступными из других приложений, я пробую два подхода: Использование тахион Использование сервера spark-job Я новичок в Тахионе. Я выполнил следующие задачи, указанные...

Я пытаюсь понять функцию Spark в памяти. В этом процессе я наткнулся на Tachyon , который в основном находится на уровне данных памяти. который обеспечивает отказоустойчивость без репликации за счет использования систем происхождения и уменьшает...

Я пытаюсь реализовать совместное использование RDD/Dataframe с помощью Tachyon. Насколько я понимаю, с HDFS под FS запись является асинхронной (с репликацией в HDFS, происходящей за сценой) и, следовательно, должна быть быстрее, но в моем...

На данный момент тахион развернут в локальном режиме, т.е. http://tachyon-project.org/documentation/v0.7.1/Running-Tachyon-Locally.html Моя главная проблема здесь - соединение ssh. Классический способ заключается в следующем: ssh-keygen -t...

Я установил Alluxio локально со Spark и вставил 1000 файлов в память Alluxio. Тем не менее, чтение файла происходит очень медленно. Время чтения файла из памяти Alluxio равно времени чтения файла с диска. Я не понимаю, почему. File Name Size...

Я могу запустить подсчет слов на alluxio с примером jar, предоставленным cloudera, используя: sudo -u hdfs hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-examples.jar wordcount -libjars...

Я запускаю искру в ЛОКАЛЬНОМ режиме и пытаюсь заставить ее общаться с alluxio. Я получаю сообщение об ошибке: java.lang.ClassNotFoundException: класс alluxio.hadoop.FileSystem не найден Я просмотрел страницу здесь:...

Я индексирую документы для solr, используя java. Мой код отлично работает, когда я индексирую файлы на своем компьютере. Но когда я пытаюсь проиндексировать файлы, расположенные в alluxio, у меня возникает исключение «Нет файловой системы для схемы:...

Привет, я развернул кластер Alluxio с одним узлом, и он работает очень хорошо и быстро, но проблема, с которой я сталкиваюсь, заключается в том, что главный узел не запускается каждый раз, когда я перезапускаю свою машину Alluxio. Получение следующей...

Я использую Alluxio 2.0 для повышения производительности вычислительного уровня. Когда запрос не выполняется, я обнаружил, что к $Alluxio_home/logs/master.log добавляется подробный вывод netty . 2019-11-25 10:26:32,141 DEBUG...