Объяснение командной строки Hadoop

Может кто-нибудь объяснить мне этот синтаксис,

bin/hadoop jar hadoop*examples*.jar wordcount /user/hpuser/testHadoop /user/hpuser/testHadoop-output

Почему мы используем jar сразу после bin/hadoop Что означает hadoop*examples*.jar..? Подсчет слов — это название работы, или мы просим Hadoop не подсчитывать количество слов..?

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/


person Surya    schedule 23.07.2013    source источник


Ответы (1)


Руководство по командам:

банка

Запускает jar-файл. Пользователи могут объединить свой код Map Reduce в файл jar и выполнить его с помощью этой команды.

Использование: hadoop jar <jar> [mainClass] args...

jar это команда. hadoop*examples*.jar - это файл jar. WordCount — основной класс. Остальные аргументы передаются в WordCount.main():

public static void main(String[] args) throws Exception {
  int res = ToolRunner.run(new Configuration(), new WordCount(), args);
  System.exit(res);
}
person Remus Rusanu    schedule 23.07.2013
comment
hadoopexamples.jar — это один файл jar или несколько файлов jar - person Surya; 23.07.2013
comment
зачем нам нужен SSH-доступ для нового пользователя; почему он должен иметь возможность подключаться к своей учетной записи пользователя. - person Surya; 23.07.2013
comment
hadoopexamples — это один файл, в примерах используется *, поскольку фактический артефакт сборки (имя файла) зависит от версии сборки (например, hadoop-examples-1.1.0-SNAPSHOT.jar). * будет соответствовать вашему фактическому имени файла. Загляните в свой HADOOP_HOME, и вы найдете эту банку. - person Remus Rusanu; 23.07.2013
comment
Для SSH задайте другой вопрос, не связанный с вашим первоначальным вопросом. - person Remus Rusanu; 23.07.2013
comment
tanQ, вот и новый пост; stackoverflow.com/questions/17805431/new-user-ssh-hadoop - person Surya; 23.07.2013
comment
Дополнение к тому, что сказал Ремус - hadoop-example.jar также содержит другие программы MapReduce, такие как Pi-Estimator, а не только WordCount. - person SSaikia_JtheRocker; 23.07.2013