过程:
- 编写WordCount.java,包括Mapper类和Reducer类
- 编译WordCount.java,javac-classpath
- 打包jar - cvf WordCount.jar classes/*
- 作业提交 hadoop jar WordCount.jar WordCount input output
javac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java
jar -cvf 打包后文件名.jar 某某.class
jar -cvf wordcount.jar .class —>将当前目录下的所有class文件,全部加入到jar中去
hadoop fs -mkdir input_wordcount //创建一个hadoop 目录,用于存放提交的作业
hadoop fs -put input/ input_wordcount //将本地的文件提交到input_wordcount目录中
hadoop jar word_count_class/wordcount.jar WordCount input_wordcount output_wordcount
//提交jar给hadoop执行
hadoop jar jar包路径 执行的主函数名(主类名,main方法所在类名) 输入目录名 输出目录名
hadoop fs -ls output_wordcount //查看输出目录下有哪些文件
hadoop fs -cat output_wordcount/part-r-00000 //查看最后的MR输出是什么