首次配好格式化

配置环境变量

1、在所有机器上执行命令vim /etc/profile
将下列代码加到文件最后

export HADOOP_HOME=/usr/local/hadoop-2.6.4 export PATH=$HADOOP_HOME/bin:$PATH:/usr/java/jdk1.7.0_80/bin

image.png

2、然后在所有机器上输入命令source /etc/profile来使配置生效
3、在master上输入命令hdfs namenode -format来进行格式化。
image.png

启动

在master节点输入以下命令

cd $HADOOP_HOME sbin/start-dfs.sh sbin/start-yarn.sh sbin/mr-jobhistory-daemon.sh start historyserver

输入jps即可检验
image.png

关闭

cd $HADOOP_HOME sbin/stop-yarn.sh sbin/stop-dfs.sh sbin/mr-jobhistory-daemon.sh stop historyserver

提交项目命令 hadoop jar bigDataTry.jar source.StockAvg /user/dfstest/testfile.csv /user/dfstest/out/hehe

求平均值命令 hadoop jar bigDataTry.jar source.StockAvg /user/dfstest/test_202110.csv /user/dfstest/out/demo11 对平均值排序命令 hadoop jar bigDataTry.jar source.StockAvgSort /user/dfstest/out/demo11/part-r-00000 /user/dfstest/out/demo11/out_2

hadoop jar bigData02.jar /user/dfstest/test_202110.csv /user/dfstest/out3