- (Linux环境下)官网下载Hadoop3.2.1
- 解压Hadoop
tar -xvf hadoop-3.2.1.tar.gz
- 配置环境
- 配置
JAVA_HOME
- 配置
HADOOP_HOME
- 配置
PATH
,用于快捷执行Hadoop
- 配置
- 执行脚本,测试Hadoop是否安装成功
```bash
!/bin/bash
rm -rf /home/testOutput rm -rf /home/testInput
mkdir /home/testInput cp $HADOOP_HOME/etc/hadoop/*.xml /home/testInput hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar \ grep /home/testInput /home/testOutput ‘dfs[a-z.]+’ ```
- 首先在执行目录下,删除
testOutput
、testInput
- 创建
testInput
,并将$HADOOP_HOME/etc/hadoop/*.xml
复制到/home/testInput
下 - 然后执行官方的测试用例
hadoop-mapreduce-examples-3.2.1.jar
,使用grep指令筛选满足正则表达式的内容,并将结果输出到/home/testOutput
注意:hadoop
执行时,不能存在输出目录