虚拟机上安装 Hadoop 测试集群 - 《《大数据学习指北》》

目标
准备
- 获取 vagrant
- 下载 jdk, zookeeper, hadoop 二进制文件
开始安装
第一次初始化
开机
vagrant的相关操作
检查是否安装成功

虚拟机上安装你的第一个hadoop测试集群

git仓库
https://github.com/fencex/hadoop-vagrant

目标

我们的目标是安装五个节点的集群，3台data node 2台namenode

5 nodes

	NN	DN	ZK	ZKFC	JN	RM	NM
node01		√	√		√	√	√
node02		√	√		√	√	√
node03		√	√		√		√
node04	√			√
node05	√			√

准备

获取 vagrant

https://www.vagrantup.com/

下载 jdk, zookeeper, hadoop 二进制文件

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
get jdk-8u212-linux-x64.tar.gz
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

开始安装

git clone git@github.com:fencex/hadoop-vagrant.git
cd hadoop-vagrant

## generate key for nodes
ssh-keygen -f ssh-key
cat ssh-key.pub >> authorized_keys

## add your pub key
cat ~/.ssh/id_rsa.pub >> authorized_keys

## add vagrant pub key
ssh-keygen -y -f ~/.vagrant.d/insecure_private_key >> authorized_keys

## fire up
./command/up.sh

第一次初始化

## 在 node01 node02 node03  执行
zkServer.sh start

## 在 node01 执行
hadoop-daemon.sh start journalnode

## node04
hdfs namenode -format
hadoop-daemon.sh start namenode

## node05
hdfs namenode -bootstrapStandby
hadoop-daemon.sh start namenode

## node05
hdfs zkfc -formatZK

## then stop all
stop-all.sh

开机

## node01 node02 node03 
zkServer.sh start

## node01
start-dfs.sh

## node01
start-yarn.sh

vagrant的相关操作

## up
./command/up.sh

## suspend
./command/suspend.sh

## resume suspended
./command/resume.sh

## shutdown
./command/halt.sh

检查是否安装成功

http://node04:50070

http://node05:50070

欢迎订阅公众号「大数据学习指北」，
记住能力越大，薪资越高

💰
👆