大数据平台搭建

1.Hadoop的安装与使用

1.创建hadoop用户

  1. sudo useradd -m hadoop -s /bin/bash    # 创建一个名叫hadoop的用户
  2. sudo passwd hadoop    # 重新设置hadoop用户的密码
  3. sudo adduser hadoop sudo    # 给用户hadoop增加管理员用户

2.更新apt和安装vim编辑器

  1. sudo apt-get update    # 更新apt
  2. sudo apt-gert install vim    # 安装vim编辑器

3.安装SSH和配置SSH无密码登录

1.安装SSH

  1. sudo apt-get install openssh-server    # 安装ssh服务端
  2. ssh localhost    # 登录到本机

2.配置无密码登录

  1. exit
  2. cd ~/.ssh/
  3. ssh-keygen -t rsa
  4. cat ./id_rsa.pub >> ./authorized_keys
  5. ssh localhost     # 此时再登录本机发现就不用输入密码了

4.配置JAVA环境

  1. sudo apt-get install default-jre default-jdk    # 安装JAVA
  2. vim ~/.bashrc

然后在文件的第一行添加

  1. export JAVA_HOME=/usr/lib/jvm/default-java

然后ESC,输入:wq回车。

  1. source ~/.bashrc    # 使变量设置生效

检验设置是否正确:

  1. echo $JAVA_HOME     # 检验变量值
  2. java -version
  3. $JAVA_HOME/bin/java -version  # 与直接执行java -version一样

5.安装单机Hadopp

将hadoop的安装包放在桌面上,然后执行下面的命令，将安装包解压到/usr/local目录下

  1. sudo tar -zxf hadoop-2.7.1.tar.gz -C /usr/local    # 将安装包解压到/usr/local目录下
  2. cd /usr/local    # 进入/usr/local目录
  3. sudo mv ./hadoop-2.7.1/ ./hadoop    # 将目录名修改为hadoop
  4.  sudo chown -R hadoop ./hadoop    # 修改区目录权限
  5. cd ./hadoop    # 进入hadoop目录

然后执行

  1. ./bin/hadoop version

会输出hadoop的版本信息

Hadoop文档中还附带了一些例子供我们测试，现在可以运行Grep实例在检测一个Hadoop是否安装成功。

  1. cd /usr/local/hadoop
  2. mkdir input
  3. cp ./etc/hadoop/*.xml ./input
  4. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep ./input ./output 'dfs[a-z.]+'
  5. cat ./output/*

到这里就安装完了单机Hadoop。