（原创）CDH 5.13安装部署手册 - 《大数据》

安装介质准备

Redhat 6（Centos 6）：

安装文件

下载路径：
http://archive.cloudera.com/cm5/cm/5/
下载文件：
cloudera-manager-el6-cm5.13.0_x86_64.tar.gz

资源库文件

下载路径：
http://archive.cloudera.com/cdh5/parcels/5.13/
下载文件：
CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel
CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1
manifest.json
Redhat 7（Centos 7）：

安装文件

下载路径：
http://archive.cloudera.com/cm5/cm/5/
下载文件：
cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

资源库文件

下载路径：
http://archive.cloudera.com/cdh5/parcels/5.13/
下载文件：
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1
manifest.json
注意：以下安装过程以Redhat 6为例。

服务器准备

1.关闭防火墙（所有节点）
临时：service iptables stop
永久：chkconfig iptables off
2.关闭selinux（所有节点）
查看selinux状态：sestatus
临时关闭selinux：setenforce 0
永久关闭selinux：
vi /etc/selinux/config
SELINUX=enforcing改为SELINUX=disabled
3.修改hosts（所有节点）
vi /etc/hosts
修改为：
192.168.56.30 CDH.SERVER
192.168.56.31 CDH.AGENT.Master1
192.168.56.32 CDH.AGENT.Node1
192.168.56.33 CDH.AGENT.Node2
192.168.56.34 CDH.AGENT.Node3
4.ssh无密码登录（所有节点）
a）ssh-keygen -t rsa
说明：连续3个回车，不必输入，生成密钥
b）ssh-copy-id -i /root/.ssh/id_rsa.pub root@master
说明：把本机的公钥追到master的 .ssh/authorized_keys 里
c）在每台机器上都对其他机器重复执行第2步，直到所有机器都能相互免密码登陆
ssh-copy-id -i /root/.ssh/id_rsa.pub root@CDH.SERVER
ssh-copy-id -i /root/.ssh/id_rsa.pub root@CDH.AGENT.Master1
ssh-copy-id -i /root/.ssh/id_rsa.pub root@CDH.AGENT.Node1
ssh-copy-id -i /root/.ssh/id_rsa.pub root@CDH.AGENT.Node2
ssh-copy-id -i /root/.ssh/id_rsa.pub root@CDH.AGENT.Node3
三、安装
1.安装JDK（所有节点）
rpm -ivh jdk-8u111-linux-x64.rpm
配置环境变量：
vi /etc/profile
添加：
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$JAVA_HOME/lib
export CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib
生效：source /etc/profile
验证：java -version
2.安装mysql（服务器）
yum install -y mysql-devel
yum install -y mysql-server
yum install -y mysql-libs
yum install -y mysql
检查：rpm -qa|grep mysql
启动：service mysqld start
3.创建mysql数据库（服务器）
进入mysql命令行：mysql -uroot
密码修改：SET PASSWORD FOR ‘root’@’localhost’ = PASSWORD(‘root’);
1）hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
2）集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3）hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
4）oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
4.mysql赋权（服务器）
grant all privileges on . to ‘root’@’%’ identified by ‘root’ with grant option;
flush privileges;

5.安装CM（服务器）
a）将cloudera-manager-el6-cm5.13.0_x86_64.tar.gz上传到CM的主节点的/opt/目录下并解压缩，解压后会生成cloudera以及cm-5.13.0两个文件夹；
解压命令：tar -xvzf cloudera-manager-el6-cm5.13.0_x86_64.tar.gz -C /opt/
b）创建用户（所有节点）：
useradd —system —home=/opt/cm-5.13.0/run/cloudera-scm-server —no-create-home —shell=/bin/false —comment “Cloudera SCM User” cloudera-scm
c）修改sudoers文件
vim /etc/sudoers
在root ALL=(ALL) ALL的下面增加一行
cloudera-scm ALL=(ALL) NOPASSWD: ALL
d）部署mysql connector包
将mysql-connector-java-5.1.39-bin.jar（或当前安装版本的MySQL驱动jar包）放到/opt/cm-5.13.0/share/cmf/lib/下。
e）配置agent
vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini
将server_host配置项由localhost改成CDH.SERVER（服务器名称）。
f）分发cm文件到各个节点
scp -r /opt/cm-5.13.0 CDH.AGENT.Master1:/opt/
scp -r /opt/cm-5.13.0 CDH.AGENT.Node1:/opt/
scp -r /opt/cm-5.13.0 CDH.AGENT.Node2:/opt/
scp -r /opt/cm-5.13.0 CDH.AGENT.Node3:/opt/
g）初始化cm数据库
/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot —scm-host localhost scm scm scm
h）服务器配置本地源
将已下载完毕的 CDH-5.13.0-1.cdh5.13.0.p0.42-el6.parcel，CDH-5.13.0-1.cdh5.13.0.p0.42-el6.parcel.sha1，manifest.json放到 /opt/cloudera/parcel-repo下，并把CDH-5.13.0-1.cdh5.13.0.p0.42-el6.parcel.sha1重命名为CDH-5.13.0-1.cdh5.13.0.p0.42-el6.parcel.sha

注：建议server和master均做个快照（master、slave1、slav2、slav3创建一个即可）

i）服务器启动<br />        /opt/cm-5.13.0/etc/init.d/cloudera-scm-server start<br />        检查启动日志：<br />        tail -f /opt/cm-5.13.0/log/cloudera-scm-server/cloudera-scm-server.log<br />    j）agent节点创建所需的文件夹（agent节点）<br />        mkdir -p /opt/cm-5.13.0/run/cloudera-scm-agent<br />    k）agent启动（agent节点）<br />        /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start<br />    l）测试：<br />        http://192.168.56.30:7180<br />        用户/密码：admin/admin<br />    m）web配置<br />        （1）cloudera express
<br />        （2）继续<br />        （3）IP地址为：192.168.56.[31-34]，点击搜索
<br />    <br />        （4）如果前面的配置全部正确的话，会进入如下界面：<br />    
    （5）完成配置。<br />    （选择所有服务进行安装）

配置数据库连接

安装过程问题及解决办法：
1.创建Hive时，缺少mysql驱动，报错：

解决办法：

2.创建oozie时，缺少mysql驱动报错，解决办法：
把jdbc驱动放到/var/lib/oozie 目录下
scp mysql-connector-java.jar root@192.168.55.41:/var/lib/oozie