1. OS及相关依赖环境的配置

1.1 hostname设定与解析

1.2 配置ssh免密登录

1.3 禁用防火墙

1.4 禁用SELINUX

  • 在所有节点， vim /etc/selinux/config

    1. selinux=disabled

  • 在所有节点，执行命令

    1. setenforce 0

    1.5 禁用透明大页

    在cdh-1节点 vim /etc/rc.local

    1. echo never > /sys/kernel/mm/transparent_hugepage/enabled
    2. echo never > /sys/kernel/mm/transparent_hugepage/defrag

    分发至其余节点，并重启

    1. scp /etc/rc.local cdh-2:/etc
    2. ssh cdh-2 'chmod a+x /etc/rc.d/rc.local'
    3. scp /etc/rc.local cdh-3:/etc
    4. ssh cdh-3 'chmod a+x /etc/rc.d/rc.local'

    重启后，检查/sys/kernel/mm/transparent_hugepage/defrag和 /sys/kernel/mm/transparent_hugepage/enabled为never

    1.6 禁用交换分区

    在cdh-1节点 vim /etc/sysctl.conf

    1. vm.swappiness=1

    分发至其它节点，并重启

    1. scp /etc/sysctl.conf cdh-2:/etc
    2. scp /etc/sysctl.conf cdh-3:/etc

    重启后，使用sysctl vm.swappiness检查vm.swappiness的值为1。

    1.7 CDH安装源设置

    这里推荐建立Cloudera Manager的yum源进行安装，以Parcel的方式建立Hadoop组件，两者 都需要有一个FTP或者HTTP服务器，让安装过程能够从服务器中读取这些安装包，这里选择 使用HTTP服务器作为RPM与Parcel安装程序的存放位置。

  • 在cdh-1上部署HTTP服务器

    1. # yum install httpd
    2. # service httpd start
    3. # chkconfig httpd on

  • 为了能够正确的建立yum源， 这里还需要createrepo这个工具。 

    1. # yum install createrepo

  • 下载CDH6.3.2

链接：https://pan.baidu.com/s/1Sr994quLeJnTppOwscyL5w
提取码：6433

  • 在/var/www/html/目录下创建如下目录，并放置对应安装文件
    • CM源：cloudera-repos/cm6
    • CDH源：cdh-6.3.2

  • 上传CM 6.3.1的tar包，并解压

    1. # tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

  • 上传如下2个文件，并放置于/var/www/html/cdh-6.3.2

    • CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
    • manifest.json
  • 上传allkeys.asc至/var/www/html/cm6

  • 创建CDH REPO

    1. # createrepo

  • 在/etc/yum.repos.d下面新建cm.repo文件，内容如下： 

    1. [cm]
    2. name=Cloudera Manager 6.3.x
    3. baseurl=http://155.16.144.1/cloudera-repos/cm6
    4. gpgcheck=0

    1.8 配置时间同步

    1.9 配置Mysql元数据库

    1.9.1 mysql安装

    在cdh1上安装mysql

    1.9.2 创建CM/CDH元数据库

    1. create database scm default character set utf8 default collate utf8_general_ci;
    2. grant all on scm.* to 'scm'@'%' identified by 'password';
    3. create database amon default character set utf8 default collate utf8_general_ci;
    4. grant all on amon.* to 'amon'@'%' identified by 'password';
    5. create database rmon default character set utf8 default collate utf8_general_ci;
    6. grant all on rmon.* to 'rmon'@'%' identified by 'password';
    7. create database hue default character set utf8 default collate utf8_general_ci;
    8. grant all on hue.* to 'hue'@'%' identified by 'password';
    9. create database metastore default character set utf8 default collate utf8_general_ci;
    10. grant all on metastore.* to 'metastore'@'%' identified by 'password';
    11. create database sentry default character set utf8 default collate utf8_general_ci;
    12. grant all on sentry.* to 'sentry'@'%' identified by 'password';
    13. create database nav default character set utf8 default collate utf8_general_ci;
    14. grant all on nav.* to 'nav'@'%' identified by 'password';
    15. create database navms default character set utf8 default collate utf8_general_ci;
    16. grant all on navms.* to 'navms'@'%' identified by 'password';
    17. create database oozie default character set utf8 default collate utf8_general_ci;
    18. grant all on oozie.* to 'oozie'@'%' identified by 'password';

    2. CM与CDH软件的安装部署

    2.1 CM的安装与配置

    部署 Cloudera Manager服务 ，在cdh-1上进行

  • 安装JDK、CM SERVER、CM CLIENT

    1. yum install oracle-j2sdk1.8 cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

  • 配置Cloudera Manager能够连接MySQL元数据库，如果不成功，可以继续往后走，前面手动创建过各数据库，感觉这部好像没必要了

    1. /opt/cloudera/cm/scm_prepare_database.sh -h cdh-1 --scm-host cdh-1 mysql scm scm
    2. ## -h mysql节点 --scm-host cm manager 节点

  • 启动CM SERVER

    1. service cloudera-scm-server start

  • 稍后，从浏览器中打开CM界面（http://CMHOST:7180），界面如下所示，默认用户名/密码 admin/admin

    2.2 CDH安装

  • 修改hash文件名，不然检测不到cdh parcel包

    1. mv /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

  • 根据界面提示安装即可

参考
CDH安装.pdf

3. 参考文献

  1. https://zhuanlan.zhihu.com/p/366308900