一、环境描述

1、内容概述

  1. 创建Gateway节点的主机模板
  2. Gateway节点的前置准备
  3. 增加Gateway节点到集群并应用主机模板

  4. GateWay节点命令测试

    2、测试环境

  5. CDH5.16.2

  6. 采用root用户操作

  7. CentOS7

    3、前置条件

  8. CDH5.16.2集群运行正常

  9. Gateway节点已准备，并准备好前置

    二、创建Gateway节点的主机模板

    1、CM 的Web管理界面，点击【创建主机模板】
    image.png
    2、选择【创建】进行创建主机模板
    image.png
    3、命名模板，选择各个服务勾选相应的GateWay角色，点击【创建】
    image.png
    4、创建成功如下图所示：
    image.png

三、Gateway节点的前置准备

1、修改主机名、修改并同步IP映射

  1. 修改主机名（exit退出shell，重新进入生效）

    1. hostnamectl set-hostname cdh4.macro.com

    image.png

  2. 配置hosts的ip映射

    1. vim /etc/hosts
    2. ---------复制如下内容---------
    3. 192.168.0.200 cdh1.macro.com
    4. 192.168.0.221 cdh2.macro.com
    5. 192.168.0.222 cdh3.macro.com
    6. 192.168.0.223 cdh4.macro.com

    image.png

  3. 同步到所有节点

    1. -------分发同步hosts文件到所有节点-------
    2. scp /etc/hosts root@cdh1.macro.com:/etc
    3. scp /etc/hosts root@cdh2.macro.com:/etc
    4. scp /etc/hosts root@cdh3.macro.com:/etc

    image.png

    2、添加yum源

  4. 确保OS、Cloudera Manager的yum源可以正常使用（集群其他节点repo文件scp到当前节点）

    1. scp /etc/yum.repos.d/* root@cdh4.macro.com:/etc/yum.repos.d/

    image.png

  5. yum repolist命令检查所有源是否可用（状态不能为0）

    1. yum repolist

    image.png

    3、修改基础前置条件

  6. 禁用SELinux

    1. setenforce 0

  7. 集群所有节点修改/etc/selinux/config文件如下(重启才能生效,所以需要配置上面的临时关闭)：

    1. vi /etc/selinux/config
    2. ------修改如下信息，限制开机自启------
    3. SELINUX=disabled

    image.png

  8. 关闭防火墙

    1. service firewalld stop
    2. service firewalld enable
    3. service firewalld status

    image.png

  9. 设置swap为1

    1. sysctl vm.swappiness=1
    2. echo 1 > /proc/sys/vm/swappiness
    3. cat /proc/sys/vm/swappiness

    image.png

  10. 关闭透明大页面

    1. echo never > /sys/kernel/mm/transparent_hugepage/defrag
    2. cat /sys/kernel/mm/transparent_hugepage/defrag
    3. echo never > /sys/kernel/mm/transparent_hugepage/enabled
    4. cat /sys/kernel/mm/transparent_hugepage/enabled

    image.png

  11. 设置开机自动关闭

    1. vim /etc/rc.d/rc.local
    2. ------复制如下内容------
    3. if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled
    4. fi
    5. if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag
    6. fi

    image.png

  12. 赋权限

    1. cat /etc/rc.d/rc.local
    2. chmod +x /etc/rc.d/rc.local
    3. ls -l /etc/rc.d | grep rc.local

    image.png

    4、配置时钟同步

  13. 下载ntp时钟服务

    1. yum -y install ntp

    image.png

  14. 编辑ntp.conf文件同步主机时间如下

    1. vim /etc/ntp.conf
    2. -----注释部分行，添加同步主节点时间如下-------
    3. server 192.168.0.200

    image.png

    四、安装Kerberos客户端

  • 由于集群启用了Kerberos服务，所以需要在Gateway节点安装Kerberos客户端

  1. 在Gateway节点上执行如下命令

    1. yum -y install krb5-libs krb5-workstation

    image.png

  2. 安装成功后查看安装的RPM包

    1. rpm -qa | grep krb5

    image.png

  3. 将CM集群中的/etc/krb5.conf文件拷贝至该Gateway节点/etc下

    1. scp /etc/krb5.conf /etc/krb5.conf root@cdh4.macro.com:/etc/

    image.png

  4. 在GateWay节点测试Kerberos客户端是否部署成功，如下图表示成功。

    1. kinit userkrb
    2. klist

    image.png

    五、增加Gateway节点的集群并应用主机模板

  5. 主页进入【所有主机】页面

image.png

  1. 点击【向群集添加主机】

image.png

  1. 点击【继续】

image.png

  1. 输入Gateway节点的IP或者hostname，点击【搜索】

image.png

  1. 点击【继续】

image.png

  1. 选择【自定义存储库】，选择输入Cloudera Manager的yum源http地址，点击【继续】

image.png

  1. 勾选Java的两个选项，点击【继续】

image.png

  1. 输入Gateway节点的SSH登录密码，并点击【继续】

image.png

  1. 等待cloudera-scm-agent在Gateway节点上安装

image.png

  1. 安装完成点击【继续】

image.png

  1. 等待分发Parcel包并激活完成，点击【继续】

image.png

  1. 主机检查，点击【继续】

image.png

  1. 选择主机模板

image.png

  1. 点击【继续】向集群中添加新主机，等待执行成功


image.png

  1. 点击【继续】，部署客户端配置

image.png

  1. 点击完成，查看主机列表GateWay节点的角色信息

image.png

  • 至此，给Kerberos环境下CDH集群增加新的Gateway节点完成。

    六、Gateway节点测试

  1. HDFS命令测试

    1. hadoop fs -ls /

    image.png

  2. Hive命令测试

    1. hive

    image.png

  3. hadoop命令向集群提交作业


  1. hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 1

image.png