Cloudera yum 方式安装

  • 安装流程

  • 1 首先配置系统环境

  • 2 安装 Cloudera Manager Server

    • 2.1 配置 yum 源, 执行安装流程
    • 2.2 配置 SCM 数据库
    • 2.3 启动 Cloudera Manager Server 服务(监控报错日志)
    • 2.4 打开 http://hostname:7180 端口, 跳过所有安装步骤, 直接添加 Cloudera Management Service 服务

  • 2 Cloudera Manager Agent -> Cloudera Manager Server 注册节点

    • 4.1 配置 yum 源, 执行安装流程
    • 4.2 修改配置 Cloudera Manager Agent 服务指向 Cloudera Manager Server 服务所在的 host, 配置文件 /etc/cloudera-scm-agent/config.ini 的 server_host -> Cloudera Manager Server
    • 4.3 手动启动 Cloudera Manager Agent 服务(监控报错日志)
    • 4.4 注意第一次 Agent 注册到 Server 节点是没有 CDH 版本的, 需要在 Server 管理界面添加已经注册的主机(分发 CDH 版本的)
    • 4.5 Cloudera Manager Server 7180 -> 主机管理界面, 点击添加主机到集群中(选中已注册的节点), 这个时候才会有 CDH 版本信息

  • 4 CDH 组件 -> Cloudera Manager Server 和 Cloudera Manager Agent 安装完成后再配置 Hadoop 组件

* 系统环境配置

1. 环境属性

  1. 1. 创建用户 cloudera-scm, 给与免密码 sudo 权限
  3.   vim /etc/sudoers
  4.   # 以下注释取消
  5.   %wheel  ALL=(ALL)       NOPASSWD: ALL
  7.   1) 方法 1
  8.     userdel cloudera-scm
  9.     # 创建cm部署用户
  10.     groupadd -r cloudera-scm
  11.     #  分配到 组
  12.     useradd -m -s /bin/bash -g  cloudera-scm cloudera-scm
  13.     # 追加用户到 sudo 组
  14.     usermod -G wheel cloudera-scm
  17.     # 创建hadoop用户
  18.     userdel hadoop
  19.     groupadd -r hadoop
  20.     useradd -m -s /bin/bash -g  hadoop hadoop
  21.     # 追加用户到 sudo 组
  22.     usermod -G     wheel hadoop
  24.   2) 方法 2
  25.     %cloudera-scm ALL=(ALL) NOPASSWD: ALL  账号其他配置
  27.   *) sudo 权限附属配置
  28.     vim /etc/sudoers
  29.     # 确认包含如下
  30.     Defaults secure_path = /sbin:/bin:/usr/sbin:/usr/bin
  32.     vim /etc/pam.d/su
  33.     # 确保包含如下行
  34.     session         required        pam_limits.so
  37. 2. 同步系统时区(每台服务器的时区必须一样)
  38.   yum install ntp
  40.   ntpdate -d time.nist.gov 或者 ntpdate -d pool.ntp.org
  42.   ntpdate -d node-host
  44.   crontab -e , 添加如下命令
  45.     */5 * * * * /usr/sbin/ntpdate monitor.50bang.org && /sbin/hwclock -w
  48. 3. 关闭防火墙
  49.   // Centos 6
  50.   service iptables stop
  51.   chkconfig iptables off
  53.   service ip6tables stop
  54.   chkconfig ip6tables off
  56.   // Centos 7
  57.   systemctl stop firewalld
  58.   systemctl disable firewalld
  61. 3.1 设置 HOSTNAME 与 域名统一
  62.   vim /etc/sysconfig/network
  63.   HOSTNAME=dw[N]  根据实际情况填写
  66. 4. 关闭 selinux
  67.   # 临时生效
  68.   setenforce 0
  69.   # 永久失效
  70.   vi /etc/selinux/config
  71.   SELINUX=disabled
  74. 5. 安装 scp
  75.   yum -y install openssh-clients
  78. 6. ssh key  
  79.   # 生成 key
  80.   ssh-keygen
  82.   # 分配
  83.   ssh-copy-id -i ~/.ssh/id_rsa.pub username@hostname

2. 系统属性

  1. 1. 禁用大透明页
  3.   1.1 Centos 6:
  4.     cat /sys/kernel/mm/redhat_transparent_hugepage/defrag   
  5.       [always] never 表示已启用透明大页面压缩。
  6.       always [never] 表示已禁用透明大页面压缩。
  8.     如果启用, 请关闭
  9.     echo 'never' > /sys/kernel/mm/redhat_transparent_hugepage/defrag
  10.     echo 'never' > /sys/kernel/mm/transparent_hugepage/enabled
  12.     加入开机启动中
  13.     vim /etc/rc.local (给执行权限 chmod +x /etc/rc.d/rc.local )
  14.     # 禁用大透明页
  15.     echo 'never' > /sys/kernel/mm/redhat_transparent_hugepage/defrag
  16.     echo 'never' > /sys/kernel/mm/transparent_hugepage/enabled
  18.   1.2 Centos 7:
  19.     cat /sys/kernel/mm/transparent_hugepage/defrag    
  21.     如果启用, 请关闭
  22.     echo 'never' >  /sys/kernel/mm/transparent_hugepage/defrag    
  24.     加入开机启动中
  25.     vim /etc/rc.local (给执行权限 chmod +x /etc/rc.d/rc.local )
  26.     # 禁用大透明页
  27.     echo 'never' >  /sys/kernel/mm/transparent_hugepage/defrag   
  30. 2. vm.swappiness Linux 内核参数
  31.   # 默认为 60 , 用于控制将内存页交换到磁盘的幅度, 介于 0-100 之间的值；值越高，内核寻找不活动的内存页并将其交换到磁盘的幅度就越大。
  32.   cat /proc/sys/vm/swappiness
  34.   # 设置为 0
  35.   sysctl -w vm.swappiness=0
  37. 3. 集群挂载的文件系统,不使用 RAID 和 LVM 文件系统
  39. 4. 最大打开的文件数
  40.   sysctl -a | grep fs.file
  42.   如果比 65535 小, 则设置如下参数
  43.   sudo vim /etc/security/limits.conf
  44.   *    hard    nofile          102400
  45.   *    soft    nofile          102400

一、安装 Cloudera Manager Server

  • Cloudera Management Service 可作为一组角色实施各种管理功能
  • Activity Monitor
    • 收集有关 MapReduce 服务运行的活动的信息。默认情况下未添加此角色。
  • Host Monitor
    • 收集有关主机的运行状况和指标信息
  • Service Monitor
    • 收集有关服务的运行状况和指标信息以及 YARN 和 Impala 服务中的活动信息
  • Event Server
    • 聚合 relevant Hadoop 事件并将其用于警报和搜索
  • Alert Publisher
    • 为特定类型的事件生成和提供警报
  • Reports Manager
    • 生成报告，它提供用户、用户组和目录的磁盘使用率的历史视图，用户和 YARN 池的处理活动，以及 HBase 表和命名空间。此角色未在 Cloudera Express 中添加。
  • Cloudera Manager 将单独管理每个角色，而不是作为 Cloudera Manager Server 的一部分进行管理，可实现可扩展性（例如，在大型部署中，它可用于将监控器角色置于自身的主机上）和隔离。
  1. * 登录 cloudera-scm 账号
  3. 1. 添加 cloudera-manager.repo 源(所有节点)
  4.   Centos 6: sudo wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo --directory-prefi=/etc/yum.repos.d
  6.   Centos 7: sudo wget http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo --directory-prefi=/etc/yum.repos.d
  8.   PS: 若要安装指定的版本, 修改如下参数
  9.     sudo vim /etc/yum.repos.d/cloudera-manager.repo
  11.     # Centos 6: 修改 baseurl 属性中的 url (url 可以指定版本)
  12.     baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.9.0/
  14.     # Centos 7: 修改 baseurl 属性中的 url (url 可以指定版本)
  15.     baseurl=http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.9.0/
  17.   更新 yum:
  18.     yum update
  20. 2. 下载安装组件
  21.   a) 安装 JAVA
  22.     # PS 这个包在 CM 的源中
  23.     sudo yum install oracle-j2sdk1.7
  25.     # 加入环境变量
  26.     vim ~/.bashrc
  28.     # CDH JAVA HOME
  29.     export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
  30.     export JRE_HOME=${JAVA_HOME}/jre
  31.     export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  32.     export PATH=${JAVA_HOME}/bin:$PATH
  34.     source ~/.bashrc
  37.   PS) 这里可以配置 JAVA 1.8 的版本, 安装好 CM 后, 启动 Web /cmf/hardware/hosts/config, 其中可以配置 JAVA Home 的目录
  38.     # 下载、安装、权限
  39.     下载软件 jdk-8u131-linux-x64.tar.gz (oracle 版本)
  40.     安装目录 /opt/app/jdk-1.8.0_131
  41.     给与 /opt/app/jdk-1.8.0_131 目录 hadoop 权限(774 -R)
  43.     # 配置 Cloudera Java 软链
  44.     sudo mkdir -p /usr/java/
  45.     sudo ln -s /opt/app/jdk-1.8.0_131 /usr/java/jdk1.8
  47.     # 配置环境变量
  48.     vim ~/.bashrc
  50.     # CDH JAVA HOME
  51.     export JAVA_HOME=/opt/app/jdk-1.8.0_131
  52.     export JRE_HOME=${JAVA_HOME}/jre
  53.     export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  54.     export PATH=${JAVA_HOME}/bin:$PATH
  56.     source ~/.bashrc
  59.   b) 安装服务 Cloudera 组件
  60.     sudo yum install cloudera-manager-daemons
  61.     sudo yum install cloudera-manager-server
  64.   d) 下载 mysql-connector-java-5.1.40.jar 依赖包
  65.     # 下载 MySQL 驱动
  66.     sudo wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.40/mysql-connector-java-5.1.40.jar --directory-prefix=/usr/share/java/
  68.     # 放到 cmf 公用库中
  69.     sudo cp /usr/share/java/mysql-connector-java-5.1.40.jar  /usr/share/cmf/lib/mysql-connector-java-5.1.40.jar
  72. 3. 安装 scm 数据库
  73.   1)方法 1 使用脚本配置
  74.     /usr/share/cmf/schema/scm_prepare_database.sh mysql -hmysql-host -P3306 -uroot -pxxx.com scm hadoop xxx.com
  76.     具体参数看配置 : /usr/share/cmf/schema/scm_prepare_database.sh --help
  78.   2)方法 2 编写配置文件 /etc/cloudera-scm-server/db.properties
  79.     com.cloudera.cmf.db.type=mysql
  80.     com.cloudera.cmf.db.host=manager1:3306
  81.     com.cloudera.cmf.db.name=scm
  82.     com.cloudera.cmf.db.user=hadoop
  83.     com.cloudera.cmf.db.password=xxx.com
  84.     com.cloudera.cmf.db.setupType=EXTERNAL
  87. 4. root 权限登录 mysql 查看账户是否生效
  88.   SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;
  91. 5. 监控启动服务
  92.   tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
  94.   # 给与目录权限
  95.   sudo chmod 775 -R /opt/cloudera/parcel-repo/
  96.   sudo chmod 775 -R /var/lib/cloudera-scm-server
  98.   # 启动 cm 服务
  99.   sudo service cloudera-scm-server restart
  101.   # 查看 服务状态
  102.   service cloudera-scm-server status
  104.   # 监控端口
  105.   netstat -tunlp
  107.   7180 : Http Web 服务
  109.   7182 : 监控通讯服务
  112. 6. 启动完成后(最后步骤)
  114.   # 创建 /opt/cloudera/parcels 目录
  115.   sudo mkdir -p /opt/cloudera
  116.   sudo mkdir -p /opt/cloudera/parcel-repo/
  117.   sudo chown cloudera-scm:cloudera-scm -R /opt/cloudera
  118.   sudo chown cloudera-scm:cloudera-scm -R /opt/cloudera
  120.   # 下载 3 个文件
  121.   wget http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel --directory-prefix=/opt/cloudera/parcel-repo/
  122.   wget http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 --directory-prefix=/opt/cloudera/parcel-repo/
  123.   wget http://archive.cloudera.com/cdh5/parcels/5.13.1/manifest.json --directory-prefix=/opt/cloudera/parcel-repo/
  124.   # 修改数据 *.sha1 mv *.sha, 不然会出现如下错误 (对于此 Cloudera Manager 版本 (version) 太新的 CDH 版本不会显示)
  125.   mv /opt/cloudera/parcel-repo/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha
  128. * 启动遇到的问题
  130. 对于此 Cloudera Manager 版本 (5.4.7) 太新的 CDH 版本不会显示
  131.   问题描述：Versions of CDH that are too new for this version of Cloudera Manager (5.4.7) will not be shown.
  132.   问题定位：PARCELS 表 fileName=CDH-5.4.7-1.cdh5.4.7.p0.3-el6.parcel 的 hash 值为 null，判断为parcel文件问题或scm数据库生成干扰问题
  133.   解决思路：判断为/ opt/cloudera/parcel-repo/ 目录内的本地parcel应该在scm数据库初始化结束后再放入
  134.   问题解决：停止server > 重置scm数据库 > 启动server > 复制 parcel 到 /opt/cloudera/parcel-repo/ 目录

二、安装 Cloudera Agent

  • 请参照 安装流程 4
  1. 1. 登录 cloudera-scm 账号
  3.   # 配置源 Cloudera yum 源
  6. 2. 下载安装组件
  7.   a) 安装 JAVA
  9.     # 同如上步骤
  11.   b) 安装服务
  12.     sudo yum install cloudera-manager-daemons
  13.     sudo yum install cloudera-manager-agent
  16. 2. 修改配置文件
  17.   sudo vim /etc/cloudera-scm-agent/config.ini
  19.   # 改成这里 server 的主机地址
  20.   server_host=manager1
  23. 3. 监控启动服务
  25.   # 监控日志
  26.   tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
  28.   # 给与目录权限
  29.   sudo chown cloudera-scm:cloudera-scm -R /var/lib/cloudera-scm-agent
  30.   sudo chown cloudera-scm:cloudera-scm -R /var/run/cloudera-scm-agent
  32.   # 创建 /opt/cloudera/parcels 目录
  33.   mkdir -p /opt/cloudera
  34.   sudo chown cloudera-scm:cloudera-scm -R /opt/cloudera
  36.   # 启动 agent 服务, 开启端口
  37.   sudo service cloudera-scm-agent restart
  39.   # 查看运行状态
  40.   service cloudera-scm-agent status
  42.   # 查看监控端口
  43.   netstat -tunlp
  45.   9000 : HTTP （调试）端口
  46.   19001 : supervisord 状态和控制端口；用于 Agent 和 supervisord 之间的通信；仅内部打开（本地主机上）
  49. *. 注册可能遇到的问题
  51.   1. 时间与 cm 相差太多导致无法 agent 无法向 cm 注册
  53.   2. host 与 ip 设置错误
  54.     查看主机与 host 与 ip
  55.     python -c 'import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn())'
  57.     hostname 环境变量主机名不同(会导致 agent 注册到 manager, hostname 不对)
  59.   3. Failed to connect to previous supervisor.
  60.     一般这种情况不用处理, 只要能 agent 能注册到 server, 并且 agent 在 server 是绿颜色的心态即可
  61.     参照安装步骤 4
  63.   4. cdh No extant cgroups 错误
  64.     /var/run/cloudera-scm-agent 和  /var/lib/cloudera-scm-agent 目录权限
  66.     sudo chown cloudera-scm:cloudera-scm -R /var/lib/cloudera-scm-agent
  67.     sudo chown cloudera-scm:cloudera-scm -R /var/run/cloudera-scm-agent
  69.   5. Error, CM server guid updated, expected  错误描述, CM 重新安装后 ID 错误
  70.     rm /var/lib/cloudera-scm-agent/cm_guid  , 主要原因是因为 .parcel.sha1 没有重名为 .parcel.sha
  72.   6. ERROR Failed to connect to newly launched supervisor. Agent will exit
  73.     pgrep -f supervisord , 然后 Kill 掉 , 主要是更换版本的时候有服务没有杀干净
  75.   *. 排查思路
  76.     1) 检查 hostname、/etc/hosts、 主机 IP 是否正确
  78.     2) 是否关闭防火墙和 Selinux, 当前服务器和目标服务器
  80.     3) Agent 本身配置问题
  81.       /etc/cloudera-scm-agent/config.ini
  83.     4) 检查各个节点的系统日期

三、安装 CDH 组件

  • 配置源 CDH 源
  1. *. 登录 hadoop 用户
  3.   sudo wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo --directory-prefi=/etc/yum.repos.d
  5.   PS: 若要安装指定的版本, 修改如下参数
  6.   sudo vim /etc/yum.repos.d/cloudera-cdh5.repo
  7.   # 修改 baseurl 属性中的 url (url 可以指定版本)
  8.   baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.9.0/
  10. yum update

1. 安装 Flume

  • 具体说明转 flume 文档
  1. sudo yum install flume-ng-agent

四、授权数据库服务

  1. -- hive
  2. CREATE DATABASE `hive` /*!40100 DEFAULT CHARACTER SET utf8 */;
  3. GRANT ALL PRIVILEGES ON hive.* TO 'hadoop'@'%' WITH GRANT OPTION;
  4. flush privileges;
  6. -- Hive 的元数据库是
  7. # 找到对应版本的, 复制 Hive 版本的 Sql 文件, 放在 MySQL 客户端执行即可, 出现问题解决问题, 直到全部创建完成即可
  8. $HIVE_HOME/scripts/metastore/upgrade/mysql/hive-schema-1.1.0.mysql.sql (与 Hive 版本相同)
  9. $HIVE_HOME/scripts/metastore/upgrade/mysql/upgrade-1.1.0-to-1.1.0-cdh5.12.0.mysql.sql (与 Hive 版本相同)
  11. # CDH
  12. datanucleus.autoCreateSchema=false
  13. datanucleus.metadata.validate=false
  14. hive.metastore.schema.verification=false
  15. # 启用直接 SQL
  16. hive.metastore.try.direct.sql=true
  20. -- hue
  21. CREATE DATABASE `hue` /*!40100 DEFAULT CHARACTER SET utf8 */;
  22. GRANT ALL PRIVILEGES ON hue.* TO 'hadoop'@'%' WITH GRANT OPTION;
  23. flush privileges;
  26. -- oozie
  27. CREATE DATABASE `oozie` /*!40100 DEFAULT CHARACTER SET utf8 */;
  28. GRANT ALL PRIVILEGES ON oozie.* TO 'hadoop'@'%' WITH GRANT OPTION;
  29. flush privileges;

五、重新安装,删除所有组件

  1. # 删除组件
  2. sudo yum remove cloudera-manager-daemons
  3. sudo yum remove cloudera-manager-server
  4. sudo yum remove cloudera-manager-server-db-2
  5. sudo yum remove cloudera-manager-agent
  8. # server
  9. sudo service cloudera-scm-server stop
  10. sudo rm -rf /var/lib/cloudera-manager-server
  11. sudo rm -rf /var/run/cloudera-manager-server
  14. # agent
  15. sudo service cloudera-scm-agent stop
  16. sudo rm -rf /var/lib/cloudera-scm-agent
  17. sudo rm -rf /var/run/cloudera-scm-agent
  18. sudo rm -rf /run/cloudera-scm-agent

* 常见问题

1. oozie 找不到 mysql-connector.jar

  1. 把 mysql-connector.jar 复制到 /var/lib/oozie 中.
  2. cp /path/mysql-connector-java-5.1.40.jar /var/lib/oozie  中
  5. # 添加 Jar 到 hive
  6. sudo cp /usr/share/java/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/hive/lib/mysql-connector-java-5.1.40.jar
  8. # 添加 Jar 到 Oozie
  9. sudo cp /usr/share/java/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/oozie/lib/mysql-connector-java-5.1.40.jar
  10. sudo cp /usr/share/java/mysql-connector-java-5.1.40.jar /var/lib/oozie/