Centos6.5 下安装 Cloudera

一、准备工作 (这里的是公众的准备步骤)

* 系统服务

  1. 关闭防火墙
  2. service iptables stop
  4. 关闭selinux
  5. setenforce 0
  7. 需要重启
  8. vim /etc/selinux/config
  9. SELINUX=disabled

1、设置所有集群机器的 hostname

  1. 设置 HOSTNAME 与 域名统一
  3. master
  4. vi /etc/sysconfig/network
  5. HOSTNAME=dev1.jsonlin.cn
  7. slave1
  8. vi /etc/sysconfig/network
  9. HOSTNAME=dev1.jsonlin.cn
  11. slave2
  12. vi /etc/sysconfig/network
  13. HOSTNAME=dev2.jsonlin.cn
  15. slave3
  16. vi /etc/sysconfig/network
  17. HOSTNAME=dev3.jsonlin.cn
  19. 重启后生效

2、创建执行用户（每台服务器）

注：决定用哪个用户执行，就创建哪个用户，如果是root用户则这一步略过

  1. groupadd -r hadoop
  2. useradd -g hadoop hadoop

3、设置免ssh登陆(每台服务器)

  1. 每台服务器生成key
  2. ssh-keygen -t rsa -P ""

4、master 分发 key 免密码访问

4.1、说明 authorized_keys

  1. master 需要对所有的 slave 免密码访问
  3. master 需要对 master 免密码访问
  5. master 要分发给所有的 slave

4.2、具体实现 authorized_keys

  1. a) 设置authorized_keys
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3.  (OR)
  4. cp id_rsa.pub authorized_keys
  6. b) 开始分发给slave
  7. scp ~/.ssh/authorized_keys hadoop@dev1.jsonlin.cn:~/.ssh/
  9. scp ~/.ssh/authorized_keys hadoop@dev2.jsonlin.cn:~/.ssh/
  11. scp ~/.ssh/authorized_keys hadoop@dev3.jsonlin.cn:~/.ssh/

4.3、安装 Java 7

具体百度啦，这个怎么可能难道你呢，出现的结果这样就对了

  1. [root@dev1 hadoop]# java -version
  2. java version "1.7.0_75"
  3. Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
  4. Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

4.4、所有节点配置 NTP 服务

4.4.1、为什么要安装 NTP

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。

master 节点作为 ntp 服务器与外界对时中心同步时间，随后对所有 datanode 节点提供时间同步服务。

所有 datanode 节点以 master 节点为基础同步时间。

4.4.2、NTP 时间服务器安装

详细 http://www.cnblogs.com/liuyou/archive/2012/07/29/2614338.html

  1. 1) 所有节点都要安装 NTP
  2. Centos 下安装
  3. yum install ntp 安装
  4. chkconfig ntpd on 开机启动
  5. chkconfig --list ntpd
  8. ***master 节点操作。slave 节点走 2.2 的步骤***
  9. 先安装 NTP 服务
  10. 2.1) master (master 节点作为局域网内的时间服务器,  )
  12. a) 手动同步下系统时间，以 ntp.sjtu.edu.cn 时间为准
  13. ntpdate -u ntp.sjtu.edu.cn
  14. ntpdate -u tock.stdtime.gov
  16. b) 修改配置文件 (看见没有的就加一条)
  17. vim /etc/ntp.conf
  18. #允许本机的所有操作
  19. restrict 127.0.0.1
  20. restrict -6 ::1
  21. #拒绝客户端的所有操作
  22. restrict default kod nomodify notrap nopeer noquery
  23. #设置常用的同步服务器(master专属) ntp.sjtu.edu.cn
  24. server ntp.sjtu.edu.cn prefer
  26. c) 启动服务，开机启动操作。
  29. ***slave 节点操作***
  30. 2.2) slave 节点 (slave 以 master 节点作为时间服务器)
  31. a) 先手动同步一下时间,已主节点为准
  32. ntpdate -u dev1.jsonlin.cn
  34. b) 配置ntp客户端 slave（所有datanode节点）
  35. vim /etc/ntp.conf
  36. restrict 127.0.0.1
  37. restrict -6 ::1
  38. restrict default kod nomodify notrap nopeer noquery
  39. #设置同步服务器(这里用的是 master 的域名地址或者IP地址)
  40. server dev1.jsonlin.cn prefer
  42. c) 启动服务，开机启动操作。
  45. 3) 启动操作 master slave 通用
  46. service ntpd start
  48. 表示 启动成功
  49. [root@dev1 hadoop]# ntpstat
  50. synchronised to NTP server (202.112.31.197) at stratum 3
  51. time correct to within 82 ms
  52. polling server every 128 s
  54. --------------OR----------------
  56. [root@dev1 hadoop]# netstat -tunlp | grep ntp
  57. udp        0      0 192.168.1.109:123           0.0.0.0:*                               2805/ntpd
  58. udp        0      0 127.0.0.1:123               0.0.0.0:*                               2805/ntpd
  59. udp        0      0 0.0.0.0:123                 0.0.0.0:*                               2805/ntpd
  60. udp        0      0 ::1:123                     :::*                                    2805/ntpd
  61. udp        0      0 fe80::20c:29ff:fe44:3f09:123 :::*                                    2805/ntpd
  62. udp        0      0 :::123                      :::*                                    2805/ntpd

二、Cloudera Manager

1、Cloudera Manager 介绍

Cloudera Manager 可以使集群中主机自动安装Hadoop，Hive，zookeeper，impalal等组件，无需做复杂的一系列配置。

Cloudera Express 版本是免费的

Cloudera Enterprise 是需要购买注册码的

2、Cloudera Manager 下载地址

  1. 2.1) 下载地址
  3. Cloudera Manager 下载地址
  4. 找到对应的系统版本下载
  5. http://archive-primary.cloudera.com/cm5/cm/5/
  6. or
  7. http://archive.cloudera.com/cm5/cm/5/
  9. 如：
  10. Centos6版本 : cloudera-manager-el6-cm5.3.2_x86_64.tar.gz
  11. Ubuntu版本 : cloudera-manager-trusty-cm5.3.2_amd64.tar.gz
  14. 2.2) Cloudera Manager 管理的 CDH 安装包下载地址 (Cloudera Manager 是通过这种方式管理各个Hadoop组件的)
  15. 所有的版本包下载 : http://archive-primary.cloudera.com/cdh5/parcels/
  16. 最新版本下载 : http://archive.cloudera.com/cdh5/parcels/latest/
  18. Centos6下载：(对应版本-el6)
  19. CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel
  20. CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel.sha1
  21. manifest.json
  23. Ubuntu下载：(对应版本trusty)
  24. CDH-5.3.2-1.cdh5.3.2.p0.10-trusty.parcel
  25. CDH-5.3.2-1.cdh5.3.2.p0.10-trusty.parcel.sha1
  26. manifest.json
  28. c) 安装版本、下载详细说明汇总
  29. http://www.aboutyun.com/thread-8908-1-1.html

3、Cloudera Manager 安装介绍

3.1、 CM (Cloudera Manager) 有三种安装方式

  1. 1) cloudera-manager-installer.bin 安装
  2. 只要从官网下载cloudera-manager-installer.bin，然后执行这个bin文件
  4. 参考文章:
  5. http://www.aboutyun.com/thread-9303-1-1.html
  6. http://www.aboutyun.com/thread-9075-1-1.html
  8. 2) rpm、yum、apt-get方式在线安装
  10. 因为 rpm 对包依赖的关系不好，所以产生了yum
  11. 参考文章:
  12. http://www.aboutyun.com/thread-9107-1-1.html
  14. 3) Tarballs (本文安装方式)
  15. tar 包管理源码安装

4、Cloudera Manager 安装

记得前面的准备工作要做哦

详细地址：http://www.cnblogs.com/jasondan/p/4011153.html

其中 /opt/cloudera-manager/cm-5.3.2/ 作为一个自定义目录，5.3.2 作为一个版本，如果使用其他版本的 请直接替换成对应的版本号即可

4.1、安装命令 (master 节点)

  1. 1) 目录规划
  2. mv cloudera-manager-el6-cm5.3.2_x86_64.tar.gz /opt/
  3. tar -zxvf cloudera-manager-el6-cm5.3.2_x86_64.tar.gz
  4. mkdir /opt/cloudera-manager
  5. mv /opt/cm-5.3.2/ /opt/cloudera-manager/
  7. 2) 为 Cloudera Manager Server 建立数据库
  8. #添加 java mysql 驱动类(下载地址 http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.40/mysql-connector-java-5.1.40.jar)
  9. cp -arip  mysql-connector-java-5.1.31-bin.jar /opt/cloudera-manager/cm-5.3.2/share/cmf/lib/
  11. a) mysql 上建立scm数据库
  12. /opt/cloudera-manager/cm-5.3.2/share/cmf/schema/scm_prepare_database.sh mysql -h127.0.0.1 -uroot -p514591 --scm-host localhost scm scm scm
  13. #---格式是:  scm_prepare_database.sh 数据库类型 数据库服务器 数据库管理用户名 管理密码 --scm-host Cloudera_Manager_Server 所在的机器 database-name(Cloudera Manager Server 数据库的名称) username( Cloudera Manager Server 数据库的用户名) password(Cloudera Manager Server 数据库的密码)
  15. #---出现如下表示成功
  16. ully connected to database.
  17. All done, your SCM database is configured correctly!
  19. b) 启动 Cloudera Manager Server 服务端口 (master，等待全部配置好再启动切记)
  20. /opt/cloudera-manager/cm-5.3.2/etc/init.d/cloudera-scm-server start [--restart重启 --stop 关闭]
  22. c) 设置成开机启动（记住哦）
  23. vim /etc/rc.d/rc.local
  24. #---mysql开机启动
  25. /usr/local/mysql-5.6.21/support-files/mysql.server start
  28. 3) Cloudera Manager Agents 服务端口配置
  29. a) 先修改 Agents 配置文件 (master 上操作)
  30. vim /opt/cloudera-manager/cm-5.3.2/etc/cloudera-scm-agent/config.ini
  31. #这里写 master 域名或者Ip
  32. server_host=dev1.jsonlin.cn
  33. server_port=7182 #服务端口
  35. b) 把整个目录分发给 slave (master 上操作)
  36. scp -r /opt/cloudera-manager root@dev2.jsonlin.cn:/opt/
  37. scp -r /opt/cloudera-manager root@dev3.jsonlin.cn:/opt/
  38. scp -r /opt/cloudera-manager root@dev4.jsonlin.cn:/opt/
  40. c) 添加 cloudera-scm 用户 (所有节点)
  41. useradd --system --home=/opt/cloudera-manager/cm-5.3.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  43. d) cloudera-scm-agent 为所有的节点都启动 (所有节点，等待全部配置好再启动切记)
  44. /opt/cloudera-manager/cm-5.3.2/etc/init.d/cloudera-scm-agent start
  46. #---所有节点开机启动
  47. vim /etc/rc.d/rc.local
  49. #cloudera-scm-agent
  50. /opt/cloudera-manager/cm-5.3.2/etc/init.d/cloudera-scm-agent start

4.2、准备Parcels，用以安装CDH5

4.2.1、下载地址
  1.  http://archive.cloudera.com/cdh5/parcels/latest/
  3. Centos6 :
  4. CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel
  5. CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel.sha1
  6. manifest.json
  8. 其他系统如上图
  9. ubuntu :
  10. CDH-5.3.2-1.cdh5.3.2.p0.10-trusty.parcel
  11. CDH-5.3.2-1.cdh5.3.2.p0.10-trusty.parcel.sha1
  12. manifest.json
4.2.2、存放目录
  1. 1) 存放目录 (master)
  2. #---没有则创建一个 (存放到 master 的 /opt/cloudera/parcel-repo)
  3. ll /opt/cloudera/parcel-repo
  4. mkdir -p /opt/cloudera/parcel-repo
  6. 2) 存放文件到 /opt/cloudera/parcel-repo/ (master)
  7. CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel
  8. CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel.sha1
  9. manifest.json
  11. 3) *.sha1 文件改名为 *.sha
  12. mv /opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel.sha1  /opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.5-el6.parcel.sha

4.3 准备浏览器跑起来，辛苦这么久嘿嘿

  1. 1) 访问 master 的服务 7180 端口
  2. http://dev1.jsonlin.cn:7180
  4. #启动 cloudera-scm-server
  5. /opt/cloudera-manager/cm-5.3.2/etc/init.d/cloudera-scm-server restart
  7. #启动 cloudera-scm-agent
  8. /opt/cloudera-manager/cm-5.3.2/etc/init.d/cloudera-scm-agent restart
  10. 先让 cloudera-scm-server 启动成功
  11. netstat -tunlp | grep jave --- 7180
  13. 再启动 cloudera-scm-agent
  14. netstat -tunlp | grep jave --- 7182
  16. 一般需要耐心等待几分钟才能看到端口
  18. #如果有问题看日志文件，在这个目录下
  19. /opt/cloudera-manager/cm-5.3.2/log/
  21. 端口
  22. 7180 cloudera-manager 提供的 web 端口
  23. 7182 cloudera-manage-server 主节点提供的 manage 端口

4.4 错误处理

  1. 1) cloudera-scm-agent restart报错：ImportError: No module named _io
  3. a) tar 包安装解决方案
  4.   cp /opt/cloudera-manager/cm-5.3.2/lib/cmf/agent/build/env/bin/python2.7 /opt/cloudera-manager/cm-5.3.2/lib/cmf/agent/build/env/bin/python-2015-03-05
  5.   cp /usr/bin/python2.7 /opt/cloudera-manager/cm-5.3.2/lib/cmf/agent/build/env/bin/python
  7. b) yum/apt 安装解决方案, 文章地址 : http://www.aboutyun.com/blog-10256-891.html
  8.  32 位系统
  9.   mv /usr/lib/cmf/agent/build/env/bin/python /usr/lib/cmf/agent/build/env/bin/python.bak
  10.   cp /usr/bin/python2.7 /usr/lib/cmf/agent/build/env/bin/python
  12.  64 位系统
  13.  mv /usr/lib64/cmf/agent/build/env/bin/python /usr/lib/cmf/agent/build/env/bin/python.bak
  14.  cp /usr/bin/python2.7 /usr/lib/cmf/agent/build/env/bin/python
  18. 2) 安装 hive 的时候 Failed to Create Hive Metastore Database Tables
  19. a) 安装 java 驱动类
  20. sudo apt-get install libmysql-java
  22. b) 或者在 /etc/profile 引入这个包
  23. $JAVA_HOME/lib/mysql-connector-java-5.1.31-bin.jar
  25. 3) 重新安装部署
  26. a) 删除 NameNode 里的 /dfs/dn/current/ 文件夹
  27.    删除 DataNode 里的 /dfs/dn/current/ 文件夹