CM资源规划

Hadoop安装配置

Φ 基本操作

基本操作包括登录CM、接受条款和协议、选择版本（免费）等，过程略。

Φ 指定主机

指定集群节点，注意检查IP地址是否正常，如果显示127.0.0.1则需要修改/etc/hosts文件，注释# 127.0.1.1 ${HOST_NAME}之后分发所有异常节点并重启CM Server、CM Agent。

Φ 选择CDH版本

安装正常的情况下，界面会自动加载当前的CDH版本，建议当前安装的CM安装包版本。如果没有显示相关版本信息，则需要重新检查安装过程是否存在遗漏或者忽略的细节，解决之后才能继续之后的安装。

Φ 自定义安装

“集群设置”标签页中，选择“自定义服务”，勾选“HDFS”、“YARN”和“ZooKeeper”。

Φ 分配节点

根据CM资源规划继续节点分配，避免某一个节点压力过大，尽量均匀分布，如：Hadoop的NameNode、SecondaryNameNode、ResourceManager避免在同一个节点。ZooKeeper选择搭建高可用基数节点集群。

Φ 集群设置

保持默认即可，后续便可以继续，自启动第一次运行。

配置修改

Φ 关闭HDFS中的权限检查

进入菜单：“集群”/“cluster 1”/“HDFS”/“配置”，之后从搜索栏检索出“检查 HDFS 权限”，去掉勾选。

Φ 配置Hadoop支持LZO

进入菜单：“主机”/“Parcel”/“配置”/“远程Parcel存储库URL”，点击最后一栏的加号，增加一栏，输入：http://archive.cloudera.com/gplextras/parcels/latest/，之后点击保存更改。返回Parcel列表，可以看到多出了“HADOOP_LZO”，选择“下载”，下载完成后选择“分配”，分配完成后选择“激活”。
安装完LZO后，打开HDFS配置（“集群”/“cluster 1”/“HDFS”/“配置”），找到“压缩编码解码器”一栏，点击加号，添加“com.hadoop.compression.lzo.LzopCodec”后保存更改。

Φ 配置YARN支持LZO

打开YARN配置（“集群”/“cluster 1”/“YARN（MR2 Included）”/“配置”），找到“MR 应用程序 Classpath”，添加“/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar”后保存更改。

Φ 配置YARN内存限制

打开YARN配置（“集群”/“cluster 1”/“YARN（MR2 Included）”/“配置”），找到“yarn.nodemanager.resource.memory-mb”和“yarn.scheduler.maximum-allocation-mb”，配置为4G后保存更改。

Φ 配置生效

进入菜单：“集群”/“cluster 1”，更新过期配置（点击图标），重启进程。

验证

NameNode WebUI：http://cfp-acrm-cdh-1:50070
ResourceManager WebUI：http://cfp-acrm-cdh-2:8088
HistoryServer WebUI：http://cfp-acrm-cdh-1:19888
CM TCP端口清单：https://www.yuque.com/polaris-docs/bigdata/cdh