CDH5与CDP7安装及使用过程问题总结

1.解决虚拟机网络不通问题

vim /etc/sysconfig/network-scripts/ifcfg-ensxx

1.设置自己对应网络IP

IPADDR=xxx.xxx.x.xx

GETWAY=xxx.xxx.x.xx

2.添加子网掩码

NETMASK=255.255.255.0

3.添加DNS1

DNS1=8.8.8.8

4.设置IPV6禁用

IPV6_PRIVACY=no

ZONE=public

2.创建Cloudera Manager rpm元数据需要执行代码

yum -y install createrepo .

3.CDH5卸载之后重新安装集群，集群节点受到管制

1.进入受管制节点终端

ps -ef | grep supervisor

2.杀死相关进程，xxxx为进程编码

kill -9 xxxx

3.删除cm_guid文件

cd /var/lib/cloudera-scm-agent

rm -rf cm_guid

4.CDH5集群启动HDFS时NameNode格式化失败

1.首先尝试在终端进行手动格式化

hadoop namenode -format

2.手动格式化之后依旧失败，尝试给dfs目录权限之后格式化成功（不知道是哪一步的问题）

chmod -R 777 /dfs

chown hdfs:hadoop /dfs

5.CDP7NameNode报错

1.由于之前遇到过NameNode出现问题的情况，所以直接尝试给权限

chmod -R 777 /dfs

chown hdfs:hadoop /dfs

2.给了权限之后依旧报错，仔细阅读日志后删除nn目录下的文件，成功解决

cd /dfs/nn

rm -rf *

6.CDP7中HDFS进入安全模式（safe mode）

1.回到终端，切换为HDFS用户后解除安全模式（get为查看当前状态，leave为解除）

su hdfs

hdfs dfsadmin -safemode get

hdfs dfsadmin -safemode leave

7.启动jobHistory Server（Yarn）失败，查看日志后在HDFS的目录中创建MapReduce文件并给777权限，成功解决

su hdfs

hdfs dfs -mkdir /user/history

hdfs dfs -chmod -R 777 /user/history

8.CDP7中Kafka组件集成Ranger的测试中，无法执行生产消费命令

1.声明环境变量（CDP7中自动生成缺少了东西，HDP就没有缺失）

创建jaas.conf和client.properties文件

  1. `vim jass.conf`:

KafkaClient{

com.sun.security.auth.module.Krb5LoginModule required

`useKeyTab=true`

`renewTicket=true`

`useTicketCache=true`

`serviceName="kafka";`

};

Client{

com.sun.security.auth.module.Krb5LoginModule required

`useTicketCache=true`

`renewTicket=true`

`serviceName="kafka";`

};

`vim client.properties`:

security.protocol=SASL_PLAINTEXT

sasl.kerberos.service.name=kafka

临时声明环境变量（只是临时生效，可以自行将上述代码添加进系统环境变量中）

export JVMFLAGS="-Djava.security.auth.login.config=/root/jaas.conf"

export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"

打印环境变量查看配置

echo $KAFKA_OPTS

echo $JVMFLAGS

创建topic时报错没有borkers可用，在CDP7中Kafka默认配置了zookeeper.chroot，所以需要在端口号后多加一个/kafka代码指定zookeeper连接串

创建topic

kafka-topic --zookeeper $(localhost):2181/kafka --create --topic test --partitions 3 --replication-factor 2

生产者实例

kafka-console-producer --broker-list $(localhost):9092,$(localhost):9092,$(localhost):9092 --topic test --producer-property security.protocol=SASL_PLAINTEXT

消费者实例

kafka-console-consumer --topic test --from-beginning --bootstarap-server $(localhost):9092,$(localhost):9092,$(localhost):9092 --consumer.config client.properties