背景:曲靖集群(kdc:oc-qj-hdp-30-12)和高新集群的kdc服务器(oc-etl-data-new-116)网络不通,同时曲靖集群的机器也ping不通oc-etl-data-new-116
但是现在有一个机器oc-gx-vr-130-24 ,能同时和曲靖和高新集群都想通。
1、将曲靖集群的kdc数据导出到oc-gx-vr-130-24主机
2、将oc-gx-vr-130-24和oc-etl-data-new-116主机配置kdc跨域访问中的添加krbtgt的principal
addprinc -e “aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal” -pw admin krbtgt/ynmobile.com@YNYD.COM
addprinc -e “aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal” -pw admin krbtgt/YNYD.COM@ynmobile.com
3、将曲靖集群和高新集群的hdfs文件配置rule规则,重启hdfs
高新:
RULE:1:$1@$0s/^(.)@YNYD.COM$/$1/g
RULE:[2:$1@$0](%5E.@YNYD.COM$)s/^(.)@YNYD.COM$/$1/g
RULE:2:$1@$0s/./ocdp/
—曲靖
RULE:1:$1@$0s/^(.)@ynmobile.com$/$1/g
RULE:[2:$1@$0](%5E.@ynmobile.com$)s/^(.)@ynmobile.com$/$1/g
RULE:2:$1@$0s/./ocdp/
4、oc-gx-vr-130-24主机添加高曲靖集群内,在oc-gx-vr-130-24主机上配置krb5.conf为跨域访问支持,并把高新集群的kdc服务器和active namenode节点添加到etc hosts
5、使用principal认证,无论使用哪个集群的keytab认证均可。
6、执行distcp拷贝(这里只在oc-gx-vr-130-24主机配置了krb5.conf的跨域配置,所以需要加参数Dmapreduce.job.hdfs-servers.token-renewal.exclude,如果
不加这个参数,则需要拷贝krb5.conf到每个节点)
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -Dmapreduce.job.hdfs-servers.token-renewal.exclude=10.174.30.32,10.170.30.10 -Dmapreduce.task.timeout=3600000 -Dmapred.job.queue.name=default -bandwidth 2048 -m 200 -numListstatusThreads 40 -i -update -delete -prb -skipcrccheck -strategy dynamic hdfs://10.174.30.32:8020/ocmanager.war hdfs://10.170.30.10:8020/tmp
7、高新集群的/etc/hosts不需要添加曲靖集群的主机信息。