本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。

1. 环境说明

系统环境：

  • 操作系统：CentOs 6.6
  • Hadoop版本：CDH5.4
  • JDK版本：1.7.0_71
  • 运行用户：root

集群各节点角色规划为：

  1. 192.168.56.121        cdh1     NameNode、ResourceManager、HBase、Hive metastore、Impala Catalog、Impala statestore、Sentry 
  2. 192.168.56.122        cdh2     DataNode、SecondaryNameNode、NodeManager、HBase、Hive Server2、Impala Server
  3. 192.168.56.123        cdh3     DataNode、HBase、NodeManager、Hive Server2、Impala Server

cdh1作为master节点，其他节点作为slave节点，我们在cdh1节点安装kerberos Server，在其他节点安装kerberos client。

2. 准备工作

确认添加主机名解析到 /etc/hosts 文件中。

  1. $ cat /etc/hosts
  2. 127.0.0.1       localhost
  4. 192.168.56.121 cdh1
  5. 192.168.56.122 cdh2
  6. 192.168.56.123 cdh3

注意：hostname 请使用小写，要不然在集成 kerberos 时会出现一些错误。

3. 安装 Kerberos

在 cdh1 上安装包 krb5、krb5-server 和 krb5-client。

  1. $ yum install krb5-server -y

在其他节点（cdh1、cdh2、cdh3）安装 krb5-devel、krb5-workstation ：

  1. #使用无密码登陆
  2. $ ssh cdh1 "yum install krb5-devel krb5-workstation -y"
  3. $ ssh cdh2 "yum install krb5-devel krb5-workstation -y"
  4. $ ssh cdh3 "yum install krb5-devel krb5-workstation -y"

4. 修改配置文件

kdc 服务器涉及到三个配置文件：

  1. /etc/krb5.conf
  2. /var/kerberos/krb5kdc/kdc.conf
  3. /var/kerberos/krb5kdc/kadm5.acl

配置 Kerberos 的一种方法是编辑配置文件 /etc/krb5.conf。默认安装的文件中包含多个示例项。

  1. [logging]
  2.  default = FILE:/var/log/krb5libs.log
  3.  kdc = FILE:/var/log/krb5kdc.log
  4.  admin_server = FILE:/var/log/kadmind.log
  6. [libdefaults]
  7.  default_realm = JAVACHEN.COM
  8.  dns_lookup_realm = false
  9.  dns_lookup_kdc = false
  10.  ticket_lifetime = 24h
  11.  renew_lifetime = 7d
  12.  forwardable = true
  13.  default_tgs_enctypes = aes256-cts-hmac-sha1-96
  14.  default_tkt_enctypes = aes256-cts-hmac-sha1-96
  15.  permitted_enctypes = aes256-cts-hmac-sha1-96
  16.  clockskew = 120
  17.  udp_preference_limit = 1
  19. [realms]
  20.  JAVACHEN.COM = {
  21.   kdc = cdh1
  22.   admin_server = cdh1
  23.  }
  25. [domain_realm]
  26.  .javachen.space = JAVACHEN.COM
  27.  javachen.space = JAVACHEN.COM

说明：

  • [logging]：表示 server 端的日志的打印位置

  • [libdefaults]：每种连接的默认配置，需要注意以下几个关键的小配置

  • default_realm = JAVACHEN.COM：设置 Kerberos 应用程序的默认领域。如果您有多个领域，只需向 [realms] 节添加其他的语句。

  • ticket_lifetime： 表明凭证生效的时限，一般为24小时。
  • renew_lifetime： 表明凭证最长可以被延期的时限，一般为一个礼拜。当凭证过期之后，对安全认证的服务的后续访问则会失败。
  • clockskew：时钟偏差是不完全符合主机系统时钟的票据时戳的容差，超过此容差将不接受此票据。通常，将时钟扭斜设置为 300 秒（5 分钟）。这意味着从服务器的角度看，票证的时间戳与它的偏差可以是在前后 5 分钟内。
  • udp_preference_limit= 1：禁止使用 udp 可以防止一个 Hadoop 中的错误

  • [realms]：列举使用的 realm。

  • kdc：代表要 kdc 的位置。格式是 机器:端口

  • admin_server：代表 admin 的位置。格式是 机器:端口
  • default_domain：代表默认的域名
  • [appdefaults]：可以设定一些针对特定应用的配置，覆盖默认配置。

修改 /var/kerberos/krb5kdc/kdc.conf ，该文件包含 Kerberos 的配置信息。例如，KDC 的位置，Kerbero 的 admin 的realms 等。需要所有使用的 Kerberos 的机器上的配置文件都同步。这里仅列举需要的基本配置。详细介绍参考：krb5conf

  1. [kdcdefaults]
  2.  kdc_ports = 88
  3.  kdc_tcp_ports = 88
  5. [realms]
  6.  JAVACHEN.COM = {
  7.   #master_key_type = aes256-cts
  8.   acl_file = /var/kerberos/krb5kdc/kadm5.acl
  9.   dict_file = /usr/share/dict/words
  10.   max_renewable_life = 7d
  11.   max_life = 1d
  12.   admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  13.   supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
  14.   default_principal_flags = +renewable, +forwardable
  15.  }

说明：

  • JAVACHEN.COM： 是设定的 realms。名字随意。Kerberos 可以支持多个 realms，会增加复杂度。大小写敏感，一般为了识别使用全部大写。这个 realms 跟机器的 host 没有大关系。
  • master_key_type：和 supported_enctypes 默认使用 aes256-cts。JAVA 使用 aes256-cts 验证方式需要安装 JCE 包，见下面的说明。为了简便，你可以不使用 aes256-cts 算法，这样就不需要安装 JCE 。
  • acl_file：标注了 admin 的用户权限，需要用户自己创建。文件格式是：Kerberos_principal permissions [target_principal] [restrictions]
  • supported_enctypes：支持的校验方式。
  • admin_keytab：KDC 进行校验的 keytab。

关于AES-256加密：

对于使用 centos5. 6 及以上的系统，默认使用 AES-256 来加密的。这就需要集群中的所有节点上安装 JCE，如果你使用的是 JDK1.6 ，则到
Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files for JDK/JRE 6 页面下载，如果是 JDK1.7，则到 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files for JDK/JRE 7 下载。

下载的文件是一个 zip 包，解开后，将里面的两个文件放到下面的目录中：$JAVA_HOME/jre/lib/security

为了能够不直接访问 KDC 控制台而从 Kerberos 数据库添加和删除主体，请对 Kerberos 管理服务器指示允许哪些主体执行哪些操作。通过编辑文件 /var/lib/kerberos/krb5kdc/kadm5.acl 完成此操作。ACL（访问控制列表）允许您精确指定特权。

  1. $ cat /var/kerberos/krb5kdc/kadm5.acl
  2.   */admin@JAVACHEN.COM *

5. 同步配置文件

将 kdc 中的 /etc/krb5.conf 拷贝到集群中其他服务器即可。

  1. $ scp /etc/krb5.conf cdh2:/etc/krb5.conf
  2. $ scp /etc/krb5.conf cdh3:/etc/krb5.conf

请确认集群如果关闭了 selinux。

6. 创建数据库

在 cdh1 上运行初始化数据库命令。其中 -r 指定对应 realm。

  1. $ kdb5_util create -r JAVACHEN.COM -s

出现 Loading random data 的时候另开个终端执行点消耗CPU的命令如 cat /dev/sda > /dev/urandom 可以加快随机数采集。该命令会在 /var/kerberos/krb5kdc/ 目录下创建 principal 数据库。
如果遇到数据库已经存在的提示，可以把 /var/kerberos/krb5kdc/ 目录下的 principal 的相关文件都删除掉。默认的数据库名字都是 principal。可以使用 -d 指定数据库名字。

7. 启动服务

在 cdh1 节点上运行：

  1. $ chkconfig --level 35 krb5kdc on
  2. $ chkconfig --level 35 kadmin on
  3. $ service krb5kdc start
  4. $ service kadmin start

8. 创建 kerberos 管理员

关于 kerberos 的管理，可以使用 kadmin.local 或 kadmin，至于使用哪个，取决于账户和访问权限：

  • 如果有访问 kdc 服务器的 root 权限，但是没有 kerberos admin 账户，使用 kadmin.local
  • 如果没有访问 kdc 服务器的 root 权限，但是用 kerberos admin 账户，使用 kadmin

在 cdh1 上创建远程管理的管理员：

  1. #手动输入两次密码，这里密码为 root
  2. $ kadmin.local -q "addprinc root/admin"
  4. # 也可以不用手动输入密码
  5. $ echo -e "root\nroot" | kadmin.local -q "addprinc root/admin"
  7. # 或者运行下面命令
  8. $ kadmin.local <<eoj
  9. addprinc -pw root root/admin
  10. eoj

系统会提示输入密码，密码不能为空，且需妥善保存。

9. 测试 kerberos

查看当前的认证用户：

  1. # 查看principals
  2. $ kadmin: list_principals
  4.   # 添加一个新的 principal
  5.   kadmin:  addprinc user1
  6.     WARNING: no policy specified for user1@JAVACHEN.COM; defaulting to no policy
  7.     Enter password for principal "user1@JAVACHEN.COM":
  8.     Re-enter password for principal "user1@JAVACHEN.COM":
  9.     Principal "user1@JAVACHEN.COM" created.
  11.   # 删除 principal
  12.   kadmin:  delprinc user1
  13.     Are you sure you want to delete the principal "user1@JAVACHEN.COM"? (yes/no): yes
  14.     Principal "user1@JAVACHEN.COM" deleted.
  15.     Make sure that you have removed this principal from all ACLs before reusing.
  17.   kadmin: exit

也可以直接通过下面的命令来执行：

  1. # 提示需要输入密码
  2. $ kadmin -p root/admin -q "list_principals"
  3. $ kadmin -p root/admin -q "addprinc user2"
  4. $ kadmin -p root/admin -q "delprinc user2"
  6. # 不用输入密码
  7. $ kadmin.local -q "list_principals"
  8. $ kadmin.local -q "addprinc user2"
  9. $ kadmin.local -q "delprinc user2"

创建一个测试用户 test，密码设置为 test：

  1. $ echo -e "test\ntest" | kadmin.local -q "addprinc test"

获取 test 用户的 ticket：

  1. # 通过用户名和密码进行登录
  2. $ kinit test
  3. Password for test@JAVACHEN.COM:
  5. $ klist  -e
  6. Ticket cache: FILE:/tmp/krb5cc_0
  7. Default principal: test@JAVACHEN.COM
  9. Valid starting     Expires            Service principal
  10. 11/07/14 15:29:02  11/08/14 15:29:02  krbtgt/JAVACHEN.COM@JAVACHEN.COM
  11.   renew until 11/17/14 15:29:02, Etype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96
  13. Kerberos 4 ticket cache: /tmp/tkt0
  14. klist: You have no tickets cached

销毁该 test 用户的 ticket：

  1. $ kdestroy
  3. $ klist
  4. klist: No credentials cache found (ticket cache FILE:/tmp/krb5cc_0)
  6. Kerberos 4 ticket cache: /tmp/tkt0
  7. klist: You have no tickets cached

更新 ticket：

  1. $ kinit root/admin
  2.   Password for root/admin@JAVACHEN.COM:
  4. $  klist
  5.   Ticket cache: FILE:/tmp/krb5cc_0
  6.   Default principal: root/admin@JAVACHEN.COM
  8.   Valid starting     Expires            Service principal
  9.   11/07/14 15:33:57  11/08/14 15:33:57  krbtgt/JAVACHEN.COM@JAVACHEN.COM
  10.     renew until 11/17/14 15:33:57
  12.   Kerberos 4 ticket cache: /tmp/tkt0
  13.   klist: You have no tickets cached
  15. $ kinit -R
  17. $ klist
  18.   Ticket cache: FILE:/tmp/krb5cc_0
  19.   Default principal: root/admin@JAVACHEN.COM
  21.   Valid starting     Expires            Service principal
  22.   11/07/14 15:34:05  11/08/14 15:34:05  krbtgt/JAVACHEN.COM@JAVACHEN.COM
  23.     renew until 11/17/14 15:33:57
  25.   Kerberos 4 ticket cache: /tmp/tkt0
  26.   klist: You have no tickets cached

抽取密钥并将其储存在本地 keytab 文件 /etc/krb5.keytab 中。这个文件由超级用户拥有，所以您必须是 root 用户才能在 kadmin shell 中执行以下命令：

  1. $ kadmin.local -q "ktadd kadmin/admin"
  3. $ klist -k /etc/krb5.keytab
  4.   Keytab name: FILE:/etc/krb5.keytab
  5.   KVNO Principal
  6.   ---- --------------------------------------------------------------------------
  7.      3 kadmin/admin@LASHOU-INC.COM
  8.      3 kadmin/admin@LASHOU-INC.COM
  9.      3 kadmin/admin@LASHOU-INC.COM
  10.      3 kadmin/admin@LASHOU-INC.COM
  11.      3 kadmin/admin@LASHOU-INC.COM

10. HDFS 上配置 kerberos

10.1 创建认证规则

在 Kerberos 安全机制里，一个 principal 就是 realm 里的一个对象，一个 principal 总是和一个密钥（secret key）成对出现的。
这个 principal 的对应物可以是 service，可以是 host，也可以是 user，对于 Kerberos 来说，都没有区别。
Kdc(Key distribute center) 知道所有 principal 的 secret key，但每个 principal 对应的对象只知道自己的那个 secret key 。这也是“共享密钥“的由来。
对于 hadoop，principals 的格式为 username/fully.qualified.domain.name@YOUR-REALM.COM。
通过 yum 源安装的 cdh 集群中，NameNode 和 DataNode 是通过 hdfs 启动的，故为集群中每个服务器节点添加两个principals：hdfs、HTTP。
在 KCD server 上（这里是 cdh1）创建 hdfs principal：

  1. kadmin.local -q "addprinc -randkey hdfs/cdh1@JAVACHEN.COM"
  2. kadmin.local -q "addprinc -randkey hdfs/cdh2@JAVACHEN.COM"
  3. kadmin.local -q "addprinc -randkey hdfs/cdh3@JAVACHEN.COM"

-randkey 标志没有为新 principal 设置密码，而是指示 kadmin 生成一个随机密钥。之所以在这里使用这个标志，是因为此 principal 不需要用户交互。它是计算机的一个服务器帐户。
创建 HTTP principal：

  1. kadmin.local -q "addprinc -randkey HTTP/cdh1@JAVACHEN.COM"
  2. kadmin.local -q "addprinc -randkey HTTP/cdh2@JAVACHEN.COM"
  3. kadmin.local -q "addprinc -randkey HTTP/cdh3@JAVACHEN.COM"

创建完成后，查看：

  1. $ kadmin.local -q "listprincs"

10.2 创建keytab文件

keytab 是包含 principals 和加密 principal key 的文件。keytab 文件对于每个 host 是唯一的，因为 key 中包含 hostname。keytab 文件用于不需要人工交互和保存纯文本密码，实现到 kerberos 上验证一个主机上的 principal。因为服务器上可以访问 keytab 文件即可以以 principal 的身份通过 kerberos 的认证，所以，keytab 文件应该被妥善保存，应该只有少数的用户可以访问。
创建包含 hdfs principal 和 host principal 的 hdfs keytab：

  1. xst -norandkey -k hdfs.keytab hdfs/fully.qualified.domain.name host/fully.qualified.domain.name

创建包含 mapred principal 和 host principal 的 mapred keytab：

  1. xst -norandkey -k mapred.keytab mapred/fully.qualified.domain.name host/fully.qualified.domain.name

注意：
上面的方法使用了xst的norandkey参数，有些kerberos不支持该参数。
当不支持该参数时有这样的提示：Principal -norandkey does not exist.，需要使用下面的方法来生成keytab文件。

在 cdh1 节点，即 KDC server 节点上执行下面命令：

  1. $ cd /var/kerberos/krb5kdc/
  3. kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/cdh1@JAVACHEN.COM"
  4. kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/cdh2@JAVACHEN.COM"
  5. kadmin.local -q "xst  -k hdfs-unmerged.keytab  hdfs/cdh3@JAVACHEN.COM"
  7. kadmin.local -q "xst  -k HTTP.keytab  HTTP/cdh1@JAVACHEN.COM"
  8. kadmin.local -q "xst  -k HTTP.keytab  HTTP/cdh2@JAVACHEN.COM"
  9. kadmin.local -q "xst  -k HTTP.keytab  HTTP/cdh3@JAVACHEN.COM"

这样，就会在 /var/kerberos/krb5kdc/ 目录下生成 hdfs-unmerged.keytab 和 HTTP.keytab 两个文件，接下来使用 ktutil 合并者两个文件为 hdfs.keytab。

  1. $ cd /var/kerberos/krb5kdc/
  3. $ ktutil
  4. ktutil: rkt hdfs-unmerged.keytab
  5. ktutil: rkt HTTP.keytab
  6. ktutil: wkt hdfs.keytab
  7. ktutil: exit

使用 klist 显示 hdfs.keytab 文件列表：

  1. $ klist -ket  hdfs.keytab
  2. Keytab name: FILE:hdfs.keytab
  3. KVNO Timestamp         Principal
  4. ---- ----------------- --------------------------------------------------------
  5.    2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (aes256-cts-hmac-sha1-96)
  6.    2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (aes128-cts-hmac-sha1-96)
  7.    2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (des3-cbc-sha1)
  8.    2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (arcfour-hmac)
  9.    2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (des-hmac-sha1)
  10.    2 11/13/14 10:40:18 hdfs/cdh1@JAVACHEN.COM (des-cbc-md5)
  11.    2 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (aes256-cts-hmac-sha1-96)
  12.    2 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (aes128-cts-hmac-sha1-96)
  13.    2 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (des3-cbc-sha1)
  14.    2 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (arcfour-hmac)
  15.    2 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (des-hmac-sha1)
  16.    2 11/13/14 10:40:18 hdfs/cdh2@JAVACHEN.COM (des-cbc-md5)
  17.    2 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (aes256-cts-hmac-sha1-96)
  18.    2 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (aes128-cts-hmac-sha1-96)
  19.    2 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (des3-cbc-sha1)
  20.    2 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (arcfour-hmac)
  21.    2 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (des-hmac-sha1)
  22.    2 11/13/14 10:40:18 hdfs/cdh3@JAVACHEN.COM (des-cbc-md5)
  23.    2 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (aes256-cts-hmac-sha1-96)
  24.    2 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (aes128-cts-hmac-sha1-96)
  25.    2 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (des3-cbc-sha1)
  26.    2 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (arcfour-hmac)
  27.    2 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (des-hmac-sha1)
  28.    2 11/13/14 10:40:18 HTTP/cdh1@JAVACHEN.COM (des-cbc-md5)
  29.    2 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (aes256-cts-hmac-sha1-96)
  30.    2 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (aes128-cts-hmac-sha1-96)
  31.    2 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (des3-cbc-sha1)
  32.    2 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (arcfour-hmac)
  33.    2 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (des-hmac-sha1)
  34.    2 11/13/14 10:40:18 HTTP/cdh2@JAVACHEN.COM (des-cbc-md5)
  35.    2 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (aes256-cts-hmac-sha1-96)
  36.    2 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (aes128-cts-hmac-sha1-96)
  37.    2 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (des3-cbc-sha1)
  38.    2 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (arcfour-hmac)
  39.    2 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (des-hmac-sha1)
  40.    2 11/13/14 10:40:18 HTTP/cdh3@JAVACHEN.COM (des-cbc-md5)

验证是否正确合并了key，使用合并后的keytab，分别使用hdfs和host principals来获取证书。

  1. $ kinit -k -t hdfs.keytab hdfs/cdh1@JAVACHEN.COM
  2. $ kinit -k -t hdfs.keytab HTTP/cdh1@JAVACHEN.COM

如果出现错误：kinit: Key table entry not found while getting initial credentials，
则上面的合并有问题，重新执行前面的操作。

10.3 部署kerberos keytab文件

拷贝 hdfs.keytab 文件到其他节点的 /etc/hadoop/conf 目录

  1. $ cd /var/kerberos/krb5kdc/
  3. $ scp hdfs.keytab cdh1:/etc/hadoop/conf
  4. $ scp hdfs.keytab cdh2:/etc/hadoop/conf
  5. $ scp hdfs.keytab cdh3:/etc/hadoop/conf

并设置权限，分别在 cdh1、cdh2、cdh3 上执行：

  1. $ ssh cdh1 "chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab"
  2. $ ssh cdh2 "chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab"
  3. $ ssh cdh3 "chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab ;chmod 400 /etc/hadoop/conf/hdfs.keytab"

由于 keytab 相当于有了永久凭证，不需要提供密码(如果修改kdc中的principal的密码，则该keytab就会失效)，所以其他用户如果对该文件有读权限，就可以冒充 keytab 中指定的用户身份访问 hadoop，所以 keytab 文件需要确保只对 owner 有读权限(0400)

10.4 修改 hdfs 配置文件

先停止集群：

  1. $ for x in `cd /etc/init.d ; ls hive-*` ; do sudo service $x stop ; done
  2. $ for x in `cd /etc/init.d ; ls impala-*` ; do sudo service $x stop ; done
  3. $ for x in `cd /etc/init.d ; ls hadoop-*` ; do sudo service $x stop ; done
  4. $ for x in `cd /etc/init.d ; ls zookeeper-*` ; do sudo service $x stop ; done

在集群中所有节点的 core-site.xml 文件中添加下面的配置:

  1. <property>
  2.   <name>hadoop.security.authentication</name>
  3.   <value>kerberos</value>
  4. </property>
  6. <property>
  7.   <name>hadoop.security.authorization</name>
  8.   <value>true</value>
  9. </property>

在集群中所有节点的 hdfs-site.xml 文件中添加下面的配置：

  1. <property>
  2.   <name>dfs.block.access.token.enable</name>
  3.   <value>true</value>
  4. </property>
  5. <property>  
  6.   <name>dfs.datanode.data.dir.perm</name>  
  7.   <value>700</value>  
  8. </property>
  9. <property>
  10.   <name>dfs.namenode.keytab.file</name>
  11.   <value>/etc/hadoop/conf/hdfs.keytab</value>
  12. </property>
  13. <property>
  14.   <name>dfs.namenode.kerberos.principal</name>
  15.   <value>hdfs/_HOST@JAVACHEN.COM</value>
  16. </property>
  17. <property>
  18.   <name>dfs.namenode.kerberos.https.principal</name>
  19.   <value>HTTP/_HOST@JAVACHEN.COM</value>
  20. </property>
  21. <property>
  22.   <name>dfs.datanode.address</name>
  23.   <value>0.0.0.0:1004</value>
  24. </property>
  25. <property>
  26.   <name>dfs.datanode.http.address</name>
  27.   <value>0.0.0.0:1006</value>
  28. </property>
  29. <property>
  30.   <name>dfs.datanode.keytab.file</name>
  31.   <value>/etc/hadoop/conf/hdfs.keytab</value>
  32. </property>
  33. <property>
  34.   <name>dfs.datanode.kerberos.principal</name>
  35.   <value>hdfs/_HOST@JAVACHEN.COM</value>
  36. </property>
  37. <property>
  38.   <name>dfs.datanode.kerberos.https.principal</name>
  39.   <value>HTTP/_HOST@JAVACHEN.COM</value>
  40. </property>

如果想开启 SSL，请添加（本文不对这部分做说明）：

  1. <property>
  2.   <name>dfs.http.policy</name>
  3.   <value>HTTPS_ONLY</value>
  4. </property>

如果 HDFS 配置了 QJM HA，则需要添加（另外，你还要在 zookeeper 上配置 kerberos）：

  1. <property>
  2.   <name>dfs.journalnode.keytab.file</name>
  3.   <value>/etc/hadoop/conf/hdfs.keytab</value>
  4. </property>
  5. <property>
  6.   <name>dfs.journalnode.kerberos.principal</name>
  7.   <value>hdfs/_HOST@JAVACHEN.COM</value>
  8. </property>
  9. <property>
  10.   <name>dfs.journalnode.kerberos.internal.spnego.principal</name>
  11.   <value>HTTP/_HOST@JAVACHEN.COM</value>
  12. </property>

如果配置了 WebHDFS，则添加：

  1. <property>
  2.   <name>dfs.webhdfs.enabled</name>
  3.   <value>true</value>
  4. </property>
  6. <property>
  7.   <name>dfs.web.authentication.kerberos.principal</name>
  8.   <value>HTTP/_HOST@JAVACHEN.COM</value>
  9. </property>
  11. <property>
  12.   <name>dfs.web.authentication.kerberos.keytab</name>
  13.   <value>/etc/hadoop/conf/hdfs.keytab</value>
  14. </property>

配置中有几点要注意的：

  1. dfs.datanode.address表示 data transceiver RPC server 所绑定的 hostname 或 IP 地址，如果开启 security，端口号必须小于 1024(privileged port)，否则的话启动 datanode 时候会报 Cannot start secure cluster without privileged resources 错误
  1. principal 中的 instance 部分可以使用 _HOST 标记，系统会自动替换它为全称域名
  1. 如果开启了 security, hadoop 会对 hdfs block data(由 dfs.data.dir 指定)做 permission check，方式用户的代码不是调用hdfs api而是直接本地读block data，这样就绕过了kerberos和文件权限验证，管理员可以通过设置 dfs.datanode.data.dir.perm 来修改 datanode 文件权限，这里我们设置为700

10.5 检查集群上的 HDFS 和本地文件的权限

请参考 Verify User Accounts and Groups in CDH 5 Due to Security 或者 Hadoop in Secure Mode。

10.6 启动 NameNode

启动之前，请确认 JCE jar 已经替换，请参考前面的说明。
在每个节点上获取 root 用户的 ticket，这里 root 为之前创建的 root/admin 的密码。

  1. $ ssh cdh1 "echo root|kinit root/admin"
  2. $ ssh cdh1 "echo root|kinit root/admin"
  3. $ ssh cdh1 "echo root|kinit root/admin"

获取 cdh1的 ticket：

  1. $ kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh1@JAVACHEN.COM

如果出现下面异常 kinit: Password incorrect while getting initial credentials，则重新导出 keytab 再试试。
然后启动服务，观察日志：

  1. $ /etc/init.d/hadoop-hdfs-namenode start

验证 NameNode 是否启动，一是打开 web 界面查看启动状态，一是运行下面命令查看 hdfs：

  1. $ hadoop fs -ls /
  2. Found 4 items
  3. drwxrwxrwx   - yarn hadoop          0 2014-06-26 15:24 /logroot
  4. drwxrwxrwt   - hdfs hadoop          0 2014-11-04 10:44 /tmp
  5. drwxr-xr-x   - hdfs hadoop          0 2014-08-10 10:53 /user
  6. drwxr-xr-x   - hdfs hadoop          0 2013-05-20 22:52 /var

如果在你的凭据缓存中没有有效的 kerberos ticket，执行上面命令将会失败，将会出现下面的错误：

  1. 14/11/04 12:08:12 WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException:
  2. GSS initiate failed [Caused by GS***ception: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
  3. Bad connection to FS. command aborted. exception: Call to cdh1/192.168.56.121:8020 failed on local exception: java.io.IOException:
  4. javax.security.sasl.SaslException: GSS initiate failed [Caused by GS***ception: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]

10.7 启动DataNode

DataNode 需要通过 JSVC 启动。首先检查是否安装了 JSVC 命令，然后配置环境变量。
在 cdh1 节点查看是否安装了 JSVC：

  1. $ ls /usr/lib/bigtop-utils/
  2. bigtop-detect-classpath  bigtop-detect-javahome  bigtop-detect-javalibs  jsvc

然后编辑 /etc/default/hadoop-hdfs-datanode，取消对下面的注释并添加一行设置 JSVC_HOME，修改如下：

  1. export HADOOP_SECURE_DN_USER=hdfs
  2. export HADOOP_SECURE_DN_PID_DIR=/var/run/hadoop-hdfs
  3. export HADOOP_SECURE_DN_LOG_DIR=/var/log/hadoop-hdfs
  5. export JSVC_HOME=/usr/lib/bigtop-utils

将该文件同步到其他节点：

  1. $ scp /etc/default/hadoop-hdfs-datanode cdh2:/etc/default/hadoop-hdfs-datanode
  2. $ scp /etc/default/hadoop-hdfs-datanode cdh3:/etc/default/hadoop-hdfs-datanode

分别在 cdh2、cdh3 获取 ticket 然后启动服务：

  1. #root 为 root/admin 的密码
  2. $ ssh cdh1 "kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh1@JAVACHEN.COM; service hadoop-hdfs-datanode start"
  3. $ ssh cdh2 "kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh2@JAVACHEN.COM; service hadoop-hdfs-datanode start"
  4. $ ssh cdh3 "kinit -k -t /etc/hadoop/conf/hdfs.keytab hdfs/cdh3@JAVACHEN.COM; service hadoop-hdfs-datanode start"

观看 cdh1 上 NameNode 日志，出现下面日志表示 DataNode 启动成功：

  1. 14/11/04 17:21:41 INFO security.UserGroupInformation:
  2. Login successful for user hdfs/cdh2@JAVACHEN.COM using keytab file /etc/hadoop/conf/hdfs.keytab

11. 总结

本文介绍了 CDH Hadoop 集成 kerberos 认证的过程，其中主要需要注意以下几点：

  1. 配置 hosts，hostname 请使用小写
  1. 确保 kerberos 客户端和服务端连通
  1. 替换 JRE 自带的 JCE jar 包
  1. 为 DataNode 设置运行用户并配置 JSVC_HOME
  1. 启动服务前，先获取 ticket 再运行相关命令

上面的过程比较繁琐，我总结了上面的过程并写了一些自动化的脚本方便快速安装、配置以及管理 kerberos，请参考Hadoop集群部署权限总结。

12. 参考文章