1. 增强的AMS智能配置

功能描述:

1、AMS支持服务指标的自定义配置:
通过配置timeline.metrics.whitelisting.enabled属性,并通过设置/etc/ambari-metrics-collector/conf/metrics_whitelist,可自定义需要显示和不需要显示的指标。
2、对一些配置属性项进行优化—增加了最小值和最大值区间,从而在配置的时候超出范围区间的值将无法进行设置。

功能实现:

增加了配置timeline.metrics.whitelisting.enabled
OCDP5.0-Ambari新特性测试 - 图1
用yarn.TimelineDataManagerMetrics.PostEntitiesTotal指标做测试:
1、timeline.metrics.whitelisting.enabled=true
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为true
2、timeline.metrics.whitelisting.enabled=false
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为true
3、timeline.metrics.whitelisting.enabled=false
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中不存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为true
OCDP5.0-Ambari新特性测试 - 图2
4、timeline.metrics.whitelisting.enabled=true
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中不存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为false
OCDP5.0-Ambari新特性测试 - 图3
timeline.metrics.host.inmemory.aggregation
取消配置:
timeline.metrics.sink.collection.period(The interval between two service metrics data exports.
)
Ambari优化配置:
metrics_collector_heapsize:0-16384MB,step: 256
hbase_regionserver_heapsize: 512-32768MB,step: 256
regionserver_xmn_size: 128-8192MB,step:128
hbase_master_xmn_size:64-1024MB,step:64
hbase_master_heapsize:256-4096MB,step:256
phoenix.query.spoolThresholdBytes: 12582912B-31457280B,step: 1048576B
hbase.hregion.max.filesize: 1073741824B- 107374182400B,step: 1073741824B
hbase.hregion.memstore.flush.size: 33554432B- 536870912B,step: 1048576B

遇到问题:

2. HDFS:NameNode Federation

功能描述:

扩展HDFS namdenode,最多支持4个

功能实现:

配置HDFS Federation:
1、选择hdfs>操作>Add New HDFS Namespace
OCDP5.0-Ambari新特性测试 - 图4
2、填入新的Nameservice ID,点击下一步
OCDP5.0-Ambari新特性测试 - 图5
3、选择分配新的NameNode主机后点击下一步
OCDP5.0-Ambari新特性测试 - 图6
4、填入新NameNode的Journalnode数据存储路径后点击下一步,其它属性不可编辑。
OCDP5.0-Ambari新特性测试 - 图7
OCDP5.0-Ambari新特性测试 - 图8
OCDP5.0-Ambari新特性测试 - 图9
5、将自动配置Federation,步骤如下,配置步骤完成后点击完成即可。
OCDP5.0-Ambari新特性测试 - 图10
OCDP5.0-Ambari新特性测试 - 图11

不同的namenode拥有相同的Cluster ID,不同的Block Pool ID
OCDP5.0-Ambari新特性测试 - 图12
OCDP5.0-Ambari新特性测试 - 图13
OCDP5.0-Ambari新特性测试 - 图14
使用时,需要指定使用的Nameservice ID,不指定时默认使用的是fs.defaultFS中配置的值。
OCDP5.0-Ambari新特性测试 - 图15

遇到问题:



3. HDFS:ViewFS支持

功能描述:

视图文件系统(View File System ,ViewFs)提供了管理多个Hadoop文件系统命名空间的方式, ViewFs与某些Linux或Unix系统的客户端挂载表类似,可以被用于创建个性化的命名空间视图和整个集群共同的视图。

功能实现:

使用前提:集群已经开启 HDFS federation
Hive群集不支持ViewFS 。
OCDP5.0-Ambari新特性测试 - 图16
配置步骤:
1、修改fs.defaultFS的值从hdfs://ocdp修改为viewfs://ocdp
OCDP5.0-Ambari新特性测试 - 图17
OCDP5.0-Ambari新特性测试 - 图18
2、打开自定义core-site,按照规划的目录及namespace对应使用关系,添加属性:
例子中,raoyi_ocdp目录使用ocdp的namespace管理,raoyi_ocdp1目录使用ocdp1的namespace管理,
fs.viewfs.mounttable.ocdp.link./raoyi_ocdp hdfs://ocdp/raoyi_ocdp
fs.viewfs.mounttable.ocdp.link./raoyi_ocdp1 hdfs://ocdp1/raoyi_ocdp1
OCDP5.0-Ambari新特性测试 - 图19
上面是一种配置方法,另一种配置方法为配置Mount table configuration file
在高级viewfs-mount-table中添加:


fs.viewfs.mounttable.ocdp.link./raoyi_ocdp
hdfs://ocdp/raoyi_ocdp


fs.viewfs.mounttable.ocdp.link./raoyi_ocdp1
hdfs://ocdp1/raoyi_ocdp1


OCDP5.0-Ambari新特性测试 - 图20
通过这样配置后,在使用时就无需指定使用哪个namespace管理的目录:
OCDP5.0-Ambari新特性测试 - 图21
OCDP5.0-Ambari新特性测试 - 图22
OCDP5.0-Ambari新特性测试 - 图23
OCDP5.0-Ambari新特性测试 - 图24
OCDP5.0-Ambari新特性测试 - 图25

遇到问题:

官网指出Hive群集不支持ViewFS,但是hive 显示在0.13.0版本已经修复,需要在测试一下
https://issues.apache.org/jira/browse/HIVE-6152

4. 安全性:支持FreeIPA

功能描述:

FreeIPA是一个集成的安全信息管理解决方案,结合了Linux(Fedora),389 Directory Server,MIT Kerberos,NTP,DNS,Dogtag(证书系统)。它由Web界面和命令行管理工具组成。
FreeIPA是用于Linux / UNIX网络环境的集成身份和身份验证解决方案。FreeIPA服务器通过存储管理计算机网络安全方面所需的用户,组,主机和其他对象的数据,提供集中的身份验证,授权和帐户信息。

功能实现:

在主界面上点击“kerberos”->”enable kerberos”,即可进入如下配置向导:
OCDP5.0-Ambari新特性测试 - 图26

遇到问题:

这里需要安装配置freeipa环境,相对复杂,后续可安装一个freeipa,测试一下ambari使用freeipa安全套件和使用MIT Kerberos的对比。

5. 安装:密码,数据库,日志目录和用户的集中配置

功能描述:

在安装过程中,用户通常必须配置数据库,密码和日志目录。现在在安装中创建一个单独的步骤,用户可以轻松设置这三个内容,而无需单击每个服务以查找这三个常见配置的相应字段

功能实现:

在安装过程的安装界面可查看。
OCDP5.0-Ambari新特性测试 - 图27

遇到问题:

6. 可用性:显示谁启动了向导操作

功能描述:

可查看谁启动了添加服务,添加主机,启用HA等操作的功能。

功能实现:

OCDP5.0-Ambari新特性测试 - 图28

遇到问题:

7. 可用性:显示谁启动了后台操作

功能描述:

可查看是谁执行了后台操作

功能实现:

OCDP5.0-Ambari新特性测试 - 图29

遇到问题:

8. 可用性:在大型集群中分配从属/客户端

功能描述:

在安装和添加服务向导中,在分配Slaves和Clients步骤时,水平滚动时,主机名列保持不变。

功能实现:

OCDP5.0-Ambari新特性测试 - 图30

遇到问题:

9. 可用性:批量添加/删除组件

功能描述:

批量添加和删除组件的功能

功能实现:

OCDP5.0-Ambari新特性测试 - 图31

遇到问题:

10. 可用性:批量删除主机

功能描述:

批量删除主机的功能

功能实现:

OCDP5.0-Ambari新特性测试 - 图32

遇到问题:

11. 安全性:简化SSO的启用服务

功能描述:

通过Ambari CLI即可开启关闭SSO

功能实现:

提供ambari-server setup-sso的sso设置命令
ambari-server setup-sso –help
例:
开启sso:
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem —sso-jwt-cookie-name=ambari-jtw
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem —sso-jwt-cookie-name=ambari-jtw —sso-jwt-audience-list=ambari
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem
关闭sso:
ambari-server setup-sso —sso-enabled=false

遇到问题: