1. 增强的AMS智能配置
功能描述:
1、AMS支持服务指标的自定义配置:
通过配置timeline.metrics.whitelisting.enabled属性,并通过设置/etc/ambari-metrics-collector/conf/metrics_whitelist,可自定义需要显示和不需要显示的指标。
2、对一些配置属性项进行优化—增加了最小值和最大值区间,从而在配置的时候超出范围区间的值将无法进行设置。
功能实现:
增加了配置timeline.metrics.whitelisting.enabled
用yarn.TimelineDataManagerMetrics.PostEntitiesTotal指标做测试:
1、timeline.metrics.whitelisting.enabled=true
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为true
2、timeline.metrics.whitelisting.enabled=false
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为true
3、timeline.metrics.whitelisting.enabled=false
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中不存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为true
4、timeline.metrics.whitelisting.enabled=true
/etc/ambari-metrics-collector/conf/metrics_whitelist文件中不存在 ,则 yarn.TimelineDataManagerMetrics.PostEntitiesTotal 为false
timeline.metrics.host.inmemory.aggregation
取消配置:
timeline.metrics.sink.collection.period(The interval between two service metrics data exports.
)
Ambari优化配置:
metrics_collector_heapsize:0-16384MB,step: 256
hbase_regionserver_heapsize: 512-32768MB,step: 256
regionserver_xmn_size: 128-8192MB,step:128
hbase_master_xmn_size:64-1024MB,step:64
hbase_master_heapsize:256-4096MB,step:256
phoenix.query.spoolThresholdBytes: 12582912B-31457280B,step: 1048576B
hbase.hregion.max.filesize: 1073741824B- 107374182400B,step: 1073741824B
hbase.hregion.memstore.flush.size: 33554432B- 536870912B,step: 1048576B
遇到问题:
2. HDFS:NameNode Federation
功能描述:
功能实现:
配置HDFS Federation:
1、选择hdfs>操作>Add New HDFS Namespace
2、填入新的Nameservice ID,点击下一步
3、选择分配新的NameNode主机后点击下一步
4、填入新NameNode的Journalnode数据存储路径后点击下一步,其它属性不可编辑。
5、将自动配置Federation,步骤如下,配置步骤完成后点击完成即可。
不同的namenode拥有相同的Cluster ID,不同的Block Pool ID
使用时,需要指定使用的Nameservice ID,不指定时默认使用的是fs.defaultFS中配置的值。
遇到问题:
3. HDFS:ViewFS支持
功能描述:
视图文件系统(View File System ,ViewFs)提供了管理多个Hadoop文件系统命名空间的方式, ViewFs与某些Linux或Unix系统的客户端挂载表类似,可以被用于创建个性化的命名空间视图和整个集群共同的视图。
功能实现:
使用前提:集群已经开启 HDFS federation
Hive群集不支持ViewFS 。
配置步骤:
1、修改fs.defaultFS的值从hdfs://ocdp修改为viewfs://ocdp
2、打开自定义core-site,按照规划的目录及namespace对应使用关系,添加属性:
例子中,raoyi_ocdp目录使用ocdp的namespace管理,raoyi_ocdp1目录使用ocdp1的namespace管理,
fs.viewfs.mounttable.ocdp.link./raoyi_ocdp hdfs://ocdp/raoyi_ocdp
fs.viewfs.mounttable.ocdp.link./raoyi_ocdp1 hdfs://ocdp1/raoyi_ocdp1
上面是一种配置方法,另一种配置方法为配置Mount table configuration file:
在高级viewfs-mount-table中添加:
通过这样配置后,在使用时就无需指定使用哪个namespace管理的目录:
遇到问题:
官网指出Hive群集不支持ViewFS,但是hive 显示在0.13.0版本已经修复,需要在测试一下
https://issues.apache.org/jira/browse/HIVE-6152
4. 安全性:支持FreeIPA
功能描述:
FreeIPA是一个集成的安全信息管理解决方案,结合了Linux(Fedora),389 Directory Server,MIT Kerberos,NTP,DNS,Dogtag(证书系统)。它由Web界面和命令行管理工具组成。
FreeIPA是用于Linux / UNIX网络环境的集成身份和身份验证解决方案。FreeIPA服务器通过存储管理计算机网络安全方面所需的用户,组,主机和其他对象的数据,提供集中的身份验证,授权和帐户信息。
功能实现:
在主界面上点击“kerberos”->”enable kerberos”,即可进入如下配置向导:
遇到问题:
这里需要安装配置freeipa环境,相对复杂,后续可安装一个freeipa,测试一下ambari使用freeipa安全套件和使用MIT Kerberos的对比。
5. 安装:密码,数据库,日志目录和用户的集中配置
功能描述:
在安装过程中,用户通常必须配置数据库,密码和日志目录。现在在安装中创建一个单独的步骤,用户可以轻松设置这三个内容,而无需单击每个服务以查找这三个常见配置的相应字段
功能实现:
遇到问题:
6. 可用性:显示谁启动了向导操作
功能描述:
功能实现:
遇到问题:
7. 可用性:显示谁启动了后台操作
功能描述:
功能实现:
遇到问题:
8. 可用性:在大型集群中分配从属/客户端
功能描述:
在安装和添加服务向导中,在分配Slaves和Clients步骤时,水平滚动时,主机名列保持不变。
功能实现:
遇到问题:
9. 可用性:批量添加/删除组件
功能描述:
功能实现:
遇到问题:
10. 可用性:批量删除主机
功能描述:
功能实现:
遇到问题:
11. 安全性:简化SSO的启用服务
功能描述:
功能实现:
提供ambari-server setup-sso的sso设置命令
ambari-server setup-sso –help
例:
开启sso:
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem —sso-jwt-cookie-name=ambari-jtw
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem —sso-jwt-cookie-name=ambari-jtw —sso-jwt-audience-list=ambari
ambari-server setup-sso —sso-enabled=true —sso-provider-url=https://knox.ambari.apache.org:8443 —sso-public-cert-file=/tmp/sso.pem
关闭sso:
ambari-server setup-sso —sso-enabled=false