Hue 作为整合各种大数据组件的可视化工具、可以对接十分多的组件。想要连接这些组件,需要在配置文件里面进行修改。本文整理一些常用的组件连接配置。全量的可参考官方文档
HDFS
Hue只支持连接一个HDFS集群,对于HA集群,则要启用httpfs服务
在hue.ini文件中定位到[hadoop]
[hadoop]
# Configuration for HDFS NameNode
# ------------------------------------------------------------------------
[[hdfs_clusters]]
[[[default]]]
# 输入文件系统uri,高可用集群输入nameservice
fs_defaultfs=hdfs://hdfs-name-node.com:8020
#域名为namenode 节点或者 httpfs节点
#httpfs 默认端口为14000
webhdfs_url=http://hdfs-name-node.com:20101/webhdfs/v1
除了在Hue中配置,Hadoop里面也需要修改配置hdfs-site.xml
:
<property>
<name>dfs.webhdfs.enable</name>
<value>true</value>
</property>
Configure Hue as a proxy user for all other users and groups, meaning it may submit a request on behalf of any other user:
配置Hue作为其他用户的代理,使hue可以代替其他用户提交请求core-site.xml:
<!-- Hue WebHDFS proxy user setting -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
高可用时:httpfs-site.xml
<!-- Hue HttpFS proxy user setting -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>
core-site.xml
<property>
<name>hadoop.proxyuser.httpfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.httpfs.groups</name>
<value>*</value>
</property>
YARN
支持两个Yarn集群(两个独立或者HA模式)分别配置在[[[default]]]
和 [[[ha]]]
下:
如果是HA模式,需要把
# Configuration for YARN (MR2)
# ------------------------------------------------------------------------
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=yarn-rm.com
# 高可用要求
logical_name=
resourcemanager_api_url=http://yarn-rm.com:8088/
proxy_api_url=http://yarn-proxy.com:8088/
resourcemanager_port=8032
history_server_api_url=http://yarn-rhs-com:19888/
[[[ha]]]
logical_name=
resourcemanager_api_url=http://yarn-rm.com:8088/
Hive
在hue.ini文件中定位到[beeswax]
[beeswax]
# Host where HiveServer2 is running.
# If Kerberos security is enabled, use fully-qualified domain name (FQDN).
hive_server_host=localhost
# Port where HiveServer2 Thrift server runs on.
hive_server_port=10000
HBase
在hue.ini文件中定位到[hbase]
指定一组以逗号分隔的HBase Thrift server列表 “(name|host:port)”
Thrif Server默认端口为9090
[hbase]
hbase_clusters=(Cluster|localhost:9090)
hbase_conf_dir=/path/to/hbase/conf
Reference
https://docs.gethue.com/administrator/configuration/connectors