1 hue简介

  • 什么是hue？
  1. Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，
  2. 由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。
  3. 通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，
  4. 例如操作HDFS上的数据，运行MapReduce Job,Hive等等。
  • 支持功能：
  1. 数据库查询编辑器,支持 Hive, Impala, MySql, PostGres, Sqlite and Oracle
  2. 动态查询仪表盘,支持 Solr
  3. 支持 Spark 编辑器和仪表盘
  4. 浏览器查看状态,支持 YARN, HDFS, Hive table Metastore, HBase, ZooKeeper
  5. 支持 Pig Editor, Sqoop2, Oozie workflows 编辑器和仪表盘
  6. 将数据导入hdfs

2.基础环境

2.1物理环境

一台1core、2G内存的Centos6.7虚拟机

2.2组件环境
组件名称 组件版本
Hadoop Hadoop-2.6.0-cdh5.7.0-src.tar.gz
jdk jdk-8u45-linux-x64.gz
hive hive-1.1.0-cdh5.7.0.tar.gz
hue hue-3.9.0-cdh5.7.0

所有的组件都是基于cdh5.7.0的，可从CDH官网组件仓库下载。

3.安装编译hue

3.1安装依赖的环境
  1. [root@hadoop001 ~]# yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc \
  2. gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

3.2设置环境变量
  1. [hadoop@hadoop001 ~]$ vim ./.bash_profile 
  2. export HUE_HOME=/home/hadoop/app/hue-3.9.0-cdh5.7.0
  3. export PATH=$HUE_HOME/bin:$PATH
  4. [hadoop@hadoop001 ~]$ source ./.bash_profile

3.3编译hue
  1. #解压，注意检查用户与用户组
  2. [hadoop@hadoop001 ~]$ tar -zxvf ~/soft/hue-3.9.0-cdh5.7.0.tar.gz -C ~/app/
  4. #编译，make编译会下载很多的包，编译的快慢取决于网络，
  5. [hadoop@hadoop001 ~]$ cd ~/app/hue-3.9.0-cdh5.7.0/
  6. [hadoop@hadoop001 hue-3.9.0-cdh5.7.0]$ make apps
  8. 若出现如下：XXXX post-processed则表示hue编译成功
  9. 1190 static files copied to '/home/hadoop/app/hue-3.9.0-cdh5.7.0/build/static', 1190 post-processed.
  10. make[1]: Leaving directory `/home/hadoop/app/hue-3.9.0-cdh5.7.0/apps'

3.4设置hue.ini文件( $HUE_HOME/desktop/conf/hue.ini)
  1. [desktop]
  2. secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
  3. http_host=hadoop001
  4. time_zone=Asia/Shanghai

4.Hue集成hadoop

4.1修改hadoop配置文件( $HADOOP_HOME/etc/hadoop/ )
  1. #hdfs-site.xml
  2.     <property>
  3.         <name>dfs.webhdfs.enabled</name>
  4.         <value>true</value>
  5.     </property>
  7. #core-site.xml
  8.     <property>
  9.         <name>hadoop.proxyuser.hue.hosts</name>
  10.         <value>*</value>
  11.     </property>
  12.     <property>
  13.         <name>hadoop.proxyuser.hue.groups</name>
  14.         <value>*</value>
  15.     </property>
  16. #httpfs-site.xml
  17.     <property>
  18.         <name>httpfs.proxyuser.hue.hosts</name>
  19.         <value>*</value>
  20.     </property>
  21.     <property>
  22.         <name>httpfs.proxyuser.hue.groups</name>
  23.         <value>*</value>
  24.     </property>

4.2修改hue.ini配置文件( $HUE_HOME/desktop/conf/hue.ini )

取消webhdfs_url的注释

  1. [hadoop]
  3.   # Configuration for HDFS NameNode
  4.   # ------------------------------------------------------------------------
  5.   [[hdfs_clusters]]
  6.     # HA support by using HttpFs
  8.     [[[default]]]
  9.       # Enter the filesystem uri
  10.       fs_defaultfs=hdfs://hadoop001:8020
  12.       # NameNode logical name.
  13.       ## logical_name=
  15.       # Use WebHdfs/HttpFs as the communication mechanism.
  16.       # Domain should be the NameNode or HttpFs host.
  17.       # Default port is 14000 for HttpFs.
  18.       webhdfs_url=http://hadoop001:50070/webhdfs/v1

5.Hue集成Hive

5.1修改hive配置文件( $HIVE_HOME/conf/hive-site.xml )

设置hs2相关信息

  1. <property>
  2.     <name>hive.server2.thrift.port</name>
  3.     <value>10000</value>
  4. </property>
  5. <property>
  6.     <name>hive.server2.thrift.bind.host</name>
  7.     <value>hadoop001</value>
  8. </property>
  9. <property>
  10.     <name>hive.server2.long.polling.timeout</name>
  11.     <value>5000</value>
  12. </property>
  13. <property>
  14.     <name>hive.server2.authentication</name>
  15.     <value>NONE</value>
  16. </property>

5.2修改hue.ini配置文件( $HUE_HOME/desktop/conf/hue.ini )

取消如下注释，并修改hostname

  1. [beeswax]
  3.   # Host where HiveServer2 is running.
  4.   # If Kerberos security is enabled, use fully-qualified domain name (FQDN).
  5.   hive_server_host=hadoop001
  7.   # Port where HiveServer2 Thrift server runs on.
  8.   hive_server_port=10000
  10.   # Hive configuration directory, where hive-site.xml is located
  11.   hive_conf_dir=/home/hadoop/app/hive-1.1.0-cdh5.7.0/conf/

6.启动Hue

  1. #启动hadoop
  2. [hadoop@hadoop001 ~]$ start-all.sh 
  4. #启动hiveserver2
  5. [hadoop@hadoop001 ~]$ nohup hive --service hiveserver2  >~/app/hive-1.1.0-cdh5.7.0/console.log 2>&1 &
  7. 使用beeline连接hs2，-n hadoop 这里的hadoop是启动beeline的用户hadoop
  8. [hadoop@hadoop001 ~]$ beeline -u jdbc:hive2://hadoop001:10000/default -n hadoop
  10. 连接时发生异常，信息如下：Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop001:10000: null 
  11. 解决方案：检查发现配置了hive的用户登录导致的，将hive.server2.authentication配置的值改为NONE即可,原先是NOSAL
  13. #启动hue
  14. [hadoop@hadoop001 ~]$ ~/app/hue-3.9.0-cdh5.7.0/build/env/bin/supervisor

hive是没必要启用用户登录去访问的。

7.访问hue

访问地址：http://ip:88888
我创建了一个hadoop账号，必须是hadoop用户，不然dfs只能操作/usr/XXX/目录，hive也是无法操作的。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vSYW20ko-1608566213090)(https://s2.ax1x.com/2019/04/17/Azmyi4.md.png)]

7.1操作hdfs

这里我们可以对hdfs文件进行操作
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mkxeblLB-1608566213092)(https://s2.ax1x.com/2019/04/17/Azn3Ox.md.png)]

7.2操作hive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7lRmmJzY-1608566213093)(https://s2.ax1x.com/2019/04/17/AzKNzd.md.png)]