1. Hbase与Hive的集成

2. HBase与Hive的对比

1.Hive
(1) 数据分析工具
Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。
(2) 用于数据分析、清洗
Hive适用于离线的数据分析和清洗,延迟较高
(3) 基于HDFS、MapReduce
Hive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行
2.HBase
(1) 数据库
是一种面向列族存储的非关系型数据库
(2) 用于存储结构化和非结构化的数据
适用于单表非关系型数据的存储,不适合做关联查询,类似JOIN等操作。
(3) 基于HDFS
数据持久化存储的体现形式是HFile,存放于DataNode中被ResionServer以region的形式进行管理。
(4) 延迟较低,接入在线业务使用
面对大量的企业数据,HBase可以直线单表大量数据的存储,同时提供了高效的数据访问速度。

3. HBase与Hive集成使用

启动yarn 和 hive服务

  1. start-yarn.sh
  2. hiveservices.sh start
  3. beeline -u jdbc:hive2://hadoop102:10000 -n atguigu

3.1. 从Hive映射到HBase上

建立Hive表,关联HBase表,插入数据到Hive表的同时能够影响HBase表

在Hive中创建表同时关联HBase

  1. CREATE TABLE emp_hbase(
  2. empno int,
  3. ename string,
  4. job string,
  5. mgr int,
  6. hiredate string,
  7. sal double,
  8. comm double,
  9. deptno int)
  10. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
  11. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
  12. TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

从hbase中查看所有表 自动创建了映射表

07. Hbase与Hive的集成 - 图1

hive中创建emp表并导入文本数据

  1. CREATE TABLE emp(
  2. empno int,
  3. ename string,
  4. job string,
  5. mgr int,
  6. hiredate string,
  7. sal double,
  8. comm double,
  9. deptno int)
  10. row format delimited fields terminated by '\t';

查询工资大于2000的数据插入到emp_hbase表中

  1. insert into emp_hbase select * from emp where sal > 2000;

使用hbase shell 查看 hbase_emp_table

07. Hbase与Hive的集成 - 图2

将emp_hbase表映射Phoenix上

  1. CREATE VIEW "hbase_emp_table"(empno varchar PRIMARY KEY,
  2. "info"."ename" varchar,
  3. "info"."job" varchar,
  4. "info"."mgr" varchar,
  5. "info"."hiredate" varchar,
  6. "info"."sal" varchar,
  7. "info"."comm" varchar,
  8. "info"."deptno" varchar);
select * from "hbase_emp_table";

07. Hbase与Hive的集成 - 图3

3.2. 从HBase映射到Hive

在HBase中已经存储了某一张表hbase_emp_table,然后在Hive中创建一个外部表来关联HBase中的hbase_emp_table这张表,使之可以借助Hive来分析HBase这张表中的数据。

在Hive中创建外部表

CREATE EXTERNAL TABLE relevance_hbase_emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") 
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

关联后就可以使用Hive函数进行一些分析操作了

select * from relevance_hbase_emp;

07. Hbase与Hive的集成 - 图4