1. Hive 简介及核心概念

一、简介

Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。
特点：

1. 简单、容易上手 (提供了类似 sql 的查询语言 hql)，使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析；
2. 灵活性高，可以自定义用户函数 (UDF) 和存储格式；
3. 为超大的数据集设计的计算和存储能力，集群扩展容易;
4. 统一的元数据管理，可与 presto／impala／sparksql 等共享数据；
5. 执行延迟高，不适合做数据的实时处理，但适合做海量数据的离线处理。

   二、Hive的体系架构

   

   2.1 command-line shell & thrift/jdbc

   可以用 command-line shell 和 thrift／jdbc 两种方式来操作数据：

• command-line shell：通过 hive 命令行的的方式来操作数据；
• thrift／jdbc：通过 thrift 协议按照标准的 JDBC 的方式操作数据。

  2.2 Metastore

  在 Hive 中，表名、表结构、字段名、字段类型、表的分隔符等统一被称为元数据。所有的元数据默认存储在 Hive 内置的 derby 数据库中，但由于 derby 只能有一个实例，也就是说不能有多个命令行客户端同时访问，所以在实际生产环境中，通常使用 MySQL 代替 derby。
  Hive 进行的是统一的元数据管理，就是说你在 Hive 上创建了一张表，然后在 presto／impala／sparksql 中都是可以直接使用的，它们会从 Metastore 中获取统一的元数据信息，同样的你在 presto／impala／sparksql 中创建一张表，在 Hive 中也可以直接使用。

  2.3 HQL的执行流程

  Hive 在执行一条 HQL 的时候，会经过以下步骤：

1. 语法解析：Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象 语法树 AST Tree；
2. 语义解析：遍历 AST Tree，抽象出查询的基本组成单元 QueryBlock；
3. 生成逻辑执行计划：遍历 QueryBlock，翻译为执行操作树 OperatorTree；
4. 优化逻辑执行计划：逻辑层优化器进行 OperatorTree 变换，合并不必要的 ReduceSinkOperator，减少 shuffle 数据量；
5. 生成物理执行计划：遍历 OperatorTree，翻译为 MapReduce 任务；
6. 优化物理执行计划：物理层优化器进行 MapReduce 任务的变换，生成最终的执行计划。

   关于 Hive SQL 的详细执行流程可以参考美团技术团队的文章：Hive SQL 的编译过程

三、数据类型

Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。

3.1 基本数据类型

Hive 表中的列支持以下基本数据类型：

TIMESTAMP 和 TIMESTAMP WITH LOCAL TIME ZONE 的区别如下：

• TIMESTAMP WITH LOCAL TIME ZONE：用户提交时间给数据库时，会被转换成数据库所在的时区来保存。查询时则按照查询客户端的不同，转换为查询客户端所在时区的时间。
• TIMESTAMP ：提交什么时间就保存什么时间，查询时也不做任何转换。

3.2 复杂类型

如下给出一个基本数据类型和复杂数据类型的使用示例：

CREATE TABLE students(
  name      STRING,   -- 姓名
  age       INT,      -- 年龄
  subject   ARRAY<STRING>,   --学科
  score     MAP<STRING,FLOAT>,  --各个学科考试成绩
  address   STRUCT<houseNumber:int, street:STRING, city:STRING, province：STRING>  --家庭居住地址
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

3.3 数据类型转换

同Java语言一样，Hive也包括隐式转换（implicit conversions 自动类型转换）和显式转换（explicitly conversions）。

1.隐式转换（自动类型转换）

Hive 中基本数据类型遵循以下的层次结构，按照这个层次结构，子类型到祖先类型允许隐式转换。例如 INT 类型的数据允许隐式转换为 BIGINT 类型。额外注意的是：按照类型层次结构允许将 STRING 类型隐式转换为 DOUBLE 类型。

总结： 整型：TINYINT 》SMALLINT 》INT 》BIGINT 》FLOAT 》 DOUBLE 》decimal （》从小到大） STRING /VARCHAR 》 DOUBLE / decimal
字符型：STRING 《 》 VARCHAR (《 》 相互转换) 日期型： timestamp 》STRING /VARCHAR

      date  》STRING /VARCHAR 

注：hive中的decimal字段对应于关系型库中的numeric，默认精度为0，若不指定小数点，数据将被四舍五入。比如0.82，在hive中会变成1，所以建表时最好指定精度，如decimal(10,2)。

2.显式转换（强制类型转换）

我们可以用CAST来显式的将一个类型的数据转换成另一个数据类型。CAST的语法为cast(value AS TYPE)。
例子：假如我们一个员工表employees，其中有name、salary等字段；salary是字符串类型的。有如下的查询：

SELECT name, salary FROM employees WHERE cast(salary AS FLOAT) < 100000.0;

说明：

• 如果将浮点型的数据转换成int类型的，内部操作是通过round()或者floor()函数来实现的，而不是通过cast实现！

• 对于BINARY类型的数据，只能将BINARY类型的数据转换成STRING类型。如果你确信BINARY类型数据是一个数字类型(a number)，这时候你可以利用嵌套的cast操作，比如a是一个BINARY，且它是一个数字类型，那么你可以用下面的查询：

  SELECT (cast(cast(a as string) as double)) from src;

  我们也可以将一个String类型的数据转换成BINARY类型。

• 对于Date类型的数据，只能在Date、Timestamp以及String之间进行转换。下表将进行详细的说明： | 有效的转换 | 结果 | | :—-: | :—-: | | cast(date as date) | 返回date类型 | | cast(timestamp as date) | timestamp中的年/月/日的值是依赖与当地的时区，结果返回date类型 | | cast(string as date) | 如果string是YYYY-MM-DD格式的，则相应的年/月/日的date类型的数据将会返回；但如果string不是YYYY-MM-DD格式的，结果则会返回NULL。 | | cast(date as timestamp) | 基于当地的时区，生成一个对应date的年/月/日的时间戳值 | | cast(date as string) | date所代表的年/月/日时间将会转换成YYYY-MM-DD的字符串。 |

四、内容格式

当数据存储在文本文件中，必须按照一定格式区别行和列，如使用逗号作为分隔符的 CSV 文件 (Comma-Separated Values) 或者使用制表符作为分隔值的 TSV 文件 (Tab-Separated Values)。但此时也存在一个缺点，就是正常的文件内容中也可能出现逗号或者制表符。
所以 Hive 默认使用了几个平时很少出现的字符，这些字符一般不会作为内容出现在文件中。Hive 默认的行和列分隔符如下表所示。

使用示例如下：

CREATE TABLE page_view(viewTime INT, userid BIGINT)
 ROW FORMAT DELIMITED
   FIELDS TERMINATED BY '\001'
   COLLECTION ITEMS TERMINATED BY '\002'
   MAP KEYS TERMINATED BY '\003'
 STORED AS SEQUENCEFILE;

五、存储格式

5.1 支持的存储格式

Hive 会在 HDFS 为每个数据库上创建一个目录，数据库中的表是该目录的子目录，表中的数据会以文件的形式存储在对应的表目录下。Hive 支持以下几种文件存储格式：

以上压缩格式中 ORC 和 Parquet 的综合性能突出，使用较为广泛，推荐使用这两种格式。

5.2 指定存储格式

通常在创建表的时候使用 STORED AS 参数指定：

CREATE TABLE page_view(viewTime INT, userid BIGINT)
 ROW FORMAT DELIMITED
   FIELDS TERMINATED BY '\001'
   COLLECTION ITEMS TERMINATED BY '\002'
   MAP KEYS TERMINATED BY '\003'
 STORED AS SEQUENCEFILE;

各个存储文件类型指定方式如下：

• STORED AS TEXTFILE
• STORED AS SEQUENCEFILE
• STORED AS ORC
• STORED AS PARQUET
• STORED AS AVRO
• STORED AS RCFILE

  六、内部表和外部表

  内部表又叫做管理表 (Managed/Internal Table)，创建表时不做任何指定，默认创建的就是内部表。想要创建外部表 (External Table)，则需要使用 External 进行修饰。 内部表和外部表主要区别如下：

参考资料

1. Hive Getting Started
2. Hive SQL 的编译过程
3. LanguageManual DDL
4. LanguageManual Types
5. Managed vs. External Tables
6. Hive简介及核心概念
7. Hive内置数据类型