Architecture diagram

image.png

  • 上层 - 作业提交层:hive
  • 中间层 - 计算层:MapReduce/Yarn
  • 底层 - 存储层:HDFS

facebook architecture diagram

image.png

Hive Constatution

  • QL :编译器
  • SerDe:Serializer+Deserializer,序列号和反序列化,即读写数据
  • MetaStroe:对外暴漏Thrift API,用于元数据修改,如:表/分区的增删改查、表/分区的属性修改、文件路径、文件格式、字段、数据类型、分隔符

Hive Data Model

image.png