1.1 HBase定义

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

1.2 HBase数据模型

逻辑上，HBase的数据模型同关系型数据库类似，数据存储在一张表中，有行有列。但从HBase底层物理存储结构（k-v）来看，HBase更像是一个multi-dimensional map。

1.2.1 HBase逻辑结构

image.pngTable（表格）

  • 一个HBase表格由多行组成。

    Row Key

  • 决定一行数据的唯一标识。

  • RowKey是按照字典顺序排序的。

  • Row key最多只能存储64k的字节数据。

    Column Family（列族）和qualifier（列标识符）

  • HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema) 定义的一部分预先给出。如create ‘test’, ‘course’。

  • 列名以列族作为前缀，每个“列族”都可以有多个列成员(column，每个列族中可以存放几千~上千万个列)；如 CF1:q1, CF2:qw,新的列族成员（列）可以随后按需、动态加入，Family下面可以有多个Qualifier，所以可以简单的理解为，HBase中的列是二级列，也就是说Family是第一级列，Qualifier是第二级列。两个是父子关系。
  • 权限控制、存储以及调优都是在列族层面进行的。
  • HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。
  • 目前为止HBase的列族能能够很好处理最多不超过3个列族。

    一行有若干列组成，若干列又构成一个列族（column family），这不仅有助于构建数据的语义边界或者局部边界，还有助于给他们设置某些特性（如压缩），或者指示他们存贮在内存中，一个列族的所有列存贮在同一个底层的存储文件中，这个存储文件叫做HFile。

列族本质上关注的是IO特性，应该把IO特性相同的列归为一个列族，即这些列通常会一起读、一起存。

Timestamp时间戳

  • 在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
  • 时间戳的类型是64位整型。
  • 时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。

  • 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。

    Cell单元格

  • 由行和列的坐标交叉决定。

  • 单元格是有版本的（由时间戳来作为版本）。
  • 单元格的内容是未解析的字节数组（Byte[]），cell中的数据是没有类型的，全部是字节码形式存贮。
  • 由{row key，column(= +)，version}唯一确定的单元。

    1.2.2 HBase物理存储结构

    image.png

    1.2.3 数据模型

    （1）Name Space

    命名空间，类似于MySQL中的database概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表（存储系统元数据），default表是用户默认使用的命名空间。

    （2）Region

    表的切片。
    HBase定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往HBase写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase能够轻松应对字段变更的场景。

    （3）Row

    HBase表中的每行数据都由一个RowKey和多个Column（列）组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以RowKey的设计十分重要。

    （4）Column

    HBase中的每个列都有Column Family（列族）和Column Qualifier（列限定符）进行限定，例如：info:name、info:age。建表时，只需指明列族，而限定符无需预先定义。

    （5）Time Stamp

    用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入HBase的时间。

    （6）Cell

    由{RowKey, Column Family:Column Qualifier, Time Stamp}唯一确定的单元，cell中的数据是没有类型的，全部是字节数组（byte[]）形式存储。

1.3 HBase基本结构

image.png