常用命令格式

名称 命令表达式
创建表 create ‘表名称’, ‘列名称1’,’列名称2’,’列名称N’
添加记录 put ‘表名称’, ‘行名称’, ‘列名称:’, ‘值’
查看记录 get ‘表名称’, ‘行名称’
查看表中的记录总数 count ‘表名称’
删除记录 delete ‘表名’ ,’行名称’ , ‘列名称’
删除一张表 先要屏蔽该表，才能对该表进行删除，第一步 disable ‘表名称’ 第二步 drop ‘表名称’
查看所有记录 scan “表名称”
查看某个表某个列中所有数据 scan “表名称” , [‘列名称:’]
更新记录 就是重写一遍进行覆盖

HBase Shell操作

  • 控制台

    1. # 进入HBase Shell控制台
    2. export HBASE_HOME=/home/bigdata/modules/hbase-1.2.5
    3. ${HBASE_HOME}/bin/hbase shell
    4. # 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户。
    5. hbase(main)> whoami

  • 直接运行

    1. echo "list" | hbase shell
    2. echo "user_permission" | hbase shell
    3. echo "whoami" | hbase shell

  • 脚本调用

    1. # 1. 将执行命令编辑到command.txt
    2. # 2. HBase shell调用命令文本
    3. hbase shell ./command.txt

    常用操作

    1. NameSpace

    1. ################################# - 命名空间 - #################################
    2. # 查看namespace 
    3. hbase(main)> scan 'hbase:namespace'
    4. # 展示namespace
    5. hbase(main)> list_namespace
    6. # 展示namespace下所有表（默认，hbase命名空间有meta、namespace，配置acl后会新增acl表）
    7. hbase(main)> list_namespace_tables 'hbase'
    8. # 创建namespace
    9. hbase(main)> help 'create_namespace'
    10. hbase(main)> create_namespace 'nstest'
    11. # 查看namespace描述
    12. hbase(main)> describe_namespace 'nstest'
    13. # 修改，只能修改命名空间的属性，对于名称是不能修改的
    14. hbase(main)> help 'alter_namespace'
    15. # 添加，修改一个属性
    16. hbase(main)> alter_namespace 'nstest', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}
    17. # 删除一个属性
    18. hbase(main)> alter_namespace 'nstest', {METHOD => 'unset', NAME=>'PROPERTY_NAME'}
    19. # 删除
    20. hbase(main)> drop_namespace 'nstest'

    2. Table DDL

    创建表时不需要进入到某个命名空间下，没有use命令，不同于RDBMS。如：’nstest:t1’ 表与命名空间的关联通过“：”这个符号。相关规范如下：

  1. 指定某一个namespace下的某一张表；
  2. 必须要指定一个列族**；**
  3. “=>**”表示等于的意思；**
  4. 一对{}只能定义一个列簇，不同的{}定义不同多个列簇；
  5. {}中的变量名称必须是大写的；
  6. VERSIONS指定列簇下存储多个版本的数据；

    create

    ```bash
    ########################### - 创建表 -

    基本语法：create , {NAME => , VERSIONS => }

    简单示例（至少有一个列簇）

    hbase(main)> create ‘t1’,’f1’ hbase(main)> create ‘t1’, {NAME => ‘f1’}

    示例：多个列簇

    hbase(main)> create ‘t1’, ‘f1’, ‘f2’

    示例：创建表，指定命名空间

    hbase(main)> create ‘nstest:t1’, ‘f1’ hbase(main)> create ‘nstest:t1’, {NAME => ‘f1’, VERSIONS => 2}

    示例：创建表t1，有两个family name：f1，f2，且版本数均为2

    hbase(main)> create ‘nstest:t1’,{NAME => ‘f1’, VERSIONS => 2},{NAME => ‘f2’, VERSIONS => 2}

    示例：创建表，f1列簇下的所有cell的存活时间为30秒，从最后一次更新开始计时；f2列簇下的所有cell的存活时间为默认值，TTL => ‘FOREVER’

    hbase(main)> create ‘t1’, {NAME => ‘f1’, VERSIONS => 1, TTL => 30, BLOCKCACHE => true},{NAME => ‘f2’,VERSIONS => 1,BLOCKCACHE => true}

    1. _**注意：TTL(Time to Live) 用于限定数据的有效时间，**__**ColumnFamily **__**默认的TTL值是FOREVER，也就是永不过期。ColumnFamily TTL的时间单位是：秒，Cell TTL的时间单位是：毫秒。Cell TTL设置的值，优先于ColumnFamily TTL的值，但是需要注意的是，Cell TTL不能大于ColumnFamily TTL的值。如果使用ColumnFamily TTL，则TTL值对该列簇下面的所有列，都起作用，包括多版本的值。Cell TTL针对当前列起作用。**_
    2. <a name="lcb5N"></a>
    3. ### describe
    4. ```bash
    5. ################################# - 查看表 - #################################
    6. # 查看有哪些表
    7. hbase(main)> list
    8. # 查看表的结构 语法：describe <table>
    9. hbase(main)> describe 't1'
    10. # 描述表（如果指定namespace需要指明，否则会查询默认命名空间）
    11. hbase(main)> describe 'nstest:t1'
    12. hbase(main)> desc 'nstest:t1'
    13. # 查看表是否存在
    14. hbase(main)> exists 'nstest:t1'

    alter

    1. ################################# - 更新表 - #################################
    2. # 修改表中列簇属性（alter不能修改表的名称）
    3. # 示例：alter修改指定某个列簇的属性
    4. # 增加/修改列族（如果表中已存在该列族表示修改该列簇属性，反之就是增加一个列族）
    5. hbase(main)> alter 'nstest:t1', NAME => 'f1', VERSIONS => 5
    6. # 示例：修改多个列簇的属性
    7. hbase(main)> alter 'nstest:t1', 'f1', {NAME => 'f2', IN_MEMORY => true}, {NAME => 'f3', VERSIONS => 5}
    8. # 示例：删除列簇（不支持同时删除多个列簇）
    9. hbase(main)> alter 'nstest:t1', NAME => 'f3', METHOD => 'delete'
    10. hbase(main)> alter 'nstest:t1', 'delete' => 'f2'

    drop

    1. ################################# - 删除表 - #################################
    2. # 删除表（需要注意在hbase中删除表前都需要先禁用这张表）
    3. hbase(main)> help 'drop'
    4. # 禁用
    5. hbase(main)> disable 'nstest:t1'
    6. # 启用
    7. hbase(main)> enable 'nstest:t1'
    8. # 删除
    9. hbase(main)> drop 'nstest:t1'
    10. # 是否禁用状态
    11. hbase(main)> is_disabled 'nstest:t1'
    12. # 是否启用状态
    13. hbase(main)> is_enabled 'nstest:t1'

    truncate

    1. ################################# - 清空表 - #################################
    2. # 删除表中的所有数据（具体过程是：disable table -> drop table -> create table）
    3. # 语法： truncate <table>
    4. # 例如：删除表t1的所有数据
    5. hbase(main)> truncate 'nstest:t1'

    注意：truncate使用时需谨慎，truncate将删除预分区信息。

    3. Table DML

    put

    1. ################################# - 新增/修改数据 - #################################
    2. hbase(main)> help 'put'
    3. # 语法：put <table>,<rowkey>,<family:column>,<value>,<timestamp>
    4. # row1表示rowkey，f1:name表示列簇+列，value表示插入的值
    5. hbase(main)> put 'nstest:t1', 'row1', 'f1:name', 'value'
    6. hbase(main)> put 'nstest:t1', 'row2', 'f1:name', 'value2'

    delete

    1. ################################# - 删除数据 - #################################
    2. # 删除行中的某个列值
    3. # 语法：delete <table>, <rowkey>,  <family:column> , <timestamp>,必须指定列名
    4. # 例如：删除表t1，row1中的f1:name的数据（注：将删除该行f1:name列所有版本的数据）
    5. hbase(main)> delete 'nstest:t1','row1','f1:name'
    6. # 例如：将记录中<=1597109046167，最近的一条记录标记为删除（type=DeleteColumn/DeleteFamily）
    7. hbase(main)> delete 'nstest:t1', 'row1', 'f1:name', 1597109046167
    9. # 删除行
    10. # 语法：deleteall <table>, <rowkey>,  <family:column> , <timestamp>，可以不指定列名，删除整行数据
    11. # 例如：删除表t1，row1的数据
    12. hbase(main)> deleteall 'nstest:t1','row1'

    注意：以下为无效语法。

    1. # 删除列簇（无效，但是API有效）
    2. # 语法：delete <table>, <rowkey>,  <family>
    3. hbase(main)> delete 'nstest:t1','row1','f1'

    flush

    1. ################################# - 刷写磁盘 - #################################
    2. # flush可以删除部分type=DeleteColumn/DeleteFamily数据（注意：flush只能删除内存数据）
    3. hbase(main)> flush 'nstest:t1'
    4. hbase(main)> flush 'region名称' # 可在region web管理找到

    4. DQL

    get

    快速查询（指定索引查询），必须要跟rowkey，hbase默认按照字典序进行排列。

    1. ################################# - 快速查询（单行） - #################################
    2. # 语法：get <table>,<rowkey>,[<family:column>,....]
    3. # 查询某个rowkey的数据
    4. hbase(main)> get 'nstest:t1','row1'
    5. # 指定某个列簇的数据
    6. hbase(main)> get 'nstest:t1','row1','f1'
    7. # 指定某个列簇下某个列的数据
    8. # 例如：查询表t1，row1中的f1下的name的值
    9. hbase(main)> get 'nstest:t1','row1', 'f1:name'
    10. hbase(main)> get 'nstest:t1','row1', {COLUMN=>'f1:name'}
    11. # 例如：查询表t1，row1中的f1下的name的值（最近的<=5个版本，实际返回版本数根据情况）
    12. # 如果HBase存储3个版本，则最多返回3个版本数据，如果当前实际只存储了2个版本，则会返回2个版本数据
    13. hbase(main)> get 'nstest:t1', 'row1', {COLUMN=>'f1:name', VERSIONS => 5}

    scan

    全表扫描，类似“select * from”的方式，全表扫描。

    1. ################################# - 全表扫描 - #################################
    2. # 语法：scan <table>, {COLUMNS => [ <family:column>,.... ], LIMIT => num}
    3. # 另外，还可以添加STARTROW、TIMERANGE和FITLER等高级功能
    4. hbase(main)> scan 'nstest:t1'
    5. # 例如：扫描表t1的前5条数据
    6. hbase(main)> scan 'nstest:t1',{LIMIT => 5}
    7. # 例如：指定列查询（不限制行）
    8. hbase(main)> scan 'nstest:t1',{COLUMNS => 'f1:name'}
    9. # 例如：指定列簇查询（不限制行）
    10. hbase(main)> scan 'nstest:t1',{COLUMNS => 'f1'}
    11. # STARTROW表示开始的行号，LIMIT是限制显示的行数
    12. hbase(main)> scan 'nstest:t1', {COLUMNS => ['f1', 'f2'], LIMIT => 10, STARTROW => 'row0'}
    13. # 查看最近的10个版本数据（包括已经删除的数据）
    14. hbase(main)> scan 'nstest:t1', {RAW => true, VERSIONS => 10}
    15. # 查看最近的10个版本数据
    16. hbase(main)> scan 'nstest:t1', {VERSIONS => 10}

    count

    1. ################################# - 统计行数 - #################################
    2. # 查询表中的数据行数
    3. # 语法：count <table>, {INTERVAL => intervalNum, CACHE => cacheNum}
    4. # INTERVAL设置多少行显示一次及对应的rowkey，默认1000；CACHE每次去取的缓存区大小，默认是10，调整该参数可提高查询速度
    5. # 例如，查询表t1中的行数，每100条显示一次，缓存区为500
    6. hbase(main)> count 'nstest:t1', {INTERVAL => 100, CACHE => 500}

    5. Table DCL

    grant

    1. ################################# - 权限赋值 - #################################
    2. # 分配权限
    3. # 语法 : grant <user> <permissions> <table> <column family> <column qualifier> 参数后面用逗号分隔
    4. # 权限用五个字母表示： "RWXCA".
    5. # READ('R'), WRITE('W'), EXEC('X'), CREATE('C'), ADMIN('A')
    6. # 例如，给用户‘bigdata'分配对表t1有读写的权限，
    7. hbase(main)> grant 'bigdata','RW','nstest:t1'
    9. # 查看权限
    10. # 语法：user_permission <table>
    11. # 例如，查看表t1的权限列表
    12. hbase(main)> user_permission 'nstest:t1'
    13. hbase(main)> scan 'hbase:acl'

    revoke

    1. ################################# - 权限收回 - #################################
    2. # 收回权限
    3. # 与分配权限类似，语法：revoke <user> <table> <column family> <column qualifier>
    4. # 例如，收回bigdata用户的所有权限
    5. hbase(main)> revoke 'bigdata'
    6. # 例如，收回bigdata用户在表t1上的权限
    7. hbase(main)> revoke 'bigdata','nstest:t1'

    6. Region

    move

    1. # 移动region
    2. # 语法：move 'encodeRegionName', 'ServerName'
    3. # encodeRegionName指的regioName后面的编码，ServerName指的是master-status的Region Servers列表
    4. # 示例
    5. hbase(main)> move '4343995a58be8e5bbc739af1e91cd72d', 'ltsr003,60020,1390274516739'

    balance_switch

    1. # 开启/关闭自动balance
    2. # 语法：balance_switch true|false
    3. hbase(main)> balance_switch true
    4. hbase(main)> balance_switch false
    5. # 查看状态
    6. hbase(main)> balancer_enabled

    split

    1. # 手动split
    2. # 语法：split 'regionName', 'splitKey'

    compact

    1. # 手动合并（HFile多于3个时（>=3），等同于major_compact；<3时，compact不做合并）
    2. hbase(main)> compact 't1'
    3. # 手动触发major compaction（默认：7天，建议生产环境下配置手动执行，hbase.hregion.majorcompaction）
    4. # Compact all regions in a table（合并“t1”表的所有Region）
    5. hbase(main)> major_compact 't1'
    6. # Compact an entire region（合并名称为“r1”的Region）
    7. hbase(main)> major_compact 'r1'
    8. # Compact a single column family within a region（合并名称为“r1”的Region的“c1”列簇））
    9. hbase(main)> major_compact 'r1', 'c1'
    10. # Compact a single column family within a table（合并“t1”表的Region的“c1”列簇）
    11. hbase(main)> major_compact 't1', 'c1'