第4章 表引擎
    表引擎(即表的类型)决定了:
    1)数据的存储方式和位置,写到哪里以及从哪里读取数据
    2)支持哪些查询以及如何支持。
    3)并发数据访问。
    4)索引的使用(如果存在)。
    5)是否可以执行多线程请求。
    6)数据复制参数。
    ClickHouse的表引擎有很多,下面介绍其中几种,对其他引擎有兴趣的可以去查阅官方文档:https://clickhouse.yandex/docs/zh/operations/table_engines/
    4.1 TinyLog
    最简单的表引擎,用于将数据存储在磁盘上。每列都存储在单独的压缩文件中,写入时,数据将附加到文件末尾。
    该引擎没有并发控制
    - 如果同时从表中读取和写入数据,则读取操作将抛出异常;
    - 如果同时写入多个查询中的表,则数据将被破坏。
    这种表引擎的典型用法是 write-once:首先只写入一次数据,然后根据需要多次读取。此引擎适用于相对较小的表(建议最多1,000,000行)。如果有许多小表,则使用此表引擎是适合的,因为它比需要打开的文件更少。当拥有大量小表时,可能会导致性能低下。 不支持索引。
    案例:创建一个TinyLog引擎的表并插入一条数据
    :)create table t (a UInt16, b String) ENGINE=TinyLog;
    :)insert into t (a, b) values (1, ‘abc’);
    此时我们到保存数据的目录/var/lib/clickhouse/data/default/t中可以看到如下目录结构:
    [root@hadoop102 t]# ls
    a.bin b.bin sizes.json
    a.bin 和 b.bin 是压缩过的对应的列的数据,sizes.json 中记录了每个 .bin 文件的大小:
    [root@hadoop102 t]# cat sizes.json
    {“yandex”:{“a.bin”:{“size”:”28”},”b.bin”:{“size”:”30”}}}
    4.2 Memory
    内存引擎,数据以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有非常非常高的性能表现(超过10G/s)。
    一般用到它的地方不多,除了用来测试,就是在需要非常高的性能,同时数据量又不太大(上限大概 1 亿行)的场景。
    4.3 Merge
    Merge 引擎 (不要跟 MergeTree 引擎混淆) 本身不存储数据,但可用于同时从任意多个其他的表中读取数据。 读是自动并行的,不支持写入。读取时,那些被真正读取到数据的表的索引(如果有的话)会被使用。
    Merge 引擎的参数:一个数据库名和一个用于匹配表名的正则表达式。
    案例:先建t1,t2,t3三个表,然后用 Merge 引擎的 t 表再把它们链接起来。
    :)create table t1 (id UInt16, name String) ENGINE=TinyLog;
    :)create table t2 (id UInt16, name String) ENGINE=TinyLog;
    :)create table t3 (id UInt16, name String) ENGINE=TinyLog;

    :)insert into t1(id, name) values (1, ‘first’);
    :)insert into t2(id, name) values (2, ‘second’);
    :)insert into t3(id, name) values (3, ‘i am in t3’);

    :)create table t (id UInt16, name String) ENGINE=Merge(currentDatabase(), ‘^t’);

    :) select
    from t;
    ┌─id─┬─name─┐
    │ 2 │ second │
    └────┴──────┘
    ┌─id─┬─name──┐
    │ 1 │ first │
    └────┴───────┘
    ┌─id─┬─name───────┐
    │ 3 │ i am in t3 │
    └────┴────────────┘

    image.png

    image.png

    image.png

    案例:
    create table rmt_table (date Date, id UInt8, name String,point UInt8) ENGINE= ReplacingMergeTree(date, (id, name), 8192,point);

    插入一些数据:
    insert into rmt_table values (‘2019-07-10’, 1, ‘a’, 20);
    insert into rmt_table values (‘2019-07-10’, 1, ‘a’, 30);
    insert into rmt_table values (‘2019-07-11’, 1, ‘a’, 20);
    insert into rmt_table values (‘2019-07-11’, 1, ‘a’, 30);
    insert into rmt_table values (‘2019-07-11’, 1, ‘a’, 10);

    等待一段时间或optimize table rmt_table手动触发merge,后查询
    :) select * from rmt_table;
    ┌───────date─┬─id─┬─name─┬─point─┐
    │ 2019-07-11 │ 1 │ a │ 30 │
    └──────────┴───┴────┴────┘

    4.6 SummingMergeTree
    该引擎继承自 MergeTree。区别在于,当合并SummingMergeTree 表的数据片段时,ClickHouse 会把所有具有相同主键的行合并为一行,该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主键的组合方式使得单个键值对应于大量的行,则可以显著的减少存储空间并加快数据查询的速度,对于不可加的列,会取一个最先出现的值。

    image.png
    image.png
    image.png