Redis高级数据结构之HyperLogLog

HyperLogLog是什么？

HyperLogLog数据结构是由Philippe Flajolet发明，用来做基数统计的算法，Redis HyperLogLog添加于 2.8.9 版本。

什么是基数

比如数据集 {1, 3, 5, 7, 5, 7, 8}， 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。
基数估计就是在误差可接受的范围内，快速计算基数。

优点

HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。
在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。
但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

添加

PFADD key element [element  ...]

添加指定元素到 HyperLogLog 中。
可以批量添加多条

返回结果
整型，如果至少有个元素被添加返回 1， 否则返回 0。

127.0.0.1:6379> pfadd pf1 zhagnsan lisi wangmazi
(integer) 1
127.0.0.1:6379> pfadd pf1 maliu
(integer) 1
    127.0.0.1:6379> pfadd pf1 maliu
(integer) 0

估算基数

PFCOUNT KEY [key ...]

估算基数值
可以批量估算多个key

返回结果
整数，返回给定 HyperLogLog 的基数值，如果多个 HyperLogLog 则返回基数估值之和。

127.0.0.1:6379> pfcount pf1
(integer) 4
127.0.0.1:6379> pfadd pf2 zhangsan lisi wangwu maliu
(integer) 1
127.0.0.1:6379> pfcount pf1 pf2
(integer) 6

合并HyperLogLog

PFMERGE destkey sourcekey [sourcekey ...]

将多个 HyperLogLog 合并为一个 HyperLogLog

返回结果
OK

127.0.0.1:6379> PFMERGE pf3 pf1 pf2
OK
127.0.0.1:6379> pfcount pf3
(integer) 6
127.0.0.1:6379> get pf3
"HYLL\x01\x00\x00\x00\x06\x00\x00\x00\x00\x00\x00\x00PQ\x80A\x92\x84@\xa3\x80a\x06\x88Dk\x80A\xf5\x88F\a"
127.0.0.1:6379> OBJECT encoding pf3
"raw"

我们可以看到，HyperLogLog 和bitmap一样都是基于String扩展出来的一些高级数据结构。

业务场景

在我们做站点流量统计的时候一般会统计页面UV(独立访客:unique visitor)和PV(即页面浏览量：page view)，那么我们最常见的处理方式就是用户点击一次就插入一条数据到数据库，统计的时候通过查询表来达到统计流量的效果。

那么我们如果是通过redis来处理，我们可以使用string类型然后自增计数即可达到统计PV，统计UV可以使用set，每个用户id是唯一的可以放到这个集合里，统计的时候只需要执行scard获取集合大小即可。

这两种方式都是可以实现站点的流量统计，但是如果说当站点流量非常大每天几千万次的访问量，那么数据库可能就要分表分库了，redis添加足够多的数据后内存消耗也是非常惊人的，总的来说这样做是不划算的，那么我们的redis有一种专门处理这样数据的算法，HyperLogLog。 :::info 注意：
HyperLogLog的计数统计是有一定的误差的，误差最大在1%以下。
HyperLogLog数据结构需要占据12KB的存储空间，所以我们在使用的时候得注意，如果数据量非常小我们可以选择其他方式，但是如果是数据量非常大，那么我们这个数据结构就非常有价值了。但是我们也不要太过于担心它的消耗，一开始初始的时候是没有这么大的，在计数比较小时他是采用稀疏矩阵来进行存储，空间占用率还是很小的，只有到达一定阈值后才会转变成稠密矩阵空间才会到达12KB。 :::