海量数据处理是指基于海量数据的存储、处理、和操作。

    正因为数据量太大，所以导致要么无法在较短时间内迅速解决，要么无法一次性装入内存。

    • 对于时间问题，可以采用巧妙的算法搭配合适的数据结构（如布隆过滤器、哈希、位图、堆、 数据库、倒排索引、Trie 树）来解决；
    • 对于空间问题，可以采取分而治之（哈希映射）的方法，也就是说，把规模大的数据转化为规模小的，从而各个击破。

    此外，针对常说的单机及集群问题：

    • 单机就是指处理装载数据的机器有限（只要考虑 CPU、 内存、和硬盘之间的数据交互）
    • 集群的意思是指机器有多台，适合分布式处理或并行计算，更多考虑节点与节点之间的数据交互。

    处理海量数据问题，有 10 种典型方法：

    • 哈希分治

    • simhash 算法

    • 外排序

    • MapReduce

    • 多层划分

    • 位图

    • 布隆过滤器

    • Trie 树

    • 数据库

    • 倒排索引