常用大数据组件

    • NoSQL：HBase、Redis、MongoDB……
    • 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ……
    • 流式计算：Storm、Spark Streaming、S4、Heron、Kafka Streams、Flink……
    • 机器学习：Mahout、Spark ML……
    • 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager、Prometheus……
    • 查询分析：Hive、Pig、Phoenix、SparkSQL、Drill、Druid、Greeplum……
    • 即席查询：Impala、Presto（混合计算）、Kylin、ClickHouse……
    • 文件存储：HDFS、Alluxio（Tachyon）……
    • 离线计算：MapReduce、Spark、Flink……
    • 日志收集：Flume、Scribe、Logstash、Elastic Beats……
    • 资源管理：Yarn、Mesos、Kubernetes（k8s）……
    • 分布式协调服务：ZooKeeper（Zab）、Etcd（Raft）、Consul（Raft）、Chubby（Paxos）……
    • 任务调度：Azkaban、Oozie、XXL-JOB（大众点评）、Elastic Job（当当网）、Airflow……
    • 质量管理：Griffin……
    • 元数据管理：Atlas、Metacat……
    • 数据同步：（离线：Kettle、Sqoop、DataX）、（实时：FlinkX、Maxwell、Canal、FlinkCDC、DBus）……
    • 全文检索：Lucene、Elasticsearch、Solr……
    • 认证授权：Kerberos、Ranger……
    • BI工具：Superset、Davinci……
    • 分布式数据库（HTAP）：PolarDB-X、OceanBase、CBase、TiDB（mysql）、Guass200（pg）….

    [T8]-开源大数据组件-01-20200426-001.xlsx