大数据平台基础架构和常用处理工具

JMS Java Message Servcie
大数据在线分析处理和常用工具
本课时首先介绍大数据在线分析处理的特点，然后会针对这些特点介绍当前常用的处理架构 flume + kafka + storm / spark + hbase / redis 。其中会重点介绍 flume storm 和 hbase。
大数据离线处理和常用工具
本课时首先介绍大数据离线处理的特点，然后会针对这些特点介绍当前常用的处理架构 hdfs 做存储，mapreduce 做计算框架, pig、cascading 和 hive 计算工作流。其中会重点介绍 hdfs mapreduce 和 hive
OLAP 和 OLTP处理和常用处理工具
本课时首先介绍OLAP 和 OLTP处理的特点，然后会针对这些特点介绍当前常用的处理架构 elasticsearch 做全文检索、drill 和 Impala 专注于大数据上的 SQL 查询, kylin 专注于大数据量的OLAP 分析。其中会重点介绍 elasticsearch Impala 和 kylin 。

Flume 专注于大数据收集和传输，用来解决在线分析时数据源源不断到来的问题
支持多种输入源、输出源



Spark Storm 流式处理框架
Spark 慢慢也有了自己的生态圈


HBase