title: 大数剧-基础知识date: 2020-11-26 01:12:06
tags: 大数剧
category:
- 大数剧
summary: 大数剧-基础知识
top: false
cover: true
author: 张文军

锁清秋

大数剧-基础知识

大数据关键技术

| 大数据计算模式 | 解决问题 | 代表产品 | | —- | —- | —- |

| 批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark等 |

| 流计算 | 针对流数据的实时计算 | Storm、S4、Flume、Streams、Puma、DStream、 Super Mario、银河流数据处理平台等 |

| 图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Giraph、PowerGraph、Hama、 GoldenOrb等 |

| 查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra、Impala等 |

大数剧处理核心问题：分布式存储+分布式处理