大数据

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现里和流程优化能力的海量、高增长率和多样化的信息资产。通常都是 TB、PB、EB级别的数据。

大数据主要解决海量数据的采集、存储和分析计算问题。

大数据的特点（4V）：

• 大量（Volume）
• 高速（Velocity）
• 多样（Variety）
• 低价值密度（Value）

Hadoop概述

Hadoop 是由Apache基金会所开发的分布式系统基础架构。

主要解决海量数据的存储和海量数据的分析计算。

官网地址：https://hadoop.apache.org/

图标：

通常说的Hadoop，一般指广义上的Hadoop，即Hadoop生态圈，包括Hbase、Hive、ZooKeeper等。

根据谷歌在大数据方面的三篇论文，做出来的三个开源架构：

• GFS（《The Google file system》）：Hadoop中的HDFS
• Map-Reduce（《MapReduce：Simplified Data Processing on Large Clusters》）：Hadoop中的MapReduce
• BigTable（《Bigtable：A Distributed Stprage System for Structured Data》）：HBase

Hadoop优势：

• 高可靠性：
  Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或者存储出现故障，也不会导致数据丢失。
• 高扩展性：
  在集群间分配任务数据，可以方便的扩展数以千计的节点。
• 高效性：
  在MapReduce的思想下，Hadoop是并行工作的，以加快处理速度。
• 高容错性：
  能够自动将失败的任务重新分配。

Hadoop发展历程

Hadoop创始人Doug Cutting为了实现全文检索功能，在Lucene框架基础上进行升级，做出了微型版Nutch。

后来根据谷歌的三篇论文，加上谷歌公开的部分思想细节，Doug Cutting在Nutch中实现了 DFS和MapReduce机制。Hadoop作为Lucene子项目Nutch一部分被引入Apache。

再后来，MapReduce和NDFS（Nutch Distributed File Syetem）被纳入Hadoop项目中，Hadoop正式诞生。标志着大数据时代来临。

Hadoop的名字来自于 Doug Cutting儿子玩具大象的名字。

Hadoop 发行版本

Hadoop的三大发行版本：

• Apache版本（原始基础版） ：开源、免费，适合入门学习
• Cloudera版本（CDH产品）：内部集成了很多大数据框架
• Hortonworks版本（HDP产品）：文档比较好

Hortonworks已经被Cloudera公司收购，推出新的 CDP产品。

Hadoop组成

Hadoop 1.x 的结构图：

Hadoop 2.x组成：

在Hadoop 1.x时代，Hadoop中的MapReduce同事处理业务逻辑运算和资源的调度，耦合性较大。

在Hadoop 2,.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。

Hadoop 3.x在组成上没有变化,，着重于性能的一些优化。

HDFS

HDFS（Hadoop Distributed File System），简称HDFS，是一个分布式文件系统。

HDFS的组成：

• NameNode（简称 NN ）：
  存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
• DataNode（简称 DN ）：
  在本地文件系统存储文件块数据，以及块数据的校验和。
• Secondary NameNode（简称 2NN ）：
  每隔一段时间对NameNode元数据备份。

Hadoop 1.x时会使用2NN对NN进行备份。但是后来的Hadoop版本中，企业一般会将NN搭建成高可用集群（一台active的NN，一台standby的NN），而不再使用2NN。

YARN

YARN（Yet Another Resource Negotiator），简称YARN，另一种资源协调者，是Hadoop的资源管理器。

YARN架构图：：

其中：

• client客户端可以有多个
• 集群上可以运行多个ApplicationManager
• 每个NodeManager上可以有多个Container

YARN的组成：

• ResourceManager（简称 RM ）：
  整个集群资源（内存、CPU等）的管理者
• NodeManager（简称 NM ）：
  管理单个节点服务器的CPU、内存等
• ApplicationMaster（简称 AM ）：
  管理单个任务运行
• Container：
  容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等

MapReduce

MapReduce将计算过程分为两个阶段：Map和Reduce。

1. Map阶段并行处理输入数据
2. Reduce阶段对map结果进行汇总

结构图：

三者调用关系

整体调用结构图：

大数据技术生态体系：

包括数据的收集传递、存储、资源的管理、计算、任务调度、业务应用等层次。

整体架构图：

其中：

• Sqoop：是一款开源的工具，主要用于在Hadoop、Hive与传统数据库（Mysql、Oracle）之间进行数据的传递，可以将一个关系型数据库中的数据导进HDFS中，也可以将HDFS的数据导入关系型数据库中
• Flume：是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据
• Kafka：是一种高吞吐量的分布式发布订阅消息系统
• Spark：是当前最流行的开源大数据内存计算框架，可以基于Hadoop上存储的大数据进行计算
• Flink：是当前最流行的开源大数据内存计算框架，用于实时计算的场景比较多
• Oozie：是一个管理Hadoop作业（job）的工作流程调度管理系统
• HBase：是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库
• Hive：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行执行。可以通过类似SQL语句来快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析
• ZooKeeper：是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等