Hadoop概述

Hadoop介绍

1.Hadoop最早起源与Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能。但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
2.2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
——分布式文件系统（GFS）Google File System（谷歌文件系统），可用于处理海量网页的存储
——分布式计算框架MapReduce，可用于处理海量网页的索引计算问题
Nutch的开发人员完成了相应的开源实现HDFS和MapReduce，并从Nutch中剥离成为独立项目Hadoop，到2018年1月，Hadoop成为Apache顶级项目。

从狭义上来说，hadoop就是单独只带hadoop这个软件：

1.HDFS：分布式文件系统

2.MapReduce：分布式计算系统

3.Yarn：分布式集群资源管理

广义上来说，hadoop指代大数据的一个生态圈，包括了很多其他的软件

Hadoop的核心项目：

`1.HDFS（hadoop distributed file system）`

`2.MapReduce`

Hadoop的优点

1.高可靠性：Hadoop按位存储和处理数据的能力值得人们信赖

2.高扩展性：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可以方便的扩展到数以千计的节点中

3.高效性：Hadoop能够在节点之间动态的移动数据，并保证各个节点的动态平衡，因此处理速度非常快

4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配

5.低成本：与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，Hadoop是开源的，项目的软件成本因此会大大降低