一、 Hadoop概述
    1、项目起源
    Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
    2、发展历程
    image.png
    3、名字由来
    Hadoop这个名字不是一个缩写，而是一个虚构的名字。
    该项目的创建者，Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”
    二、 Hadoop核心组件与应用
    1、核心组件
    核心组件包括Hadoop的基础组件HDFS、MapReduce和Yarn，以及其他常用组件如：HBase、Hive、Hadoop Streaming、Zookeeper等。
    image.png
    2、组件介绍：
    Ø HDFS：分布式海量数据存储功能
    Ø Yarn：提供资源调度与任务管理功能
    n 资源调度：根据申请的计算任务，合理分配集群中的计算节点(计算机)。
    n 任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。
    Ø MapReduce：分布式并行编程模型和计算框架。解决分布式编程门槛高的问题，基于其框架对分布式计算的抽象map和reduce，可以轻松实现分布式计算程序。
    Ø Hive：提供数据摘要和查询的数据仓库。解决数据仓库构建问题，基于Hadoop平台的存储与计算，与传统SQL相结合，让熟悉SQL的编程人员轻松向Hadoop平台迁移。
    Ø Streaming：解决非Java开发人员使用Hadoop平台的语言问题，使各种语言如C++、python、shell等均可以无障碍使用Hadoop平台。
    Ø HBase：基于列式存储模型的分布式数据库。解决某些场景下，需要Hadoop平台数据及时响应的问题。
    Ø Zookeeper：分布式协同服务。主要解决分布式下数据管理问题：统一命名、状态同步、集群管理、配置同步等。
    三、 Hadoop生态圈
    image.png
    进入天亮星云3平台查看集群环境。http://starcloud3.shangyuninfo.com/
    Ambari平台环境介绍
    Ø Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
    Ø 同类产品为Cloudera Manager的CDH。
    Ø 优点：
    n Web安装图形界面操作便捷
    n Hadoop家族各组件支持全面
    n 社区资源比较丰富
    Ø 缺点：
    n Bug较多：安装过程中，莫名其妙的出现错误。系统运维过程中偶尔出错。以上两种情况重启就正常。
    n 安装速度与网络质量关系较大，往往时间较长。
    n 在合理避免大坑的情况下，3小时内可以搭建一个基本版的集群。