HDFS体验: HDFS就是文件系统

    1. hadoop fs -mkdir /itcast
    2. hadoop fs -put zookeeper.out /itcast
    3. hadoop fs -ls /
    1. HDFS本质就是一个文件系统
      2. 有目录树结构 和Linux类似,分文件、文件夹
      3. 为什么上传一个小文件也这么慢

      MapReduce+YARN 初体验

    进入:cd /export/server/hadoop-3.3.0/share/hadoop/mapreduce/
    执行命令:hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 2 4 (计算圆周率)

    执行过程:找YARN集群的主节点,然后进行map然后执行reduce
    image.pngimage.png

    执行记录查看:
    image.png

    统计单词数量:wordcount 表示函数, input表示目标文件,/output为结果文件,output文件不能事先存在
    hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output

    1. 执行MapReduce的时候,为什么首先请求YARN?
      2. MapReduce看上去好像是两个阶段?先Map,再Reduce?
      3. 处理小数据的时候, MapReduce速度快吗?