HDFS体验: HDFS就是文件系统
hadoop fs -mkdir /itcast
hadoop fs -put zookeeper.out /itcast
hadoop fs -ls /
- HDFS本质就是一个文件系统
2. 有目录树结构 和Linux类似,分文件、文件夹
3. 为什么上传一个小文件也这么慢
MapReduce+YARN 初体验 :
进入:cd /export/server/hadoop-3.3.0/share/hadoop/mapreduce/
执行命令:hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 2 4
(计算圆周率)
执行过程:找YARN集群的主节点,然后进行map然后执行reduce
执行记录查看:
统计单词数量:wordcount 表示函数, input表示目标文件,/output为结果文件,output文件不能事先存在hadoop jar hadoop-mapreduce-examples-3.3.0.jar wordcount /input /output
- 执行MapReduce的时候,为什么首先请求YARN?
2. MapReduce看上去好像是两个阶段?先Map,再Reduce?
3. 处理小数据的时候, MapReduce速度快吗?