大数据入门教程

1、大数据入门学习链接

  1. 大数据入门知识点脑图: https://www.processon.com/view/link/5e636046e4b06578661a8f5d#outline
  2. 大数据入门知识点pdf: https://pan.baidu.com/s/1arUjPKohsZTchVQyBh6tqg 密码:skpu
  3. 大数据入门视频教程：https://github.com/jast90/awesome-learning/issues/1

2、大数据开发框架

  1. 1 、文件存储 ：  HDFS、 Tachyon 、KFS S3
  2. 2 、离线计算 ：  Hadoop MP、 Spark
  3. 3 、流式（实时）计算 ： Storm、 Spark Streaming、Flink、 S4
  4. 4 、资源管理 ： YARM、 Mesos
  5. 5 、NOSQL数据库 : HBase 、 Redis、 MongoDB
  6. 6 、日志收集 ： Flume、 Scribe、 Logstash
  7. 7 、消息队列 ： Kafka、RabbitMQ、 StormMQ
  8. 8 、查询分析 ： Hive、 Impala、 Presto、 SparkSQL、 Kylin、 Druid
  9. 9 、分布式协调服务 ： Zookeeper
  10. 10、集群管理与监控 ： Ambari、 Ganglia、 Nagios、 Cloudera Manager
  11. 11、数据挖掘 ： 机器学习 、 Spark MLLib
  12. 12、数据同步 ： Sqoop 、 DataX
  13. 13、任务调度 ： Oozie、 azkaban
  14. 14、数据可视化 ： Kibana、 grafana
  15. 15、NewSQL ： Tidb, cockra
  16. 16、时序数据库 ： openTSDB， InfluxDB

3、大数据学习路线

  1. 大数据平台学习路线
  2.     1、Linux : 基本操作、磁盘/内存/网络管理优化
  3.     2、Java ： RPC、 SpringMVC、 Maven
  4.     3、Python : pandas、 numpy
  5.     4、数据库 ： SQL基本操作、数据备份、导入导出
  6.     5、学习顺序 ： HDFS、Mapreduce、Hive、Sqoop、Hbase、Zookeeper、Spark、Flume、Kafka、Flink、Druid