目前主要内容是Amabri (HDP)docker 三节点的集群环境,是2.7.4版本,最新版2.7.5有点bug。该大数据镜像目前应该是全网唯一的了(反正我没有找 docker 镜像)。所以这些都是我自己构建的。所以还是很新鲜的。然后我把所有的安装集群步骤都写入脚本了(所有的坑我都已经踩完了,前后打磨了一个月时间),大家一键启动即可,网速可以的话,一小时内基本搭建好。

    后续我会把以前玩的 (flume、canal)+ kafka + Hadoop + spark2 的内容放上去,基本是两块一块是离线数据清洗,一块是实时数据分析。(这个就得等有时间了,我一般会利用节假日时间去整理,平时还得码代码上班哈)

    目前内容:

    1. mac+vm+docker: 这个是在mac 安装虚拟机 如何配置网卡 如何安装docker ,这个比较简单。
    2. macos+docker DeskTop+Amabri :这个就是我们的HDP 搭建了,包括镜像如何制作,以及如何突破宿主机访问容器内部IP ,这个网上大多数用什么vpn 、或者什么脚本,等等五花八门,我用一个最简单的方法。目前我了解的网上还没有这么玩的。你们可以参考下。这里就不解释。
    3. mac vm+Ambari :这个和第二个类似,只不过是基于虚拟机玩的docker ,道理都一样。

    将来内容:

    1. k8s :如何编排服务,其实和docker-compose类似。我有空再放上上去。
    2. cdh :这个我目前也在玩,虽然从6.3.3 之后不出社区版,但是目前的版本已经够使用(国内大部分都使用的这个,据说将来主推 CDP,让我们拭目以待 )。
    3. (flume、canal)+ kafka + Hadoop + spark2 | flink:我前面说了,环境有了还需要demo,说实话这些test demo,已经放了好久了,一直没时间去整理。后面也会免费提供出来,供大家相互交流学习。(具体时间不定)。

    最后,我想说的是我也在学习大数据,虽然我已经做了6年java ,但是我从不觉得技术枯燥,一直觉得很有意思,我希望自己在技术的道路上一直走下去。然后大家相互交流和学习,共同进步。感谢大家支持。