系统镜像

CentOS-7-x86_64-DVD-1810.iso

磁盘空间规划

目录 大小 备注
/ 100G 临时文件
/home 100G 组件安装
/data 1T 数据文件储存

机器列表

机器编号 VPN地址 内网地址 CPU__（逻辑） 内存（G__）
LTSR001 10.8.0.101 192.168.0.11 262（超线程）=24 56
LTSR003 10.8.0.125 192.168.0.13 262（超线程）=24 64
LTSR005 10.8.0.109 192.168.0.15 262（超线程）=24 64
LTSR006 10.8.0.137 192.168.0.16 262（超线程）=24 40
LTSR007 10.8.0.117 192.168.0.17 262（超线程）=24 64
LTSR008 10.8.0.113 192.168.0.18 262（超线程）=24 40

资源规划

  • 中转机

LTSR001作为中转机，主要进行相关组件的编译，安装基本组件（如：Maven、MySQL、DB2等）。

组件 LTSR001
JDK jvm
Maven mvn
MySQL mysql server
DB2 db2 server
IDEA IntelliJ IDEA-2018.3.6
  • 大数据平台集群 | 组件 | LTSR003 | LTSR005 | LTSR006 | LTSR007 | LTSR008 | | —- | —- | —- | —- | —- | —- | | OS | centos7.6 | centos7.6 | centos7.6 | centos7.6 | centos7.6 | | JDK | jvm | jvm | jvm | jvm | jvm | | Zookeeper | N.A | QuorumPeerMain | QuorumPeerMain | QuorumPeerMain | N.A | | Kafka | N.A | kafka | kafka/kafka-eagle | kafka | N.A | | HDFS | DataNode/HTTPFS | DataNode/HTTPFS | DataNode/HTTPFS | DataNode/HTTPFS | NameNode/DataNode/HTTPFS | | YARN | NodeManager | NodeManager | NodeManager | NodeManager | ResourceManager/NodeManager/mr-jobhistory | | Flink | N.A | StandaloneSessionClusterEntrypoint | TaskManagerRunner | TaskManagerRunner | N.A | | Hive | HiveServer2/Metastore/CLI/Beeline | CLI/Beeline | N.A | N.A | N.A | | Spark | master/HistoryServer | worker | worker | N.A | N.A | | Flume | N.A | agent2 | agent3 | N.A | agent1 | | Azkaban | N.A | N.A | AzkabanExecutorServer/AzkabanWebServer | N.A | N.A | | Zeppelin | N.A | N.A | ZeppelinServer | N.A | N.A | | Presto | N.A | N.A | N.A | N.A | Presto | | Grafana | N.A | N.A | Grafana | N.A | N.A | | Zabbix | Zabbix | Zabbix | Zabbix | Zabbix | Zabbix | | Sqoop | Sqoop | N.A | N.A | N.A | N.A | | Solr | solr-core/solrcloud | solr-core/solrcloud | solr-core/solrcloud | N.A | N.A | | HUE | N.A | N.A | N.A | N.A | supervisor | | ClickHouse | N.A | ClickHouse | ClickHouse | ClickHouse | N.A | | Redis | Redis:6001、Redis:6002 | Redis:6003、Redis:6004 | Redis:6005、Redis:6006 | N.A | N.A | | HBase | HMaster/HRegionServer | HRegionServer | HRegionServer | N.A | N.A | | ES | N.A | N.A | Elasticsearch | Elasticsearch | Elasticsearch | | Prometheus | Prometheus | N.A | N.A | N.A | N.A |