其他组件安装

一、部署环境

配置名称 配置详情
系统 CentOS Linux release 7.7.1908 (Core)
软件名称 若干组件
软件版本 -
用户角色 root

二、组件说明

名称 版本 说明
apache-zookeeper-3.5.7-bin 3.5.7 zookeeper
hadoop-2.10.0 2.10.0 hadoop
hbase-2.0.6 2.0.6 hbase
kafka_2.11-1.1.1 2.11 kafka
spark-2.4.5-bin-hadoop2.7 2.4.5 spark

三、启动大数据组件

因为pqtel-bigdata.tar中已经包含了各个组件，所以不需要用户额外的安装。

进入组件父母录

  1. [root@hadoop-node1 pqtel-bigdata]# cd /home/pqtel-bigdata

1）启动Hadoop

  • 初始化
  1. [root@hadoop-node1 pqtel-bigdata]# hdfs namenode -format
  • 若需要修改端口
    修改命令： 
  1. [root@hadoop-node1 pqtel-bigdata]# vi /hadoop-2.10.0/etc/hadoop/hadoop-env.sh
  1. 修改内容（这里修改端口为10086）：
  1. export HADOOP_SSH_OPTS="-p 10086"
  • 启动
  1. [root@hadoop-node1 pqtel-bigdata]# bash sbin/start-hadoop.sh

2）启动Zookeeper

  • 启动
  1. [root@hadoop-node1 pqtel-bigdata]# bash sbin/start-zk.sh

3）启动HBase

  • 启动
  1. [root@hadoop-node1 pqtel-bigdata]# bash sbin/start-hbase.sh
  • 若需要修改端口
    修改命令： 
  1. [root@hadoop-node1 pqtel-bigdata]# vi /hbase-2.0.6/conf/habase-env.sh
  1. 修改内容（这里修改端口为10086）：
  1. export HBASE_SSH_OPTS="-p 10086"
  • 初始化
  1. [root@hadoop-node1 pqtel-bigdata]# bash init/hbase-init.sh

4）启动Spark

  • 启动
  1. [root@hadoop-node1 pqtel-bigdata]# bash sbin/start-spark.sh
  • 若需要修改端口
    修改命令： 
  1. [root@hadoop-node1 pqtel-bigdata]# vi /spark-2.4.5-bin-hadoop2.7/conf/spark-env.sh
  1. 修改内容（这里修改端口为10086）：
  1. export SPARK_SSH_OPTS="-p 10086"

四、启动stk组件

软件名称 软件说明
stkspark 视图库写库组件
stkcore 视图库核心组件（包含查询）
stkgateway 视图库网关组件（符合1400标准用于对外输入和输出）
  • 创建stk文件夹
  1. [root@hadoop-node1 pqtel-bigdata]# mkdir stk
  • 将视图库组件上传至stk目录下面
  • 进行stk组件的配置文件设置
  • 在不同的组件目录下面 执行 bin/start.sh screen命令