安装zookeeper

下载

下载:从官方网站下载稳定版本 apache-zookeeper-3.6.2-bin.tar.gz,网址为:https://zookeeper.apache.org/index.html
最新下载URL:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz

解压

  1. tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz
  2. mv apache-zookeeper-3.6.2 zookeeper

编辑配置文件

  1. # 进入conf目录
  2. cd ./zookeeper/conf
  4. # 将zoo_sample.cfg这个文件复制为zoo.cfg (必须是这个文件名)
  5. cp zoo_sample.cfg zoo.cfg
  7. # 修改配置文件
  8. # 将zookeeper的数据目录和日志目录存放在zookeeper,以我本机为例
  9. dataDir=/data/zookeeper/data
  10. dataLogDir=/data/zookeeper/log
  12. # 注意：如果想配置集群的话，请在clientPort下面添加服务器的ip。如
  13. server.1=192.168.180.132:2888:3888
  14. server.2=192.168.180.133:2888:3888
  15. server.3=192.168.180.134:2888:3888
  16. # 如果电脑内存比较小，zookeeper还可以设置成伪集群。也就是全部服务器采用同一个ip，但是使用不同的端口。
  17. server.1=cloudmas:2005:6005
  18. server.2=cloudmas:2006:6006
  19. server.3=cloudmas:2007:6007
  21. # 创建数据和日志目录
  22. mkdir /data/zookeeper/data
  23. mkdir /data/zookeeper/log
  24. # 如果是配置集群，还需要在前面配置过的dataDir路径下新增myid文件
  25. # 在data目录下创建文件，文件名为“myid”, 编辑该“myid”文件，并在对应的IP的机器上输入对应的编号。
  26. # 如在192.168.180.132上，“myid”文件内容就是1。在192.168.180.133上，内容就是2。
  27. # 例如ip为192.168.180.132
  28. vim myid
  29. # 输入i进入编辑模式
  30. 1
  31. # Esc退出编辑模式进入命令模式,输入:wq，退出并保存

配置环境变量

  1. vim /etc/profile
  2. # 添加
  3. export ZOOKEEPER_HOME=/data/zookeeper #(这里是zookeeper安装目录)
  4. export PATH=${PATH}:${ZOOKEEPER_HOME}/bin

启动

  1. # 进入bin目录,并启动zookeeper,如果不是在bin目录下执行,需写绝对路径,
  2. # bin目录，注意: ./zkServer.sh start前面的 .  不可忽略。
  3. ./zkServer.sh start
  4. # 绝对路径，本机zookeeper目录/data/zookeeper
  5. /data/zookeeper/bin/zkServer.sh start
  7. # 启动成功效果如下:
  8. ZooKeeper JMX enabled by default
  9. Using config: /data/zookeeper/bin/../conf/zoo.cfg
  10. Starting zookeeper ... STARTED
  12. # 查看状态
  13. ./zkServer.sh status
  14. ZooKeeper JMX enabled by default
  15. Using config: /data/zookeeper/bin/../conf/zoo.cfg
  16. Mode: standalone

安装kafka

下载

下载:从官方网站下载版本 kafka_2.12-2.3.1.tgz,网址为:http://kafka.apache.org/
下载URL:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.12-2.3.1.tgz

解压

  1. tar -zxvf kafka_2.12-2.3.1.tgz
  2. mv kafka_2.12-2.3.1 kafka

修改配置文件

  1. # 进入config目录
  2. cd ./kafka/config
  4. # 修改server.properties
  5. vim server.properties
  6. # broker就是一个kafka的部署实例，在一个kafka集群中，每一台kafka都要有一个broker.id
  7. # 并且，该id唯一，且必须为整数
  8. broker.id=1
  10. # 默认配置 advertised.listeners=PLAINTEXT://:your.host.name:9092 改为：
  11. advertised.listeners=PLAINTEXT://:clown:9092
  13. # 默认配置 listeners=PLAINTEXT://:9092 改为
  14. listeners=PLAINTEXT://clown:9092
  16. # log.dirs改为kafka/logs
  17. log.dirs=/data/kafka/logs
  19. # zookeeper.connect修改为本机或集群zookeeper的连接地址
  20. zookeeper.connect=clown:2181     
  21. # 如果是集群 
  22. zookeeper.connect=clown01:2181,clown02:2181,clown03:2181
  24. # 以下两项可不改
  25. # 修改producer.properties
  26. # 默认配置 bootstrap.servers=localhost:9092 改为
  27. bootstrap.servers=clown:9092
  29. # 修改consumer.properties
  30. # 默认配置 bootstrap.servers=localhost:9092 改为
  31. bootstrap.servers=clown:9092

配置环境变量

  1. vim /etc/profile
  2. # 添加
  3. export KAFKA_HOME=/data/kafka #(这里kafka安装目录)
  4. export PATH=${PATH}:${KAFKA_HOME}/bin

启动

  1. # 进入bin目录,并启动kafka,如果不是在bin目录下执行,需写绝对路径,
  2. # bin目录，注意: ./kafka-server-start.sh start前面的 .  不可忽略。
  3. ./kafka-server-start.sh -daemon ../config/server.properties
  4. # 绝对路径，本机kafka目录/data/kafka
  5. /data/kafka/bin/kafka-server-start.sh -daemon ../config/server.properties

测试生产数据和消费数据

  1. # 启动生产者,生产数据
  2. /data/kafka/bin/kafka-console-producer.sh --broker-list clown:9092 --topic test_install
  4. # 启动消费者,消费数据 
  5. /data/kafka/bin/kafka-console-consumer.sh --bootstrap-server clown:9092 --topic test_install
  7. # 使用生产者,生产数据, 查看消费者是否消费到数据
  8. # 如果消费成功，则表示安装成功

6.安装minio

  1. # MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，
  2. # 例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
  3. 1. 下载:从官方网站下载最新版本Minio,网址为: https://github.com/minio/minio,最新下载URL为: https://dl.min.io/server/minio/release/linux-amd64/minio
  4. 用ftp或sftp工具拷贝minio到linux操作系统
  6. 2. 启动
  7.     chmod +x minio
  8.     # 使用默认端口:9000    
  9.     ./minio server /data
  10.     # 指定端口
  11.     ./minio server --address ":9001" ./data
  12.     # 指定accessKey和secretKey启动
  13.     export MINIO_ACCESS_KEY=cloudmas
  14.     export MINIO_SECRET_KEY=cloudmas
  15.     ./minio server /data

7.安装redis

  1. 1. 下载:从官方网站下载稳定版本 redis-6.0.8.tar.gz,网址为:http://download.redis.io/releases/
  2. 用ftp或sftp工具拷贝redis-6.0.8.tar.gz到linux系统
  4. 2. 安装:
  5.     1. 将上述包解压后
  6.       tar -xvf redis-6.0.8.tar.gz
  8.     2. 编译 安装
  9.       cd redis-6.0.8
  10.       ./configure
  11.       # 编译安装到指定目录下
  12.       make 
  13.       cd src && make PREFIX=/data/redis install 
  14.       # 如果有执行出错，先安装gcc
  15.       # 若出现【zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录】，则运行命令make MALLOC=libc
  17.       # 以下命令视情况使用
  18.       # 编译出错时，清出编译生成的文件
  19.       make distclean
  20.       # 卸载
  21.       make uninstall
  23.     3. 拷贝配置文件到安装目录下
  24.       cd ../
  25.       mkdir /data/redis/conf
  26.       cp redis.conf /data/conf/redis    
  28.     4. 配置redis为后台启动
  29.       vim /data/redis/conf/redis.conf
  30.       # 将daemonize no改为daemonize yes
  31.       daemonize no -> daemonize yes
  32.       # 如有需要添加reids密码,添加
  33.       requirepass cloudmas
  35.     5. 将redis加入到开机启动
  36.       vi /etc/rc.local 
  37.       # 添加内容：
  38.       /data/redis/bin/redis-server /data/redis/conf/redis.conf 
  40.     6.启动
  41.       # 开启redis：
  42.       /data/redis/bin/redis-server /data/redis/conf/redis.conf

8.安装flink

  1. 1. 下载:从官方网站下载版本 flink-1.10.1-bin-scala_2.12.tgz,网址为:https://flink.apache.org/downloads.html
  2. 下载URL:https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.12.tgz
  4. 2. 解压 
  5.     tar -zxvf flink-1.10.1-bin-scala_2.12.tgz
  6.     mv flink-1.10.1 flink
  8. 3. 修改配置文件
  9.     1. 进入config目录
  10.       cd ./flink/conf
  12.     2. 修改flink-conf.yaml,masters,slaves
  13.       vim server.properties
  14.       # 添加如下配置
  15.       env.java.home: /data/java/jdk-11.0.8
  16.       # 可根据机器环境调整大小
  17.       env.java.ops: -Xms2048m -Xmx2048m
  19.       # 默认配置 jobmanager.rpc.address: localhost 改为：
  20.       jobmanager.rpc.address: cloudmas
  22.       # 以下两项可根据机器环境调整大小
  23.       # 默认配置 jobmanager.heap.size: 1024m 改为
  24.       jobmanager.heap.size: 2048m
  25.       # 默认配置 jobmanager.heap.size: 1728m 改为
  26.       jobmanager.heap.size: 2048m
  28.       # 任务管理插槽，最低设置为8 默认配置 taskmanager.numberOfTaskSlots: 1 改为
  29.       taskmanager.numberOfTaskSlots: 12
  30.       # 任务并行度，默认配置 parallelism.default: 1 改为
  31.       parallelism.default: 4
  33.       # zookeeper.connect修改为本机或集群zookeeper的连接地址
  34.       zookeeper.connect=cloudmas:2181     
  35.       # 如果是集群 
  36.       zookeeper.connect=cloudmas01:2181,cloudmas02:2181,cloudmas03:2181
  38.     3. 修改masters
  39.       # 默认配置 localhost:8081 改为
  40.       cloudmas:8081
  42.     4. 修改slaves
  43.       # 默认配置 localhost 改为
  44.       cloudmas
  46. 4. 配置环境变量
  47.     vim /etc/profile
  48.     # 添加
  49.     export FLINK_HOME=/data/flink #(这里flink安装目录)
  50.     export PATH=${PATH}:${FLINK_HOME}/bin
  52. 5. 启动
  53.     1. 进入bin目录,并启动flink,如果不是在bin目录下执行,需写绝对路径,
  54.       # bin目录，注意: ./start-cluster.sh前面的 .  不可忽略。
  55.       ./start-cluster.sh
  56.       # 绝对路径，本机flink目录/data/flink
  57.       /data/flink/bin/start-cluster.sh
  59. 6. 查看是否启动
  60.     1. 使用jps,可查看当前运行的程序
  61.       # 如果包含以下两个程序，则代表启动成功
  62.       StandaloneSessionClusterEntrypoint
  63.       TaskManagerRunner
  65.     2. 使用WEB UI界面 
  66.       # 使用IP:PORT,如果进入页面,则代表启动成功

9.安装elasticsearch

  1. 1. 下载:从官方网站下载版本 elasticsearch-6.2.0.tar.gz,网址为:https://www.elastic.co/cn/elasticsearch/
  2. 下载URL:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.0.tar.gz
  4. 2. 解压 
  5.     tar -zxvf elasticsearch-6.2.0.tar.gz
  6.     mv elasticsearch-6.2.0 elasticsearch
  8. 3. 修改配置文件
  9.     1. 进入config目录
  10.       cd ./elasticsearch/config
  12.     2. 修改elasticsearch.yml
  13.       vim elasticsearch.yml
  14.       # 添加如下配置
  15.       cluster.name: my-application #(集群名)
  16.       node.name: node-1 #(节点名)
  17.       # 数据目录和日志目录      
  18.       path.data: /data/elasticsearch/path/to/data
  19.       path.logs: /data/elasticsearch/path/to/logs
  20.       bootstrap.memory_lock: false
  21.       network.host: cloudmas #(IP地址||主机名)
  23. 4. 配置环境变量
  24.     vim /etc/profile
  25.     # 添加
  26.     export ELASTICSEARCH_HOME=/data/elasticsearch #(这里flink安装目录)
  27.     export PATH=${PATH}:${ELASTICSEARCH_HOME}/bin
  29. 5. 启动
  30.     1. 进入bin目录,并启动elasticsearch,如果不是在bin目录下执行,需写绝对路径,
  31.       # bin目录，注意: ./elasticsearch前面的 .  不可忽略。
  32.       ./elasticsearch -d 
  33.       # 绝对路径，本机flink目录/data/flink
  34.       /data/elasticsearch/bin/elasticsearch -d
  36. 6. 查看是否启动
  37.     1. 使用jps,可查看当前运行的程序
  38.       # 如果包含以下两个程序，则代表启动成功
  39.       Elasticsearch
  41.     2. 使用WEB UI界面 
  42.       # 使用IP:PORT,如果进入页面,则代表启动成功
  44. 7. 安装可能遇到的问题:
  45.         # 解决方案:
  46.         1. max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
  47.     vim /etc/security/limits.conf
  48.     * hard nofile 65536
  49.     * soft nofile 65536
  51.     2. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
  52.     vim /etc/sysctl.conf
  53.     vm.max_map_count=655360
  54.     # 保存后，执行:
  55.     sysctl -p
  57. 8. 跳过root启动验证
  58.         问题：Caused by: java.lang.RuntimeException: can not run elasticsearch as root
  59.         # 解决方案
  60.     1. bin/elasticsearch -Des.insecure.allow.root=true