服务器准备

服务器名 ip地址 角色 所属集群
filebeat01 192.168.126.101 文件采集 filebeat + 业务服务器
filebeat02 192.168.126.102 文件采集 filebeat + 业务服务器
filebeat03 192.168.126.103 文件采集 filebeat + 业务服务器
kafakzk01 192.168.126.11 文件临时缓存 kafak + zookeeper
kafakzk02 192.168.126.12 文件临时缓存 kafak + zookeeper
kafakzk03 192.168.126.13 文件临时缓存 kafak + zookeeper
logstash 192.168.126.31 文件过滤转发 logstash
server01 192.168.126.81 es 主节点 + es 从节点 elasticsearch集群
server02 192.168.126.82 es 主节点 + kibana elasticsearch集群
server03 192.168.126.83 es 主节点 + es 从节点 elasticsearch集群

运行环境准备

centos7.5/centos7.0

vm创建虚拟机

image.png
image.png
image.png
image.png
image.png

配置网络环境

image.png
image.png
linux配置后登录执行以下命令

  1. cd /etc/sysconfig/network-scripts/    //进入到network-scripts目录下
  2. vi ifcfg-ens32                                              //编辑配置文件

配置成如下所示(ip、子网、网关和之前看vm的网络首选项一致，ip前面三位一直即可)

  1. //修改以下内容
  2. BOOTPROTO=static  //启用静态IP地址
  3. ONBOOT=yes      //开启自动启用网络连接
  5. //添加以下内容
  6. IPADDR=192.168.126.161      //设置IP地址
  7. NETMASK=255.255.255.0   //子网掩码
  8. GATEWAY=192.168.126.2   //设置网关

配置dns地址

  1. vi /etc/resolv.conf    //编辑 resolv.conf文件

添加以下内容

  1. nameserver 114.114.114.114   //添加DNS地址
  2. nameserver 8.8.8.8   //添加DNS地址

重启网络服务

  1. service network restart

JDK1.8

  1. wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"

配置java环境变量

  1. vim /etc/profile
  1. JAVA_HOME=/usr/jdk/jdk8
  2. PATH=$JAVA_HOME/bin:$PATH
  3. CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
  4. export PATH JAVA_HOME CLASSPATH
  6. source /etc/profile

软件下载准备

zookeeper包下载选择
http://archive.apache.org/dist/zookeeper/

kafka下载包选择
http://kafka.apache.org/downloads

es + filebeat + logstash + kibana下载
https://www.elastic.co/cn/downloads/