• 集群资源配置说明

一、集群基本配置

1.IP分配

/etc/hostname. /etc/hosts 192.168.0.130 sa0 192.168.0.131 sa1 192.168.0.132 sa2 192.168.0.133 sa3 192.168.0.134 sa4 192.168.0.135 sa5

2.免密码登录

  1. >生产公钥
  2. ssh-keygen -t rsa -P ''  -f ~/.ssh/id_rsa
  3. >发送公钥
  4. ssh-copy-id sa0

3.关闭防火墙

  • systemctl disable firewalld
  • systemctl stop firewalld
  • service firewalld stop

二 、配置批量分发指令和分发文件

1.xcall.sh

  1. 实现向集群中发送指令
  1. #!/bin/bash
  2. params=$@
  3. i=0
  4. for(( i = 0 ; i <= 5 ; i = $i + 1 )); do
  5. echo ======== sa$i $params ===========
  6. ssh sa$i $params

  7. done

    2.xrsycn.sh

    1. 实现发送文件的功能

  8. #!/bin/bash

  9. if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi
  10. p=$1
  11. echo p=$p
  12. dir=dirname $p``
  13. filename=basename $p``
  14. cd $dir
  15. fullpath=pwd -P .``
  16. user=whoami``

  18. for (( i = 0 ; i <= 5 ; i = $i + 1 )) ; do
  19. echo ========== sa$i ==========
  20. rsync -lr $p ${user}@sa$i:$fullpath
  21. done;

    三、zookeeper搭建

    解析tar包

    1. tar -zxvf zookeeper-3.4.9.tar.gz -C /soft/

设置环境变量

打开/etc/profile文件，在文件最后添加一下内容

  1. export ZK_HOME=/soft/zk
  2. export PATH=$PATH:$ZK_HOME/bin

环境变量生效

  1. source /etc/profile

修改配置文件名称

  1. cp zoo_sample.cfg zoo.cfg

zk 配置单机模式

打开配置文件zoo.cfg

  1. dataDir=/home/centos01/zookeeper  # zookeeper缓存目录

启动zk

  1. zkServer.sh start

客户端连接

  1. zkCli.sh -server localhost:2181

zk集群

  1. sa0,sa1,sa2 #三台机器
  2. dataDir=/home/centos01/zookeeper # zookeeper缓存目录
  3. server.1=sa0:2888:3888 # 2888 服务器之间通信接口
  4. server.2=sa1:2888:3888 # 3888 leader选举接口

  5. server.3=sa2:2888:3888

    创建myid

  6. 在/home/centos01/zookeeper目录下创建myid(0)-->标示集群的唯一属性


  8. 1.shell server.X X指服务器的代号

    zookeeper的启动过程：

    1. zkServer.sh start
    2. $>netstat -anop | grep 2181

    四、kafka 集群搭建

    解压tar包

    1. tar -zxvf kafka_2.12-2.2.2.tgz -C /soft/

设置环境变量

  1. export KAFKA_HOME=/soft/kafka
  2. export PATH=$PATH:$KAFKA_HOME/bin

环境变量生效

  1. source /etc/profile

修改配置文件server.properties

  1. vi server.propertie
  2. broker.id=0  # 指定代理id
  3. listeners=PLAINTEXT://192.168.1.131:9092 #用来监听链接的端口，producer或consumer将在此端口建立连接
  4. log.dirs=log.dirs=/root/log/kafka/logs    #kafka消息存放的路径
  5. zookeeper.connect=s1:2181  #lian
  7. log.cleaner.enable=true  #日志清理是否打开

kafka集群

  1. >sa1,sa2,sa3

配置文件信息

  1. broker.id=0
  2.     listeners=PLAINTEXT://192.168.0.130:9092
  3.     log.dirs=/home/centos01/kafka/logs
  4.     zookeeper.connect=sa0:2181,sa1:2181,sa2:2181

启动过程：

  1. kafka-server-start.sh -daemon server.properties

查看主题

  1. kafka-topics.sh --zookeeper sa0:2181 --list

创建主题

  1. kafka-topics.sh --create --zookeeper sa0:2181 --replication-factor 2 --partitions 3 --topic test

生产者

  1. kafka-console-producer.sh --broker-list s1:9092 --topic test

消费者

  1. kafka-console-consumer.sh --bootstrap-server s1:9092 --topic test --from-beginning

五、flume

  1. wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
  2. tar –zxvf apache-flume-1.8.0-bin.tar.gz
  3. mv apache-flume-1.8.0-bin /usr/local/flume

sa0,sa1

六、hadoop集群

单机模式

  1. $ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local
  2. $ cd /usr/local/
  3. # 可省略
  4. $ sudo mv ./hadoop-2.7.1/ ./hadoop      # 将文件夹名改为hadoop
  5. $ sudo chown -R hadoop ./hadoop       # 修改文件权限

伪分布式模式

core-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>hadoop.tmp.dir</name>
  4.       <!--hadoop.tmp.dir用于保存临时文件，如果没有配置这个参数，则默认使用的临时目录 -->
  5.         <value>file:/usr/local/hadoop/tmp</value>
  6.         <description>Abase for other temporary directories.</description>
  7.     </property>
  8.     <property>
  9.         <name>fs.defaultFS</name>
  10.           <!-- 用于指定HDFS的访问地址 -->
  11.         <value>hdfs://localhost:9000</value>
  12.     </property>
  13. </configuration>

hdfs-site.xml

  1. <configuration>
  2.     <property>
  3.       <!--
  4.                     dfs.replicaion：
  5.                     指定副本数量，在分布式文件系统中，数据通常会被冗余的存储多份，
  6.                     以保证可靠性和安全性，但是这里用的是伪分布式模式，节点只有一个，
  7.                     也有就只有一个副本。 -->
  8.         <name>dfs.replication</name>
  9.         <value>1</value>
  10.     </property>
  11.     <property>
  12.       <!--dfs.namenode.name.di：设定名称节点元数据的保存目录 -->
  13.         <name>dfs.namenode.name.dir</name>
  14.         <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  15.     </property>
  16.     <property>
  17.           <!--dfs.datanode.data.dir：设定数据节点的数据保存目录 -->
  18.         <name>dfs.datanode.data.dir</name>
  19.         <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  20.     </property>
  21. </configuration>

【注意】：Hadoop的运行方式是由配置文件决定的，如果想从伪分布式模式切换回单机模式，只需删除core-site.xml文件中的配置项即可
**

执行名称节点格式化

  1. $ cd /usr/local/hadoop
  2. $ ./bin/hdfs namenode -format

启动Hadoop

  1. $ cd /usr/local/hadoop
  2. $ ./sbin/start-dfs.sh
  1. 查看后发现JAVA_HOME路径已经设置，那就只能将/hadoop/etc/hadoop/hadoop-env.sh文件的JAVA_HOME改为绝对路径了。将export JAVA_HOME=$JAVA_HOME改为
  2. export JAVA_HOME=/usr/lib/jvm/default-java

用jps命令查看Hadoop是否启动成功，如果出现DataNode、NameNode、SecondaryNameNode的进程说明启动成功。

如果还要问题，重复如下命令：

  1. $ ./sbin/stop-dfs.sh   # 关闭
  2. $ rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS中原有的所有数据
  3. $ ./bin/hdfs namenode -format   # 重新格式化名称节点
  4. $ ./sbin/start-dfs.sh  # 重启

使用浏览器查看HDFS信息

  1. http://localhost:50070

运行Hadoop伪分布式实例

  1. $ cd /usr/local/hadoop
  2. $ ./bin/hdfs dfs -mkdir -p /user/hadoop # 在HDFS中创建用户目录
  3. $ ./bin/hdfs dfs -mkdir input  #在HDFS中创建hadoop用户对应的input目录
  4. $ ./bin/hdfs dfs -put ./etc/hadoop/*.xml input  #把本地文件复制到HDFS中
  5. $ ./bin/hdfs dfs -ls input #查看文件列表
  6. Found 8 items
  7. -rw-r--r--   1 hadoop supergroup       4436 2019-01-11 19:35 input/capacity-scheduler.xml
  8. -rw-r--r--   1 hadoop supergroup       1075 2019-01-11 19:35 input/core-site.xml
  9. -rw-r--r--   1 hadoop supergroup       9683 2019-01-11 19:35 input/hadoop-policy.xml
  10. -rw-r--r--   1 hadoop supergroup       1130 2019-01-11 19:35 input/hdfs-site.xml
  11. -rw-r--r--   1 hadoop supergroup        620 2019-01-11 19:35 input/httpfs-site.xml
  12. -rw-r--r--   1 hadoop supergroup       3518 2019-01-11 19:35 input/kms-acls.xml
  13. -rw-r--r--   1 hadoop supergroup       5511 2019-01-11 19:35 input/kms-site.xml
  14. -rw-r--r--   1 hadoop supergroup        690 2019-01-11 19:35 input/yarn-site.xml
  15. $ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
  16. ....
  17. $ ./bin/hdfs dfs -cat output/* #查看运行结果
  18. 1   dfsadmin
  19. 1   dfs.replication
  20. 1   dfs.namenode.name.dir
  21. 1   dfs.datanode.data.dir

再次运行需要删除output文件夹

  1. $ ./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

关闭Hadoop

  1. ./sbin/stop-dfs.sh

下次启动时不需要再执行节点格式化命令（否则会报错），只需要直接运行start-dfs.sh命令即可。

完全分布式模式

  1. namenode sa0, sa5 # namenode
  2. Datanode sa1,sa2,sa3,sa4 # datanode 节点
  3. Journalnode sa1,sa2,da3 # journalnode 节点

  4. ZK sa0,sa5 # zookeeper 节点

    core-site.xml 文件配置

  5. <configuration>

  6. <property>
  7. <name>fs.defaultFS</name>
  8. <value>hdfs://mycluster</value>
  9. </property>
  10. <property>
  11. <name>hadoop.tmp.dir</name>
  12. <value>/home/centos01/hadoop</value>
  13. </property>
  14. <property>
  15. <name>ha.zookeeper.quorum</name>
  16. <value>sa0:2181,sa1:2181,sa2:2181</value>
  17. </property>

  18. </configuration>

    hdfs-site.xml文件配置

  19. <configuration>

  20. <property>
  21. <name>dfs.replication</name>
  22. <value>3</value>
  23. </property>
  24. <property>
  25. <name>dfs.nameservices</name>
  26. <value>mycluster</value>
  27. </property>
  28. <property>
  29. <name>dfs.ha.namenodes.mycluster</name>
  30. <value>nn1,nn2</value>
  31. </property>
  32. <property>
  33. <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  34. <value>sa1:8020</value>
  35. </property>
  36. <property>
  37. <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  38. <value>sa5:8020</value>
  39. </property>
  40. <property>
  41. <name>dfs.namenode.http-address.mycluster.nn1</name>
  42. <value>sa1:50070</value>
  43. </property>
  44. <property>
  45. <name>dfs.namenode.http-address.mycluster.nn2</name>
  46. <value>sa5:50070</value>
  47. </property>
  48. <property>
  49. <name>dfs.namenode.shared.edits.dir</name>
  50. <value>qjournal://sa1:8485;sa2:8485;sa3:8485/mycluster</value>
  51. </property>
  52. <property>
  53. <name>dfs.client.failover.proxy.provider.mycluster</name>
  54. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  55. </property>
  56. <property>
  57. <name>dfs.ha.fencing.methods</name>
  58. <value>
  59. sshfence
  60. shell(/bin/true)
  61. </value>
  62. </property>
  63. <property>
  64. <name>dfs.ha.fencing.ssh.private-key-files</name>
  65. <value>/home/centos01/.ssh/id_rsa</value>
  66. </property>
  67. <property>
  68. <name>dfs.journalnode.edits.dir</name>
  69. <value>/home/centos01/hadoop/journal</value>
  70. </property>
  71. <property>
  72. <name>dfs.ha.automatic-failover.enabled</name>
  73. <value>true</value>
  74. </property>

  75. </configuration>

    slaves文件配置

  76. 存放datanode节点

  77. sa1
  78. sa2
  79. sa3
  80. sa4

    启动过程：

  1. 先启动 
  2. 1.hadoop-daemon.sh start journalnode
  3. // 在一台nn上执行 
  4. 2. hdfs namenode -format 
  5. hadoop-daemon.sh start namenode
  6. 在另一台nn上执行 
  7. hdfs namenode -bootstrapStandby 
  8. hadoop-daemon.sh start namenode
  9. 先停止所有的Hadoop进行运行，在执行一下指令 
  10. bin/hdfs zkfc -formatZK
  11. start-dfs.sh

Hbase 集群搭建

hbase集群

  1. master:sa0,sa3
  2. regsionServer: sa1,sa2,sa3

hbase-env.sh 文件配置

  1. export JAVA_HOME=/soft/jdk/
  2. export HBASE_CLASSPATH=$HBASE_CLASSPATH:/soft/hadoop/etc/hadoop
  3. export HBASE_MANAGES_ZK=false

hbase-site.xml 文件配置

  1. <configuration>
  2. <property>
  3. <name>hbase.root.dir</name>
  4. <value>hdfs://mycluster/hbase</value>
  5. </property>

  7. <property>
  8. <name>hbase.cluster.distributed</name>
  9. <value>true</value>
  10. </property>
  11. <property>
  12. <name>hbase.zookeeper.quorum</name>
  13. <value>sa0,sa1,sa2</value>
  14. </property>
  15. <property>
  16. <name>hbase.zookeeper.property.dataDir</name>
  17. <value>/home/centos01/hbase</value>
  18. </property>

  19. </configuration>

    regionservers 文件配置

    1. sa1
    2. sa2
    3. sa3

    同步hbase到其他主机

    1. rsync -lr hbase-2.1.0 centos01@sa1:/soft

    hbase和hadoop通用高可用集群

    1. xcall.sh "ln -s /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/hdfs-site.xml"

    启动habse

    1. start-hbase.sh

    sa3单独启动hbase

    1. hbase-daemon.sh start master

    webch查看

    1. 192.168.0.130:16010

    storm集群

    sa0, sa1, sa2, sa3
    配置文件信息：
    storm.zookeeper.servers:
    - “sa0”
    - “sa1”
    - “sa2”

    1. storm.local.dir: "/home/centos01/storm"
    2. supervisor.slots.ports:
    3.    - 6700
    4.    - 6701
    5.    - 6702
    6. nimbus.host: "sa0"
    7. drpc.servers:
    8.   - "sa0"

    启动storm
    sa0
    storm nimbus&

    1. sa1 sa2 sa3
    2. storm supervisor&
    3. sa0
    4. storm ui&
    5. storm drpc

    ========spark集群搭建=========
    sa0, sa1, sa2, sa3
    ======安装mysql======
    sa5:
    1.安装前，我们可以检测系统是否自带安装 MySQL:
    rpm -qa | grep mysql
    2.如果你系统有安装，那可以选择进行卸载:
    rpm -e mysql　　// 普通删除模式
    rpm -e —nodeps mysql　　// 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除
    3.安装 MySQL：
    wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
    sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
    sudo yum update
    sudo yum install mysql-server
    4.权限设置：
    chown mysql:mysql -R /var/lib/mysql
    5.初始化 MySQL：
    sudo mysqld —initialize
    6.启动 MySQL：
    systemctl start mysqld
    7.查看 MySQL 运行状态：
    systemctl status mysqld
    8.给root用户设置密码
    　　mysql> SET PASSWORD FOR ‘root’@’localhost’ = PASSWORD(‘newpass’);
    9.导入sql文件数据
    mysql -u root -p
    mysql>use 数据库
    然后使用source命令，后面参数为脚本文件(如这里用到的.sql)
    mysql>source d:/dbname.sql
    10.导出sql数据
    mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
    #/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql

  20. 创建用户
    insert into mysql.user(Host,User,Password) values(“0.0.0.0”,”root”,password(“root”));

====mysql的替代品====
1.安装
yum -y install mariadb-server mariadb
2.卸载
rpm -qa | grep mariadb
rpm -e mariadb　　// 普通删除模式
rpm -e —nodeps mariadb　　// 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除
3.启动mariadb
systemctl start mariadb
systemctl enable mariadb
4.可选
开启远程登录模型
首先停止
# service mysqld stop
执行安全模式
# mysqld_safe —skip-grant-table
hive 按照步骤

hive安装

1.下载hive

  1. https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

2.解压

  1. tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /soft/
  2. $>cd /soft/hive-2.1.0                   //
  3. $>ln -s hive-2.1.0 hive                    //符号连接

3.配置环境变量

  1. [/etc/profile]
  2.    HIVE_HOME=/soft/hive
  3.    PATH=...:$HIVE_HOME/bin

4.验证hive安装成功

  1. hive --version

5.配置hive,使用mysql存放hive的元数据

5.1 拷贝mysql驱动到hive的lib目录下。

mysql-connector-java-5.1.34.tar.gz

  1. mv mysql-connector-java-5.1.7-bin.jar /soft/hive/lib/

5.2 配置hive-site.xml

复制hive-default.xml.template为hive-site.xml, 清空之前的文件内容
[hive/conf/hive-site.xml] 

  1. <?xml version="1.0" encoding="UTF-8" standalone="no"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4.         <property>
  5.                 <name>javax.jdo.option.ConnectionURL</name>
  6.                 <value>jdbc:mysql://s1:3306/hive2</value>
  7.         </property>
  9.         <property>
  10.                 <name>javax.jdo.option.ConnectionDriverName</name>
  11.                 <value>com.mysql.jdbc.Driver</value>
  12.         </property>
  14.         <property>
  15.                 <name>javax.jdo.option.ConnectionUserName</name>
  16.                 <value>root</value>
  17.         </property>
  19.         <property>
  20.                 <name>javax.jdo.option.ConnectionPassword</name>
  21.                 <value>root</value>
  22.         </property>
  24.         <property>
  25.                 <name>hive.metastore.schema.verification</name>
  26.                 <value>false</value>
  27.         </property>
  28. </configuration>

5.3 在msyql中创建存放hive信息的数据库

  1. mysql>create database hive2 ;

5.4初始化hive的元数据(表结构)到mysql中

  1. $>cd /soft/hive/bin
  2. $>schematool -dbType mysql -initSchema
  4. [root@s1 bin]# schematool -dbType mysql -initSchema
  5. Metastore connection URL:     jdbc:mysql://s1:3306/hive2
  6. Metastore Connection Driver :     com.mysql.jdbc.Driver
  7. Metastore connection User:     root
  8. Starting metastore schema initialization to 1.2.0
  9. Initialization script hive-schema-1.2.0.mysql.sql
  10. Initialization script completed
  11. schemaTool completed

hive命令行操作

  1. 1.创建hive的数据库
  2.     $hive>hive --version                //
  3.         $hive>hive --help                  //
  4.     $hive>create database mydb2 ;                //
  5.         $hive>show databases ;
  6.     $hive>use mydb2 ;
  7.         $hive>create table mydb2.t(id int,name string,age int);
  8.     $hive>drop table t ;
  9.         $hive>drop table mydb2.t ;
  10.     $hive>select * from mydb2.t ;        //查看指定库的表
  11.         $hive>exit ;                       //退出
  12.     $>hive                                //hive --service cli
  13.         $>hive                             //hive --service cli

hive命令

  1. //创建表,external 外部表
  2. $hive>CREATE external TABLE IF NOT EXISTS t2(id int,name string,age int)
  3. COMMENT 'xx' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ; 
  4. //查看表数据
  5. $hive>desc t2 ;
  6.     $hive>desc formatted t2 ;
  7. //加载数据到hive表
  8. $hive>load data local inpath '/home/centos/customers.txt' into table t2 ;    //local上传文件
  9.     $hive>load data inpath '/user/centos/customers.txt' [overwrite] into table t2 ;    //移动文件
  10. //复制表
  11. mysql>create table tt as select * from users ;      //携带数据和表结构
  12. mysql>create table tt like users ;          //不带数据，只有表结构
  13. hive>create table tt as select * from users ;   
  14. hive>create table tt like users ;   
  15. //count()查询要转成mr
  16. $hive>select count(*) from t2 ;
  17.     $hive>select id,name from t2 ;
  18. //
  19. $hive>select * from t2 order by id desc ;              //MR
  20. //启用/禁用表
  21. $hive>ALTER TABLE t2 ENABLE NO_DROP;    //不允许删除
  22.     $hive>ALTER TABLE t2 DISABLE NO_DROP;  //允许删除
  23. //分区表,优化手段之一，从目录的层面控制搜索数据的范围。
  24. //创建分区表.
  25. $hive>CREATE TABLE t3(id int,name string,age int) PARTITIONED BY (Year INT, Month INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
  26. //显式表的分区信息
  27. $hive>SHOW PARTITIONS t3;
  28. //添加分区,创建目录
  29. $hive>alter table t3 add partition (year=2014, month=12);
  30. //删除分区
  31. hive>ALTER TABLE employee_partitioned DROP IF EXISTS PARTITION (year=2014, month=11);
  32. //分区结构
  33. hive>/user/hive/warehouse/mydb2.db/t3/year=2014/month=11
  34. hive>/user/hive/warehouse/mydb2.db/t3/year=2014/month=12
  35. //加载数据到分区表
  36. hive>load data local inpath '/home/centos/customers.txt' into table t3 partition(year=2014,month=11);
  37. //创建桶表
  38. $hive>CREATE TABLE t4(id int,name string,age int) CLUSTERED BY (id) INTO 3 BUCKETS ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
  39. //加载数据不会进行分桶操作
  40. $hive>load data local inpath '/home/centos/customers.txt' into table t4 ;
  41. //查询t3表数据插入到t4中。
  42. $hive>insert into t4 select id,name,age from t3 ;
  43. //桶表的数量如何设置?
  44. //评估数据量，保证每个桶的数据量block的2倍大小。
  45. //连接查询
  46. $hive>CREATE TABLE customers(id int,name string,age int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
  47.     $hive>CREATE TABLE orders(id int,orderno string,price float,cid int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
  48. //加载数据到表
  49. //内连接查询
  50. hive>select a.*,b.* from customers a , orders b where a.id = b.cid ;
  51. //左外
  52. hive>select a.*,b.* from customers a left outer join orders b on a.id = b.cid ;
  53. hive>select a.*,b.* from customers a right outer join orders b on a.id = b.cid ;
  54. hive>select a.*,b.* from customers a full outer join orders b on a.id = b.cid ;
  55. //explode,炸裂,表生成函数。
  56. //使用hive实现单词统计
  57. //1.建表
  58. $hive>CREATE TABLE doc(line string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;

========集群启动的流程========
1.zk
2.
===================
sa0 sa1 sa2
flink集群搭建
====sa2=====
sa2
1. flink-conf.yaml
jobmanager.rpc.address: sa2
ES搭建步骤
1.下载tar包
2.解压/soft
3.建立软连接
ln -s elasticsearch-5.5.1 es
4.修改/etc/profile文件，添加PATH路径
export ES_HOME=/soft/es
export PATH=ES_HOME/bin

  1. 生效
    source /etc/profile

6.修改配置文件
cluster.name: my-es
node.name: my-es01
path.data: /home/centos01/es/data
path.logs: /home/centos01/es/log
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 192.168.0.130
http.port: 9200
7.通过浏览器访问：
http://192.168.0.130:9200
遇到的问题
ES安装步骤出现的错误
ERROR: [2] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
解决方案： 切到root 用户：进入到security目录下的limits.conf；执行命令 vim /etc/security/limits.conf 在文件的末尾添加下面的参数值：
* soft nofile 65536

  1. * hard nofile 131072
  2.     * soft nproc 2048
  3.     * hard nproc 4096
  4. [2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
  5.  解决方案：切换到root用户修改配置sysctl.conf  增加配置值： vm.max_map_count=655360
  6. 　　　　　　执行命令 sysctl -p   这样就可以了，然后重新启动ES服务 就可以了
  7. es-Head插件
  8.     git
  9.     nodejs
  10.     es-head
  11.      git clone

===============
kibana 版本与 es 版本要一致
kibana安装步骤
1.下载tar包
2.解压tar包
3.建立软连接
4./etc/profile配置文件中添加修改配置信息
修改配置文件
1.
kibana所在服务器的地址
server.host:”192.168.0.130”
2.
es 所在的地址
elasticsearch.url “”
3.开启kibana
+