Elasticsearch 多节点基础搭建

准备环境

elasticsearch-6.6.0

配置 elasticsearch

修改 elasticsearch.yml

ElasticSearch 默认将所有节点都设置为数据节点，这会降低集群的运行效率，因此将集群角色和数据节点分开有利于集群的任务分配和效率。

# es_master
# ---------------------------------- Cluster -----------------------------------
cluster.name: es_cluster
# ------------------------------------ Node ------------------------------------
node.name: es_master
node.master: true
node.data: false
# ----------------------------------- Paths ------------------------------------
# 可配置多目录，path.data: /opt/data,/opt/data2
path.data: /opt/module/elasticsearch/data
path.logs: /opt/module/elasticsearch/logs
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
# ---------------------------------- Network -----------------------------------
network.host: 0.0.0.0
#http.port: 9200
#transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
#discovery.seed_hosts: ["hadoop102:9300", "hadoop103:9301", "hadoop104:9302"]
#cluster.initial_master_nodes: ["es_master"]
discovery.zen.ping.unicast.hosts: ["hadoop102", "hadoop103", "hadoop104"]
#discovery.zen.minimum_master_nodes: 2

# es_node1
# ---------------------------------- Cluster -----------------------------------
cluster.name: es_cluster
# ------------------------------------ Node ------------------------------------
node.name: es_node1
node.master: false
node.data: true
# ----------------------------------- Paths ------------------------------------
# 可配置多目录，path.data: /opt/data,/opt/data2
path.data: /opt/module/elasticsearch/data
path.logs: /opt/module/elasticsearch/logs
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
# ---------------------------------- Network -----------------------------------
network.host: 0.0.0.0
#http.port: 9200
#transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
#discovery.seed_hosts: ["hadoop102:9300", "hadoop103:9301", "hadoop104:9302"]
#cluster.initial_master_nodes: ["es_master"]
discovery.zen.ping.unicast.hosts: ["hadoop102", "hadoop103", "hadoop104"]
#discovery.zen.minimum_master_nodes: 2

# es_node2
# ---------------------------------- Cluster -----------------------------------
cluster.name: es_cluster
# ------------------------------------ Node ------------------------------------
node.name: es_node2
node.master: false
node.data: true
# ----------------------------------- Paths ------------------------------------
# 可配置多目录，path.data: /opt/data,/opt/data2
path.data: /opt/module/elasticsearch/data
path.logs: /opt/module/elasticsearch/logs
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
# ---------------------------------- Network -----------------------------------
network.host: 0.0.0.0
#http.port: 9200
#transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
# --------------------------------- Discovery ----------------------------------
#discovery.seed_hosts: ["hadoop102:9300", "hadoop103:9301", "hadoop104:9302"]
#cluster.initial_master_nodes: ["es_master"]
discovery.zen.ping.unicast.hosts: ["hadoop102", "hadoop103", "hadoop104"]
#discovery.zen.minimum_master_nodes: 2

调整 jvm 堆空间大小

vim /opt/es1/config/jvm.options

-Xms256m 
-Xmx256m

启动、测试 ElasticSearch

./bin/elasticsearch

启动报错：

问题1：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] elasticsearch
原因：
默认配置过低，需要修改配置或者提高性能。
解决：
允许 Elasticsearch 打开的最大文件数修改为 65536，提高线程个数、es用户描述权限。

sudo vim /etc/security/limits.conf

添加内容：

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 65536

问题2：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
原因：
一个进程可以拥有的虚拟内存区域的数量不足。
解决：
提高内存权限、限制swap交换空间、TCP重传最大次数。

sudo vim /etc/sysctl.conf

在文件添加：

vm.max_map_count=262144
vm.swappiness = 1
net.ipv4.tcp_retries2=5

注：在更庞大的集群内，建议将swap空间提升至10，提高系统性能。
加载sysctl.conf参数

sysctl -p

运行测试

方式1：

curl http://hadoop102:9200/_cat/nodes?v

方式2：
在浏览器中，输入 http://hadoop102:9200/ 查看效果
方式3：
ElasticSearch Head 插件

集群脚本编写

在/home/node/bin目录下创建es.sh，并授予执行权限

#!/bin/bash
# ES、kibana启停脚本
es_home=/opt/module/elasticsearch
kibana_home=/opt/module/kibana
case $1  in
 "start") {
  for i in hadoop102 hadoop103 hadoop104
  do
    echo "==============$i ES 启动=============="
    ssh $i  "source /etc/profile;${es_home}/bin/elasticsearch >/dev/null 2>&1 &"
    done
echo "==============kibana 启动=============="
nohup ${kibana_home}/bin/kibana >${kibana_home}/logs/kibana.log 2>&1 &
 };;
"stop") {
echo "==============kibana 停止=============="
ps -ef|grep ${kibana_home}|grep -v grep|awk '{print $2}'|xargs kill
  for i in hadoop102 hadoop103 hadoop104
  do
      echo "==============$i ES停止=============="
      ssh $i "ps -ef|grep $es_home |grep -v grep|awk '{print \$2}'|xargs kill" >/dev/null 2>&1
  done
  };;
esac

如果脚本执行出现错误：/bin/bash^M: 坏的解释器: 没有那个文件或目录 错误原因： 这个文件在Windows 下编辑过，在Windows下每一行结尾是\n\r，而Linux下则是\n，所以才会有 多出来的\r 解决： 使用指令sed -i ‘s/\r$//‘ xxxxxxx.sh，上面的指令会把 xxxxxxx.sh 中的\r 替换成空白

curl 小知识：

使用 curl 命令操作 ElasticSearch 格式如下:

curl -X<REST Verb> <Node>:<Port>/<Index>/<Type>/<ID>
<REST Verb>：REST风格的语法谓词
<Node>:节点ip   
<Index>:索引名
<Type>:索引类型
<ID>:操作对象的ID号