大数据相关

elasticsearch 是一个分布式的全文检索引擎。
elasticsearch 主要解决的问题:

  1. 海量数据下的快速检索，以及多条件组合查询需求
  2. 多条件组合查询，计算引擎全表扫描

    环境搭建

    jdk 安装

    1. yum install -y java-1.8.0-openjdk*
    安装成功之后，检查环境 ```shell java -version openjdk version “1.8.0_302” OpenJDK Runtime Environment (build 1.8.0_302-b08) OpenJDK 64-Bit Server VM (build 25.302-b08, mixed mode)
  2. ---
  5. 默认elasticsearch 不支持使用root账户运行，主要是为处于安全考虑。需要事前创建一个普通用户
  6. <a name="mUlqV"></a>
  7. ## 创建账户
  8. ```shell
  9. # 添加用户
  10. useradd zhangsan 
  11. # 为用户设置密码
  12. passwd zhangsan

使用新建的zhangsan账户登录

  1. ssh zhangsan@ip

部署ElasticSearch

下载

  1. cd ~
  3. wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz

解压 并启动

  1. tar -xf elasticsearch-6.3.2.tar.gz

修改配置文件

默认不允许外网访问，去config 目录下， 将网络设置为 0.0.0.0 允许外网访问

  1. cd ~/elasticsearch-6.3.2/config
  3. vim elasticsearch.yml

将55行内容改为

  1. network.host: 0.0.0.0

image.png
启动 es

  1. cd ~/elasticsearch-6.3.2/bin
  2. # 启动es
  3. nohup sh elasticsearch

启动失败
image.png
使用root账户配置虚拟内存

  1. sysctl -w vm.max_map_count=262144

image.png
设置成功之后，再将用户切换回 普通账号
重新启动
image.png
启动成功之后，检查服务，在浏览器中输入 http://ip:9200
有对应的数据输出，表示已经成功启动。
image.png
默认启动之后，如果关闭窗口，服务就会停掉。使用命令后台执行。

  1. nohup sh elasticsearch > ~/es.log 2>&1 &

部署kibana

kibana 提供可视化的界面
image.png

下载

  1. cd ~
  3. wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz

解压

  1. tar -xf kibana-6.3.2-linux-x86_64.tar.gz

启动kibana

  1. cd kibana-6.3.2-linux-x86_64/bin/

部署LogStash

LogStash提供将Mysql数据库中的数据迁移到 ElasticSearch中。

下载

  1. cd ~
  3. wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz

kibana 使用说明

参考文档

搜索数据
image.png