ELKStack简介[官网]

ELKstack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合，logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），三者通常配合使用，并且都来源于 Elastic.co 公司，所以简称为 ELK。

ELKstack 通过以下三个软件的有机结合实现了非常强大的灵活性与可扩展性：

• Logstash -- 提供简易、分布式、可扩展的日志收集功能，适配目前业界最通用的配置语法，支持消息队列中收集各种各样的日志，然后进行过滤分析，并可将日志输入到Elasticsearch

• Elasticsearch -- 是一个采用 http + json 接口的实时全文分布式存储/搜索引擎，提供高效的数据查询，支持集群功能，可以将指定时间的日志生成一个索引，加快日志查询和访问。

• Kibana -- 提供了绚丽可视化的Web绚丽的前端展示操作界面，只需点点鼠标，就可以完成搜索、聚合等功能，还可以生成绚丽的仪表

通用架构图如下：

和传统的日志处理方案相比，ELKStack 具有如下几个优点：

• 处理方式灵活：Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；

• 配置简易上手：Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计；

• 检索性能高效：虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应；

• 集群线性扩展：不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的；

• 前端操作炫丽：Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

Elasticsearch部署

Elasticsearch首先需要Java环境，所以需要提前安装好JDK，可以直接使用yum安装。开始之前要确保JDK正常安装并且环境变量同时配置正确：

• YUM安装JDK

[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

• YUM安装ElasticSearch

 #1.下载并安装GPG key
[root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
 #2.添加yum仓库
[root@linux-node1 ~]# vi /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
#3.安装elasticsearch
[root@linux-node1 ~]# yum install -y elasticsearch

LogStash部署

   LogStash部署和Elasticsearch类似，先安装配置好JDK，然后yum安装。

#1.下载并安装GPG key
[root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
#2.添加yum仓库 
[root@linux-node1 ~]# vim /etc/yum.repos.d/logstash.repo
[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos 
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch 
enabled=1
# 3.安装logstash
[root@linux-node1 ~]# yum install -y logstash

Kibana部署

#1.下载并安装GPG key
[root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
#2.添加yum仓库 
[root@linux-node1 ~]# vim /etc/yum.repos.d/kibana.repo 
[kibana-4.5]
name=Kibana repository for 4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos 
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch 
enabled=1
#3.yum安装kibana 
[root@test ~]# yum install -y kibana

使用Cobbler创建ELKStack仓库
        当然生产环境，肯定不能使用外网的YUM仓库，可以使用Cobbler来创建自己的yum仓库。

[root@log-node1 ~]# cobbler repo add --name=logstash-2.3 --mirror=http://packages.elastic.co/logstash/2.3/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler repo add --name=elasticsearch2 --mirror=http://packages.elastic.co/elasticsearch/2.x/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler repo add --name=kibana4.5 --mirror=http://packages.elastic.co/kibana/4.5/centos --arch=x86_64 --breed=yum
[root@log-node1 ~]# cobbler reposync

参考自：https://www.unixhot.com/article/59

安志合个人博客，版权所有 丨 如未注明，均为原创 丨 转载请注明转自：https://chegva.com/1015.html | ☆★★每天进步一点点,加油!★★☆ |