1. 需求分析

1.1 日志类型

1. 访问日志：Apache访问日志、Nginx访问日志、Tomcat等

2. 错误日志：error log、java日志

3. 系统日志：/var/log/*、syslog

4. 运行日志：程序定义的

5. 网络日志：防火墙、路由器、交换机的日志

1.2 日志收集方法

1. file - filter

2. 直接收集或需要处理（java日志）

3. file - json

4. syslog、rsyslog

   ...

1. ELKStack使用消息队列

• 生产中应用：解耦，松耦合

数据 --> logstash（可选，如flume） --> MQ（redis、rabbitmq、kafka、zeromq） --> logstash(可选，Python、Php) --> ES

消息队列扩展架构图

2. redis使用

2.1...

1. 使用TCP发送日志

应用场景：生产中有缺少的日志或部分日志需要加入es

1.1 编辑tcp.conf

[root@linux-node2 conf.d]# cat tcp.conf 
input {
    tcp {
    type =&g...

1. Kibana可视化显示

• 区块图

• 数据表格

• 折线图

• Markdonw

• 统计图

• 饼图

• 地图

• 柱状图

                                            &nbs...

1. 收集java日志

1.1 logstash-type-if判断使用

#通过type字段来做if判断，不同日志写入不同的索引
[root@linux-node1 ~]# cat /etc/logstash/conf.d/file.conf          &nbsp...

1. Kibana简单使用

1.1 Kibana配置

[root@linux-node1 /opt/kibana/config]# egrep -v "#|^$" kibana.yml 
server.port: 5601
server.host: "0.0.0.0"
elas...