分类:日志服务实战
logrotate日志分割工具
1. logrotate简介
Continue reading >>logrotate是一个日志文件管理工具。用来把旧文件轮转、压缩、删除,并且创建新的日志文件,我们把它叫做“转储”。我们可以根据日志文件的大小、天数等来转储,便于对日志文件管理,一般都是通过cron计划任务来完成的,并且可以发送日志到指定的E-mail。
The logrotate utility is designed to simplify the administr...
ELKStack实战十——ELK生产案例项目规划
1. 需求分析
1.1 日志类型
访问日志:Apache访问日志、Nginx访问日志、Tomcat等
错误日志:error log、java日志
系统日志:/var/log/*、syslog
运行日志:程序定义的
网络日志:防火墙、路由器、交换机的日志
1.2 日志收集方法
file - filter
直接收集或需要处理(java日志)
file - json
syslog、rsyslog
...
Continue reading >>ELKStack实战九——使用消息队列扩展
1. ELKStack使用消息队列
生产中应用:解耦,松耦合
数据 --> logstash(可选,如flume) --> MQ(redis、rabbitmq、kafka、zeromq) --> logstash(可选,Python、Php) --> ES
消息队列扩展架构图
2. redis使用
2.1...
Continue reading >>ELKStack实战八——TCP发送日志和rsyslog、Apache日志收集
1. 使用TCP发送日志
应用场景:生产中有缺少的日志或部分日志需要加入es
1.1 编辑tcp.conf
[root@linux-node2 conf.d]# cat tcp.conf input { tcp { type =&g...Continue reading >>