大数据组有个需求，需要将两台cvm之前落盘的历史日志文件迁移到大数据集群上，一共600多个G，数据量不是很大，想着直接使用filebeat采集到kafka上让他们消费即可。中途遇到日志无法写入到kafka topic的问题，但是在机器上用脚本测试数据是能通过filebeat写入kafka的，Mark一下。遇到的报错如下：

Feb 28 16:48:57 chegva_c...

每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界......

——[美] 阿图-葛尔德《清单革命》

1. 如何系统的学习 Elasticsearch ？

2. 视频 | 零基础如何学习 Elasticsearch？

3. 必...

一、什么是监视器？

watcher是一个用于elasticsearch的插件，它能够根据数据的变化提供警报和通知，通过使用 Watcher 监视数据中的更改或异常，并执行必要的响应操作。

从5.0版本以后，watcher就成为了x-pack的一部分，也就是说安装了x-pack,watcher就已经安装了。

为了使用ES中监视器Watcher的特性，必须获取一个包含该特性的证书。

ES各版本特性说明：htt...

◎日志服务产品架构图：

◎日志服务功能特性图：

◎具体应用：

• 最佳实践：SLS多云日志采集、处理及分析
  

• 阿里云日志服务
  

1. logrotate简介

logrotate是一个日志文件管理工具。用来把旧文件轮转、压缩、删除，并且创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小、天数等来转储，便于对日志文件管理，一般都是通过cron计划任务来完成的，并且可以发送日志到指定的E-mail。

The logrotate utility is designed to simplify the administr...