大数据组有个需求,需要将两台cvm之前落盘的历史日志文件迁移到大数据集群上,一共600多个G,数据量不是很大,想着直接使用filebeat采集到kafka上让他们消费即可。中途遇到日志无法写入到kafka topic的问题,但是在机器上用脚本测试数据是能通过filebeat写入kafka的,Mark一下。遇到的报错如下:

Feb 28 16:48:57 chegva_c...
Continue reading >>

每个人都会犯错,别再让相同的错误一再发生,别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的,而是印在心上的。我们别无选择,清单,正在一步步变革我们的生活,变革这个复杂的世界......

——[美] 阿图-葛尔德《清单革命》


01 Elasticsearch 学习方法论

    1. 如何系统的学习 Elasticsearch ?

    2. 视频 | 零基础如何学习 Elasticsearch?

    3. 必...

Continue reading >>

最近在搞私有云机房迁移,有个es集群挪到新的平台后有台机器加入不了集群,数据都是复制过去的没有变动有点奇怪。表现是提示elastic用户集群认证失败,看日志有 [elastic02][192.10.0.1:9300] handshake failed. 报错信息。

后边在配置文件中把 network.host: 0.0.0.0 改成当前机器ip network.host: 172...

Continue reading >>

一、什么是监视器?

watcher是一个用于elasticsearch的插件,它能够根据数据的变化提供警报和通知,通过使用 Watcher 监视数据中的更改或异常,并执行必要的响应操作。

从5.0版本以后,watcher就成为了x-pack的一部分,也就是说安装了x-pack,watcher就已经安装了。

为了使用ES中监视器Watcher的特性,必须获取一个包含该特性的证书。

ES各版本特性说明:htt...

Continue reading >>

1. logrotate简介

logrotate是一个日志文件管理工具。用来把旧文件轮转、压缩、删除,并且创建新的日志文件,我们把它叫做“转储”。我们可以根据日志文件的大小、天数等来转储,便于对日志文件管理,一般都是通过cron计划任务来完成的,并且可以发送日志到指定的E-mail。

The logrotate utility is designed to simplify the administr...

Continue reading >>