大数据组有个需求,需要将两台cvm之前落盘的历史日志文件迁移到大数据集群上,一共600多个G,数据量不是很大,想着直接使用filebeat采集到kafka上让他们消费即可。中途遇到日志无法写入到kafka topic的问题,但是在机器上用脚本测试数据是能通过filebeat写入kafka的,Mark一下。遇到的报错如下:

Feb 28 16:48:57 chegva_c...
Continue reading >>

kafka集群节点临时下线操作流程:

首先,我们需要确保在将 Kafka 集群中的节点临时下线之前,集群处于健康状态。然后,我们可以按照以下步骤执行临时下线操作:

1.停止 Kafka 服务:在要下线的节点上停止 Kafka 服务,确保该节点不再参与集群中的任何活动。

2.从 ZooKeeper 中移除节点:使用 ZooKeeper 的命令行工具,手动将要下线的节点从 ZooKeeper 中移除。这将触...

Continue reading >>

kafka.png

Kafka Architecture Distilled

Kafka名词术语:

消息:Record。Kafka是消息引擎,这里的消息就是指Kafka处理的主要对象。

主题:Topic。主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。

分区:Partition。一个有序不变的消息序列。每个主题下可以有多个分区。

消息位移:Offset。表示分区中每条消息的位置信息,是一个单调递增且不变的值。

副本:...

Continue reading >>

quorum-journal-with-zk.png

图片来源


最近刚迁完机房,忙着继续迁大数据hadoop集群,这个集群线上跑了五年多了,中途换了两三波人,迁移着实有些费尽,为了成本和后续更好的维护,迁移也是木得办法的事,中间踩了N多坑,遇到了不少问题,好在已经接近尾声啦。

线上老集群用的是 CDH 5.14,停机下线也得悠着点,停了起不起得来都是未知数,目前现状是没人敢重启的。下周下线,这周先把老集群的整体资源和停机方案整了下。

CDH启停顺序:

首先,...

Continue reading >>