大数据组有个需求,需要将两台cvm之前落盘的历史日志文件迁移到大数据集群上,一共600多个G,数据量不是很大,想着直接使用filebeat采集到kafka上让他们消费即可。中途遇到日志无法写入到kafka topic的问题,但是在机器上用脚本测试数据是能通过filebeat写入kafka的,Mark一下。遇到的报错如下:

Feb 28 16:48:57 chegva_c...
Continue reading >>

kafka集群节点临时下线操作流程:

首先,我们需要确保在将 Kafka 集群中的节点临时下线之前,集群处于健康状态。然后,我们可以按照以下步骤执行临时下线操作:

1.停止 Kafka 服务:在要下线的节点上停止 Kafka 服务,确保该节点不再参与集群中的任何活动。

2.从 ZooKeeper 中移除节点:使用 ZooKeeper 的命令行工具,手动将要下线的节点从 ZooKeeper 中移除。这将触...

Continue reading >>

kafka.png

Kafka Architecture Distilled

Kafka名词术语:

消息:Record。Kafka是消息引擎,这里的消息就是指Kafka处理的主要对象。

主题:Topic。主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。

分区:Partition。一个有序不变的消息序列。每个主题下可以有多个分区。

消息位移:Offset。表示分区中每条消息的位置信息,是一个单调递增且不变的值。

副本:...

Continue reading >>