K8s部署doris和keycloak
K8s部署doris和keycloak...Continue reading >>
生产实践:
使用Shell脚本操作HDFS中文件数据
学习技巧:
Shell 数组,date日期时间,awk,hdfs命令使用
脚本内容:
通过脚本查询、统计、删除n天前的hdfs文件,然后针对指定的分区路径,做不同的数据周期保存策略。拆成了几个脚本,可...
Continue reading >>大数据组有个需求,需要将两台cvm之前落盘的历史日志文件迁移到大数据集群上,一共600多个G,数据量不是很大,想着直接使用filebeat采集到kafka上让他们消费即可。中途遇到日志无法写入到kafka topic的问题,但是在机器上用脚本测试数据是能通过filebeat写入kafka的,Mark一下。遇到的报错如下:
Feb 28 16:48:57 chegva_c...Continue reading >>
首先,我们需要确保在将 Kafka 集群中的节点临时下线之前,集群处于健康状态。然后,我们可以按照以下步骤执行临时下线操作:
1.停止 Kafka 服务:在要下线的节点上停止 Kafka 服务,确保该节点不再参与集群中的任何活动。
2.从 ZooKeeper 中移除节点:使用 ZooKeeper 的命令行工具,手动将要下线的节点从 ZooKeeper 中移除。这将触...
Continue reading >>消息:Record。Kafka是消息引擎,这里的消息就是指Kafka处理的主要对象。
主题:Topic。主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。
分区:Partition。一个有序不变的消息序列。每个主题下可以有多个分区。
消息位移:Offset。表示分区中每条消息的位置信息,是一个单调递增且不变的值。
副本:...
Continue reading >>