之前写过一篇 Xtrabackup备份文件恢复 的文章,生产中Mysql备份基本都是使用percona的xtrabackup进行全量&增量备份,简单的话直接使用mysqldump即可。这个脚本比较好的是在一个脚本内实现了全量和增量备份,思路挺好,来源:https://www.modb.pro/db/42779,稍微改了下,加了邮件报警等功能,感谢原作者分享。

脚本内容:mysql_...

Continue reading >>

1、问题背景:

线上服务日志报数据库连接太多错误,登陆腾讯云控制台查看实例监控及诊断,存在大量update语句行锁等待,1分钟内MySQL连接数从100多突增到400多,CPU占用率从4%飙到100%被打爆,不到10分钟连接数(最大连接数1000)被打满。

最终原因定位为:业务update语句存在行锁等待,短时间内大量重试(频率10Hz)导致实例CPU打满,随后最大连接数打满。持续kill掉等待SQL...

Continue reading >>

kafka集群节点临时下线操作流程:

首先,我们需要确保在将 Kafka 集群中的节点临时下线之前,集群处于健康状态。然后,我们可以按照以下步骤执行临时下线操作:

1.停止 Kafka 服务:在要下线的节点上停止 Kafka 服务,确保该节点不再参与集群中的任何活动。

2.从 ZooKeeper 中移除节点:使用 ZooKeeper 的命令行工具,手动将要下线的节点从 ZooKeeper 中移除。这将触...

Continue reading >>

kafka.png

Kafka Architecture Distilled

Kafka名词术语:

消息:Record。Kafka是消息引擎,这里的消息就是指Kafka处理的主要对象。

主题:Topic。主题是承载消息的逻辑容器,在实际使用中多用来区分具体的业务。

分区:Partition。一个有序不变的消息序列。每个主题下可以有多个分区。

消息位移:Offset。表示分区中每条消息的位置信息,是一个单调递增且不变的值。

副本:...

Continue reading >>