分类:数据库中间件大数据
大数据HDFS生产中常用操作命令,使用腾讯cos-distcp迁移warehouse到cos存储...Continue reading >>
Xtrabackup备份文件恢复
Xtrabackup介绍
xtrabackup是由percona开源的免费数据库热备份软件,它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份(对于MyISAM的备份同样需要加表锁),mysqldump备份方式是采用的逻辑备份,其最大的缺陷是备份和恢复速度较慢,如果数据库大于50G,mysqldump备份就不太适合。
Xtrabackup安装完成后有4个可执行文件,其中2个比较重要的备...
不同场景下 MySQL 的迁移方案
MySQL数据一致性监测修复、延迟监控
在mysql工作中接触最多的就是mysql replication,mysql在复制方面还是会有一些常规问题,比如主库宕机或者从库宕机有可能会导致复制中断,通常需要进行人为修复,或者很多时候需要把一个从库提升为主库,但对从库和主库的数据一致性不能保证一样。这种情况下就需要使用percona-toolkit工具的pt-table-checksum组件来检查主从数据的一致性;如果发现不一致的数据,可以...
Continue reading >>那些年我们追过的 MySQL 规范
在我们对数据库技术方案设计的时候,我们是否有自己的设计理念或者原则,还是更多的依据自己的直觉去设计,是否曾经懊悔线上发生过的一次低级故障,可能稍微注意点就可以避免,是否想过怎么才能很好的避免,下面规范的价值正是我们工作的检查清单,需要我们不断从错误中积累有效经验来指导未来的工作。以下规范在大型互联网公司经过了充分的验证,尤其适用于并发量大、数据量大的业务场景。先介绍的是安全规范,因为安全无小事,很...Continue reading >>
大数据集群服务 CDH 启停顺序

最近刚迁完机房,忙着继续迁大数据hadoop集群,这个集群线上跑了五年多了,中途换了两三波人,迁移着实有些费尽,为了成本和后续更好的维护,迁移也是木得办法的事,中间踩了N多坑,遇到了不少问题,好在已经接近尾声啦。
线上老集群用的是 CDH 5.14,停机下线也得悠着点,停了起不起得来都是未知数,目前现状是没人敢重启的。下周下线,这周先把老集群的整体资源和停机方案整了下。
CDH启停顺序:
首先,...
Continue reading >>