MySQL数据一致性监测修复、延迟监控
在mysql工作中接触最多的就是mysql replication，mysql在复制方面还是会有一些常规问题，比如主库宕机或者从库宕机有可能会导致复制中断，通常需要进行人为修复，或者很多时候需要把一个从库提升为主库，但对从库和主库的数据一致性不能保证一样。这种情况下就需要使用percona-toolkit工具的pt-table-checksum组件来检查主从数据的一致性；如果发现不一致的数据，可以...
Continue reading >>分类：数据库中间件大数据
那些年我们追过的 MySQL 规范
在我们对数据库技术方案设计的时候，我们是否有自己的设计理念或者原则，还是更多的依据自己的直觉去设计，是否曾经懊悔线上发生过的一次低级故障，可能稍微注意点就可以避免，是否想过怎么才能很好的避免，下面规范的价值正是我们工作的检查清单，需要我们不断从错误中积累有效经验来指导未来的工作。以下规范在大型互联网公司经过了充分的验证，尤其适用于并发量大、数据量大的业务场景。先介绍的是安全规范，因为安全无小事，很...Continue reading >>
大数据集群服务 CDH 启停顺序
最近刚迁完机房，忙着继续迁大数据hadoop集群，这个集群线上跑了五年多了，中途换了两三波人，迁移着实有些费尽，为了成本和后续更好的维护，迁移也是木得办法的事，中间踩了N多坑，遇到了不少问题，好在已经接近尾声啦。
线上老集群用的是 CDH 5.14，停机下线也得悠着点，停了起不起得来都是未知数，目前现状是没人敢重启的。下周下线，这周先把老集群的整体资源和停机方案整了下。
CDH启停顺序：
首先，...
Continue reading >>SQL 之母 – 免费的闯关式 SQL 自学网
一个完全免费的闯关式 SQL 自学教程网站，结合作者自己的 SQL 学习实践经验，编写了 30 多个关卡，用户可以在线提交 SQL 代码做题闯关，目标是从 0 到 1 地带大家掌握常用的 SQL 语法。
此外，网站支持自由选择关卡、自定义关卡、SQL 在线练习广场等功能。对于新手入门学习SQL是个不错的练习教程。
20 秒学会使用
1）直接进入主页，左侧是教程和题目区域，请先完整阅读
2）在右上区域编写...
Continue reading >>Mysql主从、双主及主从同步1236错误
最近迁机房，Mysql集群换到新环境出现主从不一致的情况，具体为1236报错，集群架构采用的是双主+keepalived高可用，测试了几种恢复的方法，记录一下。
Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Slave has more GTIDs than the ma...Continue reading >>
Mysql update语句使用子查询
自从DBA老哥跑路后，数据库中间件大数据的活就落到我的头上了，领导的理由是我之前干过一段时间运维开发，对SQL比较熟！这理由我竟无法反驳，毕竟刚来不久。兼职DBA一个多月，什么稀奇古怪的需求都有。今天来了个有意思的活，有个开发老哥私聊，要update线上一个表，“大概影响15万条数据，可能很久，工单不好提，sql 全表扫，需要dba这边分批执行”，让他在yearing上分批提sql，他觉得没法提要...
Continue reading >>