在mysql工作中接触最多的就是mysql replication，mysql在复制方面还是会有一些常规问题，比如主库宕机或者从库宕机有可能会导致复制中断，通常需要进行人为修复，或者很多时候需要把一个从库提升为主库，但对从库和主库的数据一致性不能保证一样。这种情况下就需要使用percona-toolkit工具的pt-table-checksum组件来检查主从数据的一致性；如果发现不一致的数据，可以通过pt-table-sync修复；还可以通过pt-heartbeat监控主从复制延迟。当然如果数据量小，slave只是当做一个备份使用，那么出现数据不一致完全可以重做，或者通过其他方法解决。如果数据量非常大，重做就是非常蛋碎的一件事情了。比如说，线上数据库做了主从同步环境，数据库在进行了迁移后，需要对mysql迁移（Replication）后的数据一致性进行校验，但又不能对生产环境使用造成影响，pt-table-checksum成为了绝佳也是唯一的检查工具。这个工具套件对DBA及运维人员着实不可多得。
percona-toolkit介绍
percona-toolkit是一组高级命令行工具的集合，可以查看当前服务的摘要信息，磁盘检测，分析慢查询日志，查找重复索引，实现表同步，执行非常复杂和麻烦的mysql和系统任务，这些任务包括：
1）检查master和slave数据的一致性
2）有效地对记录进行归档
3）查找重复的索引
4）对服务器信息进行汇总
5）分析来自日志和tcpdump的查询
6）当系统出问题的时候收集重要的系统信息
安装需求及步骤
下载链接：http://www.percona.com/software/percona-toolkit
需求
* Perl v5.8 or newer
* Bash v3 or newer
* Core Perl modules like Time::HiRes
# perl --version |head -2 #检查perl版本
# bash --version #检查bash版本
快速安装步骤(缺省/usr/local/bin路径下，过程略)
# tar zxvf percona-toolkit-<version>.tar.gz
# cd percona-toolkit-<version>
# perl Makefile.PL (安装到非缺省目录 perl Makefile.PL PREFIX=${HOME})
# make
# make test
# make install
pt工具使用：
percona-toolkit工具中最主要的三个组件分别是：
1）pt-table-checksum 负责监测mysql主从数据一致性
2）pt-table-sync 负责当主从数据不一致时修复数据，让它们保存数据的一致性
3）pt-heartbeat 负责监控mysql主从同步延迟
1、pt-table-checksum
| 参数 | 参数说明 | 备注 |
|---|---|---|
| --[no]check-replication-filters | 不检查复制过滤器，建议启用。后面可以用--databases来指定需要检查的数据库。 | 当前环境不需要该参数，默认开启 |
| --no-check-binlog-format | 不检查复制的binlog模式，要是binlog模式是ROW，则会报错。 | 默认是监测，使用默认值，如果添加该参数可能导致diff不出来 |
| --replicate-check-only | 只显示不同步的信息。 | 开启这个，可以减少输出并且显示不一致的从库主机名 不过这个只是显示已经检测过的不一致信息，并不能显示当前的。 |
| --replicate= | 把checksum的信息写入到指定表中，建议直接写到被检查的数据库当中。不需要指定 | 默认会创建percona库下checksum表 |
| -h -u -p -P | masterIP 监测账号 密码 端口 | 要在主库上授权，能让主库ip访问。这一点不能忘记！（实验证明从库上可以不授权，但最好还是从库也授权）注意：
1）根据测试，需要一个即能登录主库，也能登录从库的账号；
2）只能指定一个host，必须为主库的IP；
3）在检查时会向表加S锁； 4）运行之前需要从库的同步IO和SQL进程是YES状态。 在主库上执行授权（一定要对主库ip授权，授权的用户名和密码可以自行定义，不过要保证这个权限能同时登陆主库和从库） mysql> GRANT SELECT, PROCESS, SUPER, REPLICATION SLAVE,CREATE,DELETE,INSERT,UPDATE ON *.* TO 'root'@'masterip' identified by '123456'; mysql> flush privileges; 在从库上执行授权 mysql> GRANT SELECT, PROCESS, SUPER, REPLICATION SLAVE ON *.* TO 'root'@'masterip' IDENTIFIED BY '123456'; mysql> flush privileges; |
| --databases= | 指定需要被检查的数据库，多个则用逗号隔开。 | |
| --tables= | 指定需要被检查的表，多个用逗号隔开 | |
| --recursion-method | 指定监测从库的模式，默认使用processlist，也可以指定dsn | 多个从库可以这样指定。--recursion-method=dsn=h=host,D=pt,t=dsns D 库名 t 表名 |
| --quiet | 安静模式，最小化打印，纸打印错误行 | 与--replicate-check-only类似，但不显示从库信息 |
输出信息解释
TS ：完成检查的时间。
ERRORS ：检查时候发生错误和警告的数量。
DIFFS ：0表示一致，1表示不一致。当指定--no-replicate-check时，会一直为0，当指定--replicate-check-only会显示不同的信息。
ROWS ：表的行数。
CHUNKS ：被划分到表中的块的数目。
SKIPPED ：由于错误或警告或过大，则跳过块的数目。
TIME ：执行的时间。
TABLE ：被检查的表名。
2、pt-table-sync
| 参数 | 参数说明 | 备注 |
|---|---|---|
| --replicate= | 指定通过pt-table-checksum得到的表 | 默认会创建percona库下checksum表时不需要指定 |
| --databases= | 指定执行同步的数据库 | 在只修复指定的库时使用 |
| --tables= | 指定需要被修复的表，多个用逗号隔开 | |
| --sync-to-master | 指定一个DSN，即从的IP | 会通过show processlist或show slave status 去自动的找主。报错找不到主库时使用 |
| h= u= p= | 服务器地址，账号，密码 | 命令里有2个ip，第一次出现的是Master的地址，第2次是Slave的地址。 |
| 打印修复的sql语句 | 只打印不执行。 | |
| --exec 或 --execute | 执行修复 | |
| --algorithms=c | 指定修复算法 | default Chunk,Nibble,GroupBy,Stream 在报错算法问题的时候需要指定算法 |
| --charset= | 指定默认字符集 | 如果数据中包含中文不指定次字符集的话修复不成功 |
建议:
修复数据的时候，最好还是用--print打印出来的好，这样就可以知道那些数据有问题，可以人为的干预下。 不然直接执行了，出现问题之后更不好处理。总之还是在处理之前做好数据的备份工作。
3、pt-table-checksum
对于MySQL数据库主从复制延迟的监控，可以借助percona的有力武器pt-heartbeat来实现。
pt-heartbeat的工作原理通过使用时间戳方式在主库上更新特定表，然后在从库上读取被更新的时间戳然后与本地系统时间对比来得出其延迟。具体流程：
1）在主上创建一张heartbeat表，按照一定的时间频率更新该表的字段（把时间更新进去）。监控操作运行后，heartbeat表能促使主从同步！
2）连接到从库上检查复制的时间记录，和从库的当前系统时间进行比较，得出时间的差异。
使用方法（主从和从库上都可以执行监控操作）：
pt-heartbeat [OPTIONS] [DSN] --update|--monitor|--check|--stop
注意：需要指定的参数至少有 --stop，--update，--monitor，--check。 其中--update，--monitor和--check是互斥的，--daemonize和--check也是互斥。 --ask-pass 隐式输入MySQL密码 --charset 字符集设置 --check 检查从的延迟，检查一次就退出，除非指定了--recurse会递归的检查所有的从服务器。 --check-read-only 如果从服务器开启了只读模式，该工具会跳过任何插入。 --create-table 在主上创建心跳监控的表，如果该表不存在，可以自己手动建立，建议存储引擎改成memory。通过更新该表知道主从延迟的差距。 CREATE TABLE heartbeat ( ts varchar(26) NOT NULL, server_id int unsigned NOT NULL PRIMARY KEY, file varchar(255) DEFAULT NULL, position bigint unsigned DEFAULT NULL, relay_master_log_file varchar(255) DEFAULT NULL, exec_master_log_pos bigint unsigned DEFAULT NULL ); heratbeat 表一直在更改ts和position,而ts是我们检查复制延迟的关键。 --daemonize 执行时，放入到后台执行 --user=-u， 连接数据库的帐号 --database=-D， 连接数据库的名称 --host=-h， 连接的数据库地址 --password=-p， 连接数据库的密码 --port=-P， 连接数据库的端口 --socket=-S， 连接数据库的套接字文件 --file 【--file=output.txt】 打印--monitor最新的记录到指定的文件，很好的防止满屏幕都是数据的烦恼。 --frames 【--frames=1m,2m,3m】 在--monitor里输出的[]里的记录段，默认是1m,5m,15m。可以指定1个，如：--frames=1s，多个用逗号隔开。可用单位有秒（s）、分钟（m）、小时（h）、天（d）。 --interval 检查、更新的间隔时间。默认时间是1s。最小的单位是0.01s，最大精度为小数点后两位，因此0.015将调整至0.02。 --log 开启daemonized模式的所有日志将会被打印到指定的文件中。 --monitor 持续监控从的延迟情况。通过--interval指定的间隔时间，打印出从的延迟信息，通过--file则可以把这些信息打印到指定的文件。 --master-server-id 指定主的server_id，若没有指定则该工具会连到主上查找其server_id。 --print-master-server-id 在--monitor和--check 模式下，指定该参数则打印出主的server_id。 --recurse 多级复制的检查深度。模式M-S-S...不是最后的一个从都需要开启log_slave_updates，这样才能检查到。 --recursion-method 指定复制检查的方式,默认为processlist,hosts。 --update 更新主上的心跳表。 --replace 使用--replace代替--update模式更新心跳表里的时间字段，这样的好处是不用管表里是否有行。 --stop 停止运行该工具（--daemonize），在/tmp/目录下创建一个“pt-heartbeat-sentinel” 文件。后面想重新开启则需要把该临时文件删除，才能开启（--daemonize）。 --table 指定心跳表名，默认heartbeat。
参考：
整理自网络
