大数据集群服务 CDH 启停顺序
最近刚迁完机房,忙着继续迁大数据hadoop集群,这个集群线上跑了五年多了,中途换了两三波人,迁移着实有些费尽,为了成本和后续更好的维护,迁移也是木得办法的事,中间踩了N多坑,遇到了不少问题,好在已经接近尾声啦。
线上老集群用的是 CDH 5.14,停机下线也得悠着点,停了起不起得来都是未知数,目前现状是没人敢重启的。下周下线,这周先把老集群的整体资源和停机方案整了下。
CDH启停顺序:
首先,...
Continue reading >>最近刚迁完机房,忙着继续迁大数据hadoop集群,这个集群线上跑了五年多了,中途换了两三波人,迁移着实有些费尽,为了成本和后续更好的维护,迁移也是木得办法的事,中间踩了N多坑,遇到了不少问题,好在已经接近尾声啦。
线上老集群用的是 CDH 5.14,停机下线也得悠着点,停了起不起得来都是未知数,目前现状是没人敢重启的。下周下线,这周先把老集群的整体资源和停机方案整了下。
首先,...
Continue reading >>一个完全免费的闯关式 SQL 自学教程网站,结合作者自己的 SQL 学习实践经验,编写了 30 多个关卡,用户可以在线提交 SQL 代码做题闯关,目标是从 0 到 1 地带大家掌握常用的 SQL 语法。
此外,网站支持自由选择关卡、自定义关卡、SQL 在线练习广场等功能。对于新手入门学习SQL是个不错的练习教程。
1)直接进入主页,左侧是教程和题目区域,请先完整阅读
2)在右上区域编写...
Continue reading >>最近迁机房,Mysql集群换到新环境出现主从不一致的情况,具体为1236报错,集群架构采用的是双主+keepalived高可用,测试了几种恢复的方法,记录一下。
Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Slave has more GTIDs than the ma...Continue reading >>
自从DBA老哥跑路后,数据库中间件大数据的活就落到我的头上了,领导的理由是我之前干过一段时间运维开发,对SQL比较熟!这理由我竟无法反驳,毕竟刚来不久。兼职DBA一个多月,什么稀奇古怪的需求都有。今天来了个有意思的活,有个开发老哥私聊,要update线上一个表,“大概影响15万条数据,可能很久,工单不好提,sql 全表扫,需要dba这边分批执行”,让他在yearing上分批提sql,他觉得没法提要...
Continue reading >>