你的位置:首页 > 数据库

[数据库]屌炸天实战 MySQL 系列教程(四)【秒杀七年经验 LowB工程师】 主从复制、读写分离、模拟宕机、备份恢复方案生产环境实战


第一篇:屌炸天实战 MySQL 系列教程(一) 生产标准线上环境安装配置案例及棘手问题解决

第二篇:屌炸天实战 MySQL 系列教程(二) 史上最屌、你不知道的数据库操作

第三篇:屌炸天实战 MySQL 系列教程(三)你不知道的 视图、触发器、存储过程、函数、事物、索引、语句

第四篇:屌炸天实战 MySQL 系列教程(四) 主从复制、读写分离、模拟宕机、备份恢复方案生产环境实战

 

去年公司有一个七年PHP开发经验的工程师,想要跳槽。

去国内某知名互联网公司面试后,被虐惨了,非要我给他讲讲什么是主从复制。

那好吧,读这篇文章的人好帅啊!

你给我点赞,我教你实战!

 

本章内容:

  • 主从复制
  • 简介原理
  • 备份主库及恢复从库,配置从库生效
  • 读写分离
  • 如果主宕机了,怎么办?
  • 双主的情况
  • MySQL 备份及恢复方案
  • 备份单个及多个数据库
  • mysqldump 的常用参数
  • 如何增量恢复呢?
  • 增量恢复的必要条件
  • 生产环境 mysqldump 备份命令
  • 恢复喽

 

一、MySQL主从复制

1、简介

主从复制目的:

可以做数据库的实时备份,保证数据的完整性;

可做读写分离,主服务器只管写,从服务器只管读,这样可以提升整体性能。

原理图:

从上图可以看出,同步是靠log文件同步读写完成的。

2、更改配置文件

两天机器都操作,确保 server-id 要不同

# 3306和3307分别代表2台机器

# 打开log-bin,并使server-id不一样#vim /data/3306/my.cnflog-bin = /data/3306/mysql-binserver-id = 1#vim /data/3307/my.cnflog-bin = /data/3307/mysql-binserver-id = 3#检查1、[root@bogon ~]# egrep "log-bin|server-id" /data/3306/my.cnf log-bin = /data/3306/mysql-binserver-id = 1[root@bogon ~]# egrep "log-bin|server-id" /data/3307/my.cnf log-bin = /data/3307/mysql-binserver-id = 32、[root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock -e "show variables like 'log_bin';"Enter password: +-----------------------+--------+| Variable_name | Value |+-----------------------+--------+| log_bin    | ON |  # ON 为开始开启成功+-----------------------+--------+

3、建立用于从库复制的账号rep

通常会创建一个用于主从复制的专用账户

# 主库授权,允许从库来连接我取日志[root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock Enter password:# 允许从库192.168.200网段连接,账号rep,密码nick。mysql> grant replication slave on *.* to 'rep'@'192.168.200.%' identified by 'nick';Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;Query OK, 0 rows affected (0.00 sec)# 检查创建的rep账号:mysql> select user,host from mysql.user;+--------+-----------------------------+| user | host       |+--------+------------------------------+| root | 127.0.0.1     || rep | 192.168.200.%   || root | localhost      || root | localhost.localdomain |+--------+------------------------------+7  rows in set (0.00 sec)

4、备份主库,及恢复到从库

把主库现有数据备份下来,再恢复到从库,此时两个主机的数据一致。

1)  在主库上加锁,使只有只读权限。mysql> flush table with read lock;Query OK, 0 rows affected (0.00 sec)#5.1、5.5锁表命令略有不同。# 5.1锁表:flush tables with read lock;# 5.5锁表:flush table with read lock;2)  记住就是这个点备份的。mysql> show master status;+---------------------------+-------------+-------------------+--------------------------+| File       | Position | Binlog_Do_DB | Binlog_Ignore_DB |+----------------------------+------------+--------------------+-------------------------+| mysql-bin.000013 |  410 |       |        |+----------------------------+------------+--------------------+-------------------------+1 row in set (0.00 sec)3)  克隆窗口,备份数据。[root@bogon ~]# mysqldump -uroot -p -S /data/3306/mysql.sock -A -B --events --master-data=2|gzip >/opt/rep.sql.gzEnter password:参数:  -A:备份所有的#看rep.sql.gz参数vim /opt/rep.sql.gz-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=410;4)  查看master status;数值是否正常mysql> show master status;+--------------------------+------------+--------------------+-------------------------+| File      | Position | Binlog_Do_DB | Binlog_Ignore_DB |+--------------------------+------------+--------------------+--------------------------+| mysql-bin.000013 |  410 |      |        |+--------------------------+------------+--------------------+--------------------------+1 row in set (0.00 sec)5)  解锁库mysql> unlock tables;Query OK, 0 rows affected (0.00 sec)6)  恢复到从库[root@bogon ~]# gunzip < /opt/rep.sql.gz | mysql -uroot -p -S /data/3307/mysql.sockEnter password:

5、配置从库及生效

更改从库和主库的连接参数,配置生效。检查就成功了!

1)  进入从库。[root@bogon ~]# mysql -uroot -p -S /data/3307/mysql.sock Enter password:2)  更改从属服务器用于与主服务器进行连接和通讯的参数。mysql> CHANGE MASTER TO   MASTER_HOST='192.168.200.98',   MASTER_PORT=3306,   MASTER_USER='rep',   MASTER_PASSWORD='nick',   MASTER_LOG_FILE='mysql-bin.000013',   MASTER_LOG_POS=410;Query OK, 0 rows affected (0.01 sec)3)  查看更改的参数。[root@localhost ~]# cd /data/3307/data/[root@localhost data]# cat master.info 18mysql-bin.000013410192.168.200.98REPnick330660001800.00004)  生效!mysql> start slave;Query OK, 0 rows affected (0.01 sec)5)  检查下列参数,符合则正常!mysql> show slave status\GRelay_Master_Log_File: mysql-bin.000013       Slave_IO_Running: Yes    #取logo。      Slave_SQL_Running: Yes    #读relay-bin、logo,写数据。Seconds_Behind_Master: 0    #落后主库的秒数。6)  查看relay-bin.logo。[root@localhost 3307]# cd /data/3307[root@localhost 3307]# ll总用量 48drwxr-xr-x. 9 mysql mysql 4096 10月 29 18:52 data-rw-r--r--. 1 mysql mysql 1900 10月 29 11:45 my.cnf-rwx------. 1 root root  1307 10月 20 17:06 mysql-rw-rw----. 1 mysql mysql   6 10月 29 11:00 mysqld.pid-rw-r-----. 1 mysql mysql 15090 10月 29 18:49 mysql_nick3307.errsrwxrwxrwx. 1 mysql mysql   0 10月 29 11:00 mysql.sock-rw-rw----. 1 mysql mysql  150 10月 29 18:49 relay-bin.000001-rw-rw----. 1 mysql mysql  340 10月 29 18:52 relay-bin.000002-rw-rw----. 1 mysql mysql  56 10月 29 18:49 relay-bin.index-rw-rw----. 1 mysql mysql  53 10月 29 18:52 relay-log.info7)  查看relay-log.info。[root@localhost 3307]# cat relay-log.info /data/3307/relay-bin.000002340mysql-bin.0000134978)  查看master.info。[root@localhost 3307]# cat data/master.info 18mysql-bin.000013497192.168.200.98repnick330660001800.0000

 6、读写分离

读写分离在生产环境比比皆是,也是必备技能。

忽略MySQL主从复制授权表同步,读写分离

[root@bogon 3306]# vim my.cnf#添加以下四行replicate-ignore-db = mysqlbinlog-ignore-db = mysqlbinlog-ignore-db = performance_schemabinlog-ignore-db = information_schemaserver-id = 1

1)  通过read-only参数防止数据写入从库的方法。#修改配置文件。vim /data/3307/my.cnf[mysqld]read-only#对用户授权事不能指定有super或all privileges权限。不然没效果。#创建账户suoning,并刷新权限。mysql> grant select,insert,update,delete on *.* to 'suoning'@'localhost' identified by '123';Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;Query OK, 0 rows affected (0.00 sec)#用创建账户登录,并创建库[root@bogon 3307]# mysql -usuoning -p123 -S /data/3307/mysql.sockmysql> create user kangkangkang@'192.%' identified by 'old123';ERROR 1290 (HY000): The MySQL server is running with the --read-only option so it cannot execute this statement2)  主从同步故障A.  Last_SQL_Errno: 1007stop slave;set global sql_slave_skip_counter = 1;start slave;B.  忽略skip-name-resolve    #忽略名字解析slave-skip-errors = 1032,1062,1007  #忽略故障编号server-id = 33)  从库开启bin-logvim my.cnflog-bin = /data/3307/mysql-binlog-slave-updates      #表示从库记录bin-logexpire_logs_days = 7    #保留7天bin-log。

7、主宕机

我们来模拟一下,如果主机宕机了,那我们该如何让从快速替换,让损失降到最小?当然了,双机热备也是一个不错的选择,那下节会给大家讲解。

一主多从的环境下,如果主宕机了,选一台从做主,继续和其它从同步。

A.  查看每个从库的master.info,看谁的更靠前,最新,更大,丢的数据最少。[root@localhost 3307]# cat /data/3307/data/master.info mysql-bin.000015326B.  确保所有relay log全部更新完毕。在每个从库上执行stop slave io_thread;show processlist;知道看到Has read all relay log;表示从库更新都执行完毕。C.  登陆mysql -uroot -p -S /data/3307/mysql.sockstop slave;reset master;quitD.  进入到数据库目录,删除master.info relay-log.infocd /data/3307/data/rm -f master.info relay-log.infoE.  3307提升为主库vim /data/3307/my.cnf开启log-bin = /data/3307/mysql-bin如存在log-slave-updates,read-only等一定要注释。/data/3307/mysql restartF.  其它从库操作stop slave;change master to master_host ='192.168.200.98';start slave;show slave status\G

8、双主

曾经在某知名外企,8万员工,做过 4主8从 的架构,以下演示双主,情况都类似。

使用主主前提:表的主键自增。

双主情况下,ID会是这样情况,通过程序指定ID写库M1:1,3,5,M2:2,4,6。

[root@localhost 3307]# vim my.cnf[mysqld]auto_increment_increment    = 2auto_increment_offset      = 2[root@localhost 3307]# ./mysql restart[root@localhost 3306]# vim my.cnf[mysqld]auto_increment_increment    = 2auto_increment_offset      = 1log-bin = /data/3306/mysql-binlog-slave-updates[root@localhost 3306]# ./mysql restart[root@localhost 3306]# mysqldump -uroot -pnick -S /data/3307/mysql.sock -A -B --master-data=1 -x --events > /opt/3307bak.sql[root@localhost 3306]# mysql -uroot -pnick -S /data/3306/mysql.sock < /opt/3307bak.sqlmysql> CHANGE MASTER TO   MASTER_HOST='192.168.200.98',   MASTER_PORT=3307,   MASTER_USER='rep',   MASTER_PASSWORD='nick';mysql> start slave;Query OK, 0 rows affected (0.00 sec)mysql> show slave status \G

 

二、MySQL备份及恢复

做为一个数据库管理员,最不可少的自然是数据库的各种备份及各种恢复,这通常是DBA日常必备。

那就来实战日常工作吧!

1、备份单个数据库

最基础的备份单个数据库

1>  语法:mysqldump –u 用户名 –p 数据库名> 备份的数据库名2>  备份nick_defailt数据库,查看内容。[root@localhost ~]# mysqldump -uroot -p -B nick_defailt >/opt/mysql_nick_defailt.bakEnter password: [root@localhost ~]# egrep -v "#|\*|--|^$" /opt/mysql_nick_defailt.bak DROP TABLE IF EXISTS `oldsuo`;CREATE TABLE `oldsuo` ( `id` int(4) NOT NULL, `name` char(20) NOT NULL, `age` tinyint(2) NOT NULL DEFAULT '0', `dept` varchar(16) DEFAULT NULL) ENGINE=MyISAM DEFAULT CHARSET=latin1;LOCK TABLES `oldsuo` WRITE;INSERT INTO `oldsuo` VALUES (2,'索宁',0,NULL),(3,'索尼',0,NULL),(4,'底底',0,NULL);UNLOCK TABLES;DROP TABLE IF EXISTS `student`;CREATE TABLE `student` ( `qq` varchar(15) DEFAULT NULL, `id` int(4) NOT NULL AUTO_INCREMENT, `name` char(20) NOT NULL, `suo` int(4) DEFAULT NULL, `age` tinyint(2) NOT NULL DEFAULT '0', `dept` varchar(16) DEFAULT NULL, `sex` char(4) DEFAULT NULL, PRIMARY KEY (`id`), KEY `index_name` (`name`)) ENGINE=MyISAM AUTO_INCREMENT=8 DEFAULT CHARSET=latin1;LOCK TABLES `student` WRITE;INSERT INTO `student` VALUES (NULL,2,'oldsuo',NULL,0,NULL,NULL),(NULL,3,'kangknag',NULL,0,NULL,NULL),(NULL,4,'kangkang',NULL,0,NULL,NULL),(NULL,5,'oldsuo',NULL,0,NULL,NULL),(NULL,6,'kangknag',NULL,0,NULL,NULL),(NULL,7,'kangkang',NULL,0,NULL,NULL);UNLOCK TABLES;3>  启用压缩备份数据库[root@localhost~]#mysqldump -uroot -p -B nick_defailt|gzip>/opt/mysql_nick_defailt.bak.gzEnter password: [root@localhost ~]# ll /opt/总用量 28-rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sq2-rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sql-rw-r--r--. 1 root root 1002 10月 27 11:55 mysql_nick_defailt.bak-rw-r--r--. 1 root root 1002 10月 27 11:56 mysql_nick_defailt.bak.gz-rw-r--r--. 1 root root 3201 10月 27 11:46 mysql_nick_defailt_B.bakdrwxr-xr-x. 2 root root 4096 11月 22 2013 rh-rw-r--r--. 1 root root 1396 10月 24 16:11 student_bak.sql4>  恢复nick_defailt数据库[root@localhost ~]# mysql -uroot -p nick_defailt </opt/mysql_nick_defailt.bak Enter password:#加-B恢复方法[root@localhost ~]# mysql -uroot -p </opt/mysql_nick_defailt_B.bak        Enter password:5>  总结1、  备份用-B参数。增加use db,和create database的信息。2、  用gzip对备份的数据压缩。

2、备份多个数据库

备份多个数据库的情况呢?

#多个数据库名中间加空格[root@localhost ~]# mysqldump -uroot -p -B nick_defailt oldsuo oldsuo_1|gzip>/opt/mul.sql.gzEnter password:

3、备份单个及多个表

那如果备份单个和多个表,怎么办?

1>  语法:mysqldump -u 用户名 -p 数据库名 表名 > 备份的文件名[root@localhost ~]# mysqldump -uroot -p nick_defailt student >/opt/mysql_nick_defailt_student.bakEnter password:2>  语法:mysqldump -u 用户名 -p 数据库名 表名1 表名2 > 备份的文件名[root@localhost ~]# mysqldump -uroot -p nick_defailt student oldsuo >/opt/mysql_nick_defailt.bak    Enter password:

4、mysqldump 的参数

mysqldump 的关键参数,每个DBA都记烂了

1、  -B指定多个库,增加建库语句和use语句。2、  --compact去掉注释,适合调试输出,生产不用。3、  -A 备份所有库。4、  -F刷新binlog日志。5、  --master-data 增加binlog日志文件名及对应的位置点。6、  -x,--lock-all-tables 7、  -l,--locktables8、  -d 只备份表结构9、  -t 只备份数据10、  --single-transaction 适合innodb事务数据库备份。

5、增量恢复

重要的来了,生产环境一般是增量备份与恢复;

所谓增量,就是在原数据的基础上继续添加数据,不必每次都重新添加,省时省力。

A:增量恢复必备条件:

1.  开启MySQL数据库log-bin参数记录binlog日志。[root@localhost 3306]# grep log-bin /data/3306/my.cnf log-bin = /data/3306/mysql-bin2.  存在数据库全备。

B:生产环境 mysqldump备份命令:

# 进行数据库全备,(生产环境还通过定时任务每日凌晨执行)mysqldump -uroot -pnick -S /data/3306/mysql.sock --default-character-set=gbk --single-transaction -F -B nick |gzip >/server/backup/mysql_$(date +%F).sql.gz# innodb引擎备份mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F --single-transaction -A -B |gzip >$DATA_FILE# myisam引擎备份mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F -A -B --lock-all-tables |gzip >$DATA_FILE

C:恢复:

# 通过防火墙禁止web等应用向主库写数据或者锁表。让主库暂时停止更新,然后再进行恢复。# 误操作删除nick库!1.  检查全备及binlog日志[root@localhost 3306]# cd /server/backup/[root@localhost backup]# gzip -d mysql_2015-10-31.sql.gz [root@localhost backup]# vim mysql_2015-10-31.sql[root@localhost backup]# grep -i "change" mysql_2015-10-31.sql2.  立即刷新并备份出binlog[root@localhost 3306]# mysqladmin -uroot -pnick -S /data/3306/mysql.sock flush-logs[root@localhost 3306]# cp /data/3306/mysql-bin.000030 /server/backup/#误操作log-bin,倒数第二[root@localhost backup]# mysqlbinlog -d nick mysql-bin.000030 >bin.sql  #导出为.sql格式。[root@localhost backup]# vim bin.sql找到语句drop database nick删除!!!(误操作语句)3.  恢复[root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock <mysql_2015-10-31.sql    #恢复之前的数据库全备[root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock nick < bin.sql#恢复删除误操作语言的bin-log。# 搞定!!!