mysql如何刷新内存_MySQL-脏页的刷新机制

news/2024/7/7 1:12:32

MySQL内存结构-缓冲区

MySQL的缓冲区中有数据页,索引页,插入缓冲等等,这个角度是从页的功能来分类的。本小节从另一个视角关注这些页,如果从 是否被修改过(和磁盘不一致) 这个角度来区分这些页,那么页可以被分为干净的页和脏页。

干净页:内存中的数据和磁盘一致

脏页:内存中的数据和磁盘不一致

本小节主要关注脏页刷新到磁盘的机制,首先需要了解缓冲区的内存管理细节。

内存管理机制简述

缓冲区中包含这三大类列表。分别为:LRUList、FreeList、FlushList。

在数据库刚启动时,LRUlist中并没有数据页,空闲页都存放在FreeList中,当需要读取某个页时,会从free列表中获取一个空闲页,读入数据后,放入LRU列表中;如果free中没有空闲页了,那么根据LRU算法淘汰Lru列表中末位的页。

LRU列表:管理已经被读取的页

Free列表:管理空闲的页

当LRU中的页被修改后,页就变成了脏页,这个页也会被加入Flush列表中。注意:这时这个页既在LRU列表中,又在Flush列表中。

Flush列表:管理脏页

总结:LRUList和FreeList用来管理页的可用性;Flush列表用来管理脏页的刷新

脏页的刷新机制-checkpoint机制

数据修改和读取只依赖缓冲区行不行?

如果数据修改和读取只依赖内存的缓冲区,那么一旦数据库宕机,内存中的数据都会丢失。所以MySQL使用之前讲过的redo log来实现异常重启的数据恢复,redolog相关介绍可以看篇文章:MySQL-redo log 和 binlog

简单来说,就是在更新缓冲区之前,先写入redo log,保证异常重启之后可以正常恢复缓冲区中的数据。

脏页为什么一定要刷新?

考虑这种情况

缓冲区可以无限大

redo log可以无限大或者无限拆分为多个文件

如果缓冲区无限大,可以装下所有的磁盘数据,redo log也可以无限大,那么就算异常重启,依靠redo log也可以恢复所有的更新。但现实中,首先,缓冲区依赖的内存空间不可能无限大,现实中有许多TB级别的数据库,但是目前还没有TB级别的内存;并且 redo log如果无限大或者有许多个文件,对运维和管理也是一个考验;最后,如果系统中有大量的修改操作,一旦宕机,恢复的时间也会非常长。

所以自然而然,我们就一定需要把内存中的脏页按照某种规则刷新到磁盘中,有了刷新这个操作,缓冲区的大小问题和redo log的大小问题都可以解决。

缓冲区不需要无限大了,因为可以持久化到磁盘

redo log也不需要无限大了,因为一旦持久化到磁盘,redo log中对应的那部分数据就可以释放。

如何刷新呢?

上部分讨论的是脏页刷新到磁盘的必要性。那具体应该如何刷新呢?MySQL中,刷新的规则叫checkpoint机制。

在InnoDB存储引擎中,有两种checkpoint:

sharp checkpoint:在数据库关闭时,刷新所有的脏页到磁盘,这里有参数控制,默认是开启的

fuzzy checkpoint:刷新一部分脏页到磁盘中。

关于Fuzzy checkpoint,InnoDB存储引擎中可能包括如下几种:

定时刷新 - master thread做

Flush LRUlist checkpoint -page cleaner thread做

async/sync checkpoint -page cleaner thread做

dirty too much checkpoint -?谁做?

刷新机制用更通俗易懂的角度来分析,上面的四种类型可以对应下面的

无论如何,定时刷新

当LRU中列表中空闲页不足时,强制LRU删除一些末尾的页,如果存在脏页,那么需要checkpoint刷新

使用innodb_lru_scan_depth来控制最少空闲页的数量

当重做日志不够用时,从flush 列表中选择一些页,强制checkpoint刷新

重做日志有两个水位:async水位 75% * innodb的总大小;sync水位:90* innodb大小。

当未刷新的数据大小 小于 低水位,不需要刷新

当未刷新的数据大小 大于 低水位,小于高水位,异步刷新,保证刷新后小于 低水位

当未刷新的数据大小 大于 高水位,同步阻塞刷新,保证刷新后小于 低水位。

关注系统中的整体脏页比例,如果达到一定比例,强制刷新

使用 innodb_dirty_page_pct来控制这个比例数值,默认时75%

master thread中的定时刷新机制

1)InndoDB1.0.x版本之前的master thread。

每秒,会进行一次 dirty too much checkpoint。

每10秒

判断过去10秒的IO操作是否小于200次,如果是,刷100个脏页;

判断系统当前脏页比例,如果超过70%,刷新100个;如果小于70%,刷新脏页的10%

2)InndoDB1.2.x版本之前的master thread。

在1.0.x存在硬编码,每秒最多只会刷新100个脏页到磁盘中,这种规定其实限制了性能更高的SSD磁盘。

在1.0.x版本,可以使用innodb_io_capacity来表示磁盘io的吞吐量。刷新脏页的数量由innodb_io_capacity来控制,默认是200。

总结

了解脏页刷新机制以及相应的参数是很有必要的,当数据库系统某些性能问题时,要考虑是否是脏页刷新相关的配置参数不合理导致的。

根据实际业务,考虑缓冲区的大小,redo log的大小,最少空闲页,脏页比例,io吞吐量相关参数是否配置合理,根据优化相关参数,解决系统问题。


http://www.niftyadmin.cn/n/1999117.html

相关文章

Android开发搭建环境所需要的各种包,不断更新中。。。

封装好的用于开发Android的ADT Bundle:32位版:adt-bundle-windows-x86-20140702.zip请添加链接描述(百度网盘) 64位版:adt-bundle-windows-x86_64-20140702.zip请添加链接描述(Google 地址) 提供了很多Android开发相关…

vc的dll基本用法

vc的dll基本用法 因为要用vc的dll,所以今天做了一些试验,还是有几点记录一下: 一.设置:1.预处理设置:如果有如下错误unexpected end of file while looking for precompiled header directive可以禁止预处理&#…

mysql 周处理_mysql按年度、季度、月度、周、日SQL统计查询mysql没有提供unix时间戳的专门处理函数【转】...

源地址:http://www.educity.cn/wenda/399779.htmlmysql 按年度、季度、月度、周、日SQL统计查询mysql没有提供unix时间戳的专门处理函数,所以,如果遇到时间分组,而你用的又是整型unix时间戳,则只有转化为mysql的其他日…

非常滑稽的表演

非常滑稽的表演 3月28日,我看到一篇新闻报道,题为“38家软件企业呼吁遵守“开源许可证””,顿时引起我的注意。 国内企业呼吁遵守“开源许可证”,是一件好事情,表明企业开始对开源软件给予重视。但是,“…

php 导出 excel

关于 PHP 导出 excel csv 常用的有 PHPexcel ,本文整理了一些其他方案。 高性能 Excel 扩展 sudo apt-get install -y zlib1g-dev git clone https://github.com/jmcnamara/libxlsxwriter.git cd libxlsxwriter make && sudo make install // https://github.com/viest…

git更换_Hexo实战002:快速更换博客主题

Hexo不仅搭建博客很快,而且更换主题也非常的方便。在Hexo官方上有非常多的主题模板(目前拥有321个模块),总有一款符合风格的主题模块。当然这里面有些主题因太久没有维护链接可能失效了,所以实际上并没有显示的那么多但对于博客创建来说基本够…

python学习4-线性结构、切片、解构、封装

线性结构:可迭代、len获取长度、可以索引访问、可以切片、可以enumerate列表、元组、字符串、bytes、bytearray都是切片操作:lst[start:end:sep] #返回新的,start为0可以省略,当stop为-0可以省略。都省略相当于copy,超…

微软过桥问题与测试人员素养

微软过桥问题与测试人员素养 微软面试题过桥问题在IT业内几乎已变成一个众所周知的问题,问题如下: 4个人在晚上过一座小桥,过桥时必须要用到手电筒,只有一枚手电筒,每次最多只可以有两人通过(人多了…