背景
由于mysql的innodb引擎对于数据文件和日志文件都有自己的内存缓冲,在真正写入磁盘时,完全可以不使用os的io缓冲机制(避免双缓冲的冗余浪费)。
所以mysql提供了对应的参数innodb_flush_method来控制对文件写入的方式,当innodb_flush_method=O_DIRECT就能绕过os的缓冲,是比较推荐的一种选项。
innodb_flush_method几个选项的解析
首先让我们忘记mysql,先来看下linux os提供的文件操作方式
open文件的三种模式
O_DIRECT,O_SYNC,O_DSYNC以及default模式(当然可选的远不止这四个,由于本文不涉及其他的,就忽略介绍了)
- default每次读写都会使用os缓冲,写时不保证数据落入磁盘
- O_DIRECT每次读写文件时是直接向磁盘写入,绕过os缓冲,但是返回的时候不保证数据和元数据信息已经完全刷入磁盘
- O_SYNC仍然会使用os的缓冲,只不过在每次写的时候强制将缓冲刷入磁盘(包括所有元数据信息)
- O_DSYNC仍然会使用os的缓冲,只不过在每次写的时候强制将缓冲刷入磁盘(包括部分元数据信息)
O_DSYNC相较于O_SYNC,可能会减少磁盘操作次数,因为元数据和文件数据可能在磁盘的不同区域,O_DSYNC可以减少这部分元数据的磁盘操作。
上面是open打开文件的系统调用,linux还有一种专门用于刷入磁盘的系统调用fsync,用于将某个文件的os缓冲数据全部刷入磁盘。
然后我们来看看mysql是怎么使用这些文件操作方式的,这里的前提是mysql每次写文件的目的都是刷入磁盘,仅仅写入os缓冲不足以保证崩溃后的数据一致性。
mysql通过参数innodb_flush_method调节对数据文件和日志文件读写的方式
innodb_flush_method在linux os下的取值为
- fsync 默认选项,使用default + fsync操作数据文件和日志文件,即 读写都经过os缓冲,写完后再调用fsync刷入磁盘。
- O_DSYNC 使用上述的O_SYNC打开日志文件,即每次写完日志文件,os会自动通过fsync刷入磁盘;使用default + fsync 操纵数据文件。mysql这里没有直接使用O_DSYNC打开文件,据文档描述是因为O_DSYNC在某些操作系统上存在问题。(但是我不太明白这里为什么要对日志文件和数据文件区别对待)
- O_DIRECT 使用上述的O_DIRECT打开数据文件和日志文件,然后在每次写入后使用fsync确保所有数据刷入磁盘。(由于O_DIRECT返回不保证数据完成刷盘,这里需要调用fsync完成刷盘保证)
- O_DIRECT_NO_FSYNC 使用上述的O_DIRECT打开文件,在写入操作后不使用fsync刷入磁盘。这里有一些具体的细节建议直接参考文档文档。 由于没有fsync保证磁盘刷入完成,文档最后也说明了这种方式有可能造成数据丢失。(我觉得这种方式适合在有可靠存储的保障下使用,这时mysql为了增加性能,想尽办法省去了一些fsync)
来源:oschina
链接:https://my.oschina.net/u/3211934/blog/3163267