单机存储引擎分类
根据《大规模分布式存储系统:原理解析与架构实战》,有三类单机存储引擎:
哈希存储引擎是哈希表的持久化实现;
B树存储引擎是B树的持久化实现;
LSM树(Log Structure Merge Tree)存储引擎采用批量转储技术来避免磁盘随机写入。
- comdb(百度内部Mola开发的一个单机存储引擎)和文中的Bitcask存储引擎类似,不过更搓一些,没有对索引文件进行固化,启动速度比较慢(小时级别)。
1 写入过程:对日志进行追加写入,更新内存索引,标记老纪录无效,等待定期rewrite。
2 读取过程:检索内存,读盘
3 rewrite 过程:限速读取一个数据分片,顺序读取索引表,写回新文件,切换,删除老文件。
-
lmdb
利用mmap 直接进行映射,尽量少内存拷贝(可以为只读直接返回引擎中的内存),提高读性能
利用tree 方式组织数据,并且和系统虚拟内存页大小一致的页进行文件组织
优点:专门进行了读优化
缺点:和系统页一样大的组织方式(4k),如果单条record为1k,浪费严重 -
leveldb
利用层表方式组织数据,优化写入速度 优点:为写入优化,并且进行压缩 缺点:写入太频繁,来不及重写磁盘会爆掉(LSM通病)。最坏落盘7次,不可忍受。
- rocksdb: RocksDB是FaceBook起初作为实验性质开发的一个高效数据库软件,旨在充分实现快存上存储数据的服务能力。RocksDB是一个c++库,可以用来存储keys和values,且keys和values可以是任意的字节流,支持原子的读和写。
来源:oschina
链接:https://my.oschina.net/u/347414/blog/2999274