KV型数据存储引擎Leveldb/lmdb/comdb /rocksdb

瘦欲@ 提交于 2019-12-03 00:13:07

单机存储引擎分类

根据《大规模分布式存储系统:原理解析与架构实战》,有三类单机存储引擎:

哈希存储引擎是哈希表的持久化实现;

B树存储引擎是B树的持久化实现;

LSM树(Log Structure Merge Tree)存储引擎采用批量转储技术来避免磁盘随机写入。

  • comdb(百度内部Mola开发的一个单机存储引擎)和文中的Bitcask存储引擎类似,不过更搓一些,没有对索引文件进行固化,启动速度比较慢(小时级别)。

1 写入过程:对日志进行追加写入,更新内存索引,标记老纪录无效,等待定期rewrite。 
2 读取过程:检索内存,读盘 
3 rewrite 过程:限速读取一个数据分片,顺序读取索引表,写回新文件,切换,删除老文件。

  • lmdb

    利用mmap 直接进行映射,尽量少内存拷贝(可以为只读直接返回引擎中的内存),提高读性能 
    利用tree 方式组织数据,并且和系统虚拟内存页大小一致的页进行文件组织 
    优点:专门进行了读优化 
    缺点:和系统页一样大的组织方式(4k),如果单条record为1k,浪费严重

  • leveldb

利用层表方式组织数据,优化写入速度 优点:为写入优化,并且进行压缩 缺点:写入太频繁,来不及重写磁盘会爆掉(LSM通病)。最坏落盘7次,不可忍受。

  • rocksdb: RocksDB是FaceBook起初作为实验性质开发的一个高效数据库软件,旨在充分实现快存上存储数据的服务能力。RocksDB是一个c++库,可以用来存储keys和values,且keys和values可以是任意的字节流,支持原子的读和写。
标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!