LMDB的全称是Lightning Memory-Mapped Database(快如闪电的内存映射数据库),它的文件结构简单,包含一个数据文件和一个锁文件:
LMDB文件可以同时由多个进程打开,具有极高的数据存取速度,访问简单,不需要运行单独的数据库管理进程,只要在访问数据的代码里引用LMDB库,访问时给文件路径即可。
让系统访问大量小文件的开销很大,而LMDB使用内存映射的方式访问文件,使得文件内寻址的开销非常小,使用指针运算就能实现。数据库单文件还能减少数据集复制/传输过程的开销。
在python中使用lmdb: linux中,可以使用指令‘pip install lmdb’ 安装lmdb包。
1. 生成一个空的lmdb数据库文件
- import
- "./train",map_size=1099511627776
2. LMDB数据的添加、修改、删除
- import
- "./train"1099511627776
- True
- '1''aaa'
- '2''bbb'
- '3''ccc'
- '1'
- '3''ddd'
3. 查询lmdb数据库内容
- import
- "./train"
- True
- ############################################添加、修改、删除数据
- '1''aaa'
- '2''bbb'
- '3''ccc'
- '1'
- '3''ddd'
- ############################################查询lmdb数据
- print2
- forin
- ############################################
4. 读取已有.mdb文件内容
- import
- 'trainC'
- print200
- forin#遍历
文章来源: Python读写LMDB文件