【python】利用h5py存储数据
两类容器:group & dataset group类似文件夹,字典。 dataset是数据集,类似数组 支持更多的对外透明的存储特征,数据压缩,误差检测,分块传输 group下面可以是group,也可以是dataset 只能储存纯粹的数据,不能储存DataFrame, Panel等东西,如果要用使用 to_hdf import h5py 读: f = h5py.File(file, mode='r') f.keys() dset = f['mydataset'] 写: f = h5py.File(file, mode='w') dset = f.create_dataset(name, dataOrSize, dtype, ) 可选项: chunks: True自动分块, 如果手动分块则输入元组 可以对数据块设置attrs dset.attrs['abc'] = 1 高级特性: 滤波器组?加入参数compression = 'gzip' hdf5文件本身大小没有限制 一个dataSet最多32维, 每个维最多2^64个值 一个chunk最大4G, 来源: https://www.cnblogs.com/yesuuu/p/6530367.html