压缩HDF5文件而不使用HDF5压缩过滤器

5 浏览
0 Comments

压缩HDF5文件而不使用HDF5压缩过滤器

在不应用任何HDF5压缩过滤器的情况下,通常使用哪些压缩算法来压缩HDF5文件?

我的HDF5文件是用Python 3.8的h5py创建的,包含了32位浮点数的N维numpy数组,取值范围在-1.0到1.0之间,形状类似于(1000000,10,200)。数据以随机模式读取为(1,10,200)的数组。对HDF5数据集进行分块似乎会显著降低非连续/随机的读取/选择速度,因此禁用了分块,这也阻止了使用HDF5压缩过滤器的使用。

0