在压缩序列化的Python数据中,最节省空间的方法是什么?

15 浏览
0 Comments

在压缩序列化的Python数据中,最节省空间的方法是什么?

根据Python文档

默认情况下,pickle数据格式使用相对紧凑的二进制表示。如果您需要最佳的大小特性,可以高效地压缩pickled数据。

在一个运行数小时的过程结束时,我将要序列化几十亿字节的数据,并且希望结果在磁盘上尽可能小。然而,Python提供了几种不同的压缩数据的方式

这些方式中是否有一种特别适用于pickled文件的?我要pickle的数据主要包含嵌套字典和字符串,所以如果有一种更高效的方式来压缩例如JSON,那也可以。

压缩和解压缩的时间并不重要,但是生成数据所花费的时间使得试错变得不方便。

0