Pickle替代方案
10 浏览
Pickle替代方案
我正在尝试将一个大型列表（约有10**6行，每行有约20个值）进行序列化，以便以后我自己使用（所以pickle的安全性不是问题）。
列表的每一行都是一组值的元组，这些值来自某个SQL数据库。到目前为止，我已经看到了datetime.datetime、字符串、整数和NoneType，但我可能最终需要支持其他数据类型。
对于序列化，我考虑了pickle（cPickle）、json和纯文本 - 但只有pickle保存了类型信息：json无法序列化datetime.datetime，而纯文本有明显的缺点。
然而，对于这么大的数据，cPickle的速度相当慢，我正在寻找一个更快的替代方法。