Python 中使用 pickle 持久化对象
2010-05-26
Python 中可以使用 pickle
模块将对象转化为文件保存在磁盘上,在需要的时候再读取并还原。具体用法如下:
pickle.dump(obj, file[, protocol])
这是将对象持久化的方法,参数的含义分别为:
obj
要持久化保存的对象file
一个拥有write()
方法的对象,并且这个write()
方法能接收一个字符串作为参数。这个对象可以是一个以写模式打开的文件对象或者一个StringIO
对象,或者其他自定义的满足条件的对象。protocol
这是一个可选的参数,默认为 0 ,如果设置为 1 或 True,则以高压缩的二进制格式保存持久化后的对象,否则以 ASCII 格式保存。
对象被持久化后怎么还原呢?pickle 模块也提供了相应的方法,如下:
pickle.load(file)
只有一个参数 file
,对应于上面 dump
方法中的 file
参数。这个 file
必须是一个拥有一个能接收一个整数为参数的 read()
方法以及一个不接收任何参数的 readline()
方法,并且这两个方法的返回值都应该是字符串。这可以是一个打开为读的文件对象、StringIO
对象或其他任何满足条件的对象。
下面是一个基本的用例:
# -*- coding: utf-8 -*-
import pickle
# 也可以这样:
# import cPickle as pickle
obj = {"a": 1, "b": 2, "c": 3}
# 将 obj 持久化保存到文件 tmp.txt 中
pickle.dump(obj, open("tmp.txt", "w"))
# do something else ...
# 从 tmp.txt 中读取并恢复 obj 对象
obj2 = pickle.load(open("tmp.txt", "r"))
print obj2
不过实际应用中,我们可能还会有一些改进,比如用 cPickle 来代替 pickle ,前者是后者的一个 C 语言实现版本,拥有更快的速度,另外,有时在 dump 时也会将第三个参数设为 True 以提高压缩比。再来看下面的例子:
# -*- coding: utf-8 -*-
import cPickle as pickle
import random
import os
import time
LENGTH = 1024 * 10240
def main():
d = {}
a = []
for i in range(LENGTH):
a.append(random.randint(0, 255))
d["a"] = a # 生成一个对象
print "dumping..."
t1 = time.time()
pickle.dump(d, open("tmp1.dat", "wb"), True)
print "dump1: %.3fs" % (time.time() - t1)
t1 = time.time()
pickle.dump(d, open("tmp2.dat", "w"))
print "dump2: %.3fs" % (time.time() - t1)
s1 = os.stat("tmp1.dat").st_size
s2 = os.stat("tmp2.dat").st_size
print "%d, %d, %.2f%%" % (s1, s2, 100.0 * s1 / s2)
print "loading..."
t1 = time.time()
obj1 = pickle.load(open("tmp1.dat", "rb"))
print "load1: %.3fs" % (time.time() - t1)
t1 = time.time()
obj2 = pickle.load(open("tmp2.dat", "r"))
print "load2: %.3fs" % (time.time() - t1)
if __name__ == "__main__":
main()
在我的电脑上执行结果为:
dumping...
dump1: 1.297s
dump2: 4.750s
20992503, 68894198, 30.47%
loading...
load1: 2.797s
load2: 10.125s
可以看到,dump 时如果指定了 protocol
为 True,压缩过后的文件的大小只有原来的文件的 30% ,同时无论在 dump 时还是 load 时所耗费的时间都比原来少。因此,一般来说,可以建议把这个值设为 True 。
另外,pickle 模块还提供 dumps
和 loads
两个方法,用法与上面的 dump
和 load
方法类似,只是不需要输入 file
参数,输入及输出都是字符串对象,有些场景中使用这两个方法可能更为方便。
发表评论:
电子邮件地址不会被公开。必填项已用 * 标注。
评论:
cPickle效率要高很多不过根据我自己的测试,simplejson的效率比cPickle还要高,所以体积无关的情况下我一般用simplejson可读性要好很多
我倒还没用过simplejson,多谢推荐,下次我也试试。:-)
是啊,体积的确是个尴尬的问题,线上的虚机经常因为json的日志报警,好纠结~
用 json.dumps(obj, ensure_ascii=0) 会比较快且省空间。
cjson.encode(obj) 更快但是没 ensure_ascii=0 参数
要压缩以节省空间的话可以用
json.dump(obj, gzip.open(fp, 'a'))
或压缩率更高的
json.dump(obj, lzma.LZMAFile(fp, 'w'))
谢谢!
为了对付这个 www.pythonchallenge.com/pc/def/peak.html我找到了这里
@skip 握爪