python 解压缩

一 python压缩解压libs

zlib:infozip免费的压缩lib。
bzip2:读写bz压缩文件，与bzip2和bunzip2压缩程序兼容。
gzip: 读写gz压缩文件，与GNU压缩程序gzip和gunzip兼容。
zipfile:读写zip压缩文件，与zip,unzip,pkzip,pkunzip,winzip等程序兼容。
tar:读写tar包文件。7z等程序可以大包和解包tar。

二：压缩zip文件并写入日志

import os
import zipfile


filename='c:/Temp.zip'
curdir="C:/Temp/"
os.chdir(curdir)

#Create the zip file
tFile = zipfile.ZipFile(filename, 'w')

#Write directory contents to the zip file
files = os.listdir(curdir)
for f in files:
    tFile.write(f)

#List archived files
for f in tFile.namelist():
    print ("Added %s" % f)

#close the zip file
tFile.close()

#whether the file is zip file
print(zipfile.is_zipfile(filename))

#list all file in the zip file
tFile = zipfile.ZipFile(filename, 'r')
for file in tFile.namelist():
    print(file)

#List info for archived file
tinfo=tFile.getinfo("test.log")
print(tinfo.comment)
print(tinfo.compress_size)
print(tinfo.date_time)
print(tinfo.file_size)
print(tinfo.compress_type)
print(tinfo.filename)

#Read zipped file into a buffer
buffer = tFile.read("test.log")
print (buffer)

#close the zip file
tFile.close()

 三：zip的目录压缩与解压

#coding=utf-8
#甄码农python代码
#使用zipfile做目录压缩，解压缩功能

import os,os.path
import zipfile

def zip_dir(dirname,zipfilename):
    filelist = []
    if os.path.isfile(dirname):
        filelist.append(dirname)
    else :
        for root, dirs, files in os.walk(dirname):
            for name in files:
                filelist.append(os.path.join(root, name))
        
    zf = zipfile.ZipFile(zipfilename, "w", zipfile.zlib.DEFLATED)
    for tar in filelist:
        arcname = tar[len(dirname):]
        #print arcname
        zf.write(tar,arcname)
    zf.close()


def unzip_file(zipfilename, unziptodir):
    if not os.path.exists(unziptodir): os.mkdir(unziptodir, 0777)
    zfobj = zipfile.ZipFile(zipfilename)
    for name in zfobj.namelist():
        name = name.replace('\\','/')
       
        if name.endswith('/'):
            os.mkdir(os.path.join(unziptodir, name))
        else:            
            ext_filename = os.path.join(unziptodir, name)
            ext_dir= os.path.dirname(ext_filename)
            if not os.path.exists(ext_dir) : os.mkdir(ext_dir,0777)
            outfile = open(ext_filename, 'wb')
            outfile.write(zfobj.read(name))
            outfile.close()

if __name__ == '__main__':
    zip_dir(r'c:/bbb',r'c:/aaa.zip')
    unzip_file(r'c:/aaa.zip',r'c:/bbb')

 四：gz文件压缩

import gzip

g = gzip.GzipFile(filename="", mode='wb', compresslevel=9, fileobj=open(r'c:\test.log.gz','wb'))
g.write(open(r'c:\Temp.zip').read())
g.close()

 五：gz 解压

import gzip

g = gzip.GzipFile(fileobj=open(r'c:\test.log.gz','rb'))
open(r'c:\Temp.zip','wb').write(g.read())

 注：

filename ：为生成的压缩文件 r:\test.log.gz 内包含的文件的名称。如果为空这代表随压缩文件名称变化而变化。
fileobj :生成的压缩文件对象。
g.write(open(r’r:\test.log’).read())：打开被压缩的文件并写入压缩文件。

 官方help

zlib模块支持提供的数据压缩，兼容GNU压缩程序gzip。此外，gzip模块提供 GzipFile类读写gzip格式文件，自动压缩或解压缩数据，因此类似一个普通文件对象。注意，其他可以被gzip和gunzip解压缩的文件格式， 如由compress和pack产生的压缩文件，不被这个模块支持。
模块定义了如下条例：
class GzipFile([filename[, mode[, compresslevel[, fileobj]]]])
构造GzipFile类，类似大部分文件对象方法，有readinto（）和trancate（）方法异常，至少fileobj和filename必须为一个non-trivial的值。
基于fileobj产生的新类实例可以产生一个规则文件，一个StringIO对象，或任何类似文件的对象。默认是None，此处filename是产生一个文件对象。
当fileobj是None，filename只能使用包含压缩文件的原始文件的gzip文件头，默认fileobj文件是可识别的，其他，必须默认为空文本，同时原始文件名不比包含文件头。
mode可以为’r’,’rb’,’a’,’ab’,’w’或‘wb’，依赖文件是否被读或被写。默认可识别的fileobj模式：其他情况下默认是‘rb’，如果没有设定，‘b’标志将被添加到模式保证文件打开二进制模式交叉平台兼容。
压缩级别参数是一个从1到9的整数，控制压缩级别。1最快，最小压缩，9最慢，最大压缩，默认为9。
调用GzipFile对象close()方法不会关闭fileobj，由于你可能在压缩数据后添加更多材料。支持传递一个打开的StringIO对象作为fileobj，获取内存缓冲区结果使用StringIO对象的getvalue()方法。
open(filename[, mode[, compresslevel]])
GzipFile的速记方法（filename,mode,compresslevel），参数filename需要，mode默认为’rb’,压缩级别默认为9

 六：tar.gz文件压缩

import os

import tarfile

tar = tarfile.open("c:Temp.zip.tar.gz","w:gz")
for root,dir,files in os.walk("c:aaa"):
    for file in files:
        fullpath = os.path.join(root,file)
        tar.add(fullpath)  #这样会把文件及目录也打包

       #tar.add(fullpath,arcname=file)   #这样只会把文件把到包中
tar.close()

 七：tar.gz文件解压

import os

import tarfile

tar = tarfile.open("c:Temp.zip.tar.gz")
names = tar.getnames()
 
for name in names:
       tar.extract(name,path="c:bbb")
 
tar.close()

 注：

在打包的过程中可以设置压缩规则,如想要以gz压缩的格式打包
tar=tarfile.open('/path/to/your.tar.gz','w:gz')
其他格式如下表：
tarfile.open的mode有很多种：
mode action
'r' or 'r:*' Open for reading with transparent compression (recommended).
'r:' Open for reading exclusively without compression.
'r:gz' Open for reading with gzip compression.
'r:bz2' Open for reading with bzip2 compression.
'a' or 'a:' Open for appending with no compression. The file is created if it does not exist.
'w' or 'w:' Open for uncompressed writing.
'w:gz' Open for gzip compressed writing.
'w:bz2' Open for bzip2 compressed writing.

 八：使用md5为文件加密码生成tgz文件

import os
import shutil
import tarfile 
import time
from hashlib import md5
import logging   
import logging.config 

logging.config.fileConfig("logging.conf")
logger = logging.getLogger("tar")

def mv_source_file_to_temp(files,source_dir,temp_dir):
    for i in files:
        changeFilePath=os.path.join(source_dir,i);
        print changeFilePath
        shutil.move(changeFilePath,temp_dir); 

def tar_temp_file_to_objective(temp_dir,objective_temp_dir):
    filename=objective_temp_dir+'StatisticData_'+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'_snp.tgz'
    tar = tarfile.open(filename,"w:gz")   
    for root,dir,files in os.walk(temp_dir):  
        global filelist ;
        filelist=files; 
        for file in files:   
            fullpath = os.path.join(root,file) 
            tar.add(fullpath,arcname='upload/'+file) #生成的tgz文件在upload目录下
            os.remove(os.path.join(temp_dir,file));  
    tar.close()
    return filename; 

def md5_file(name):
    m = md5()
    a_file = open(name, 'rb')
    m.update(a_file.read())
    a_file.close()
    return m.hexdigest()     


if __name__ == '__main__':
    source_dir='D:tmp/';          #源目录
    temp_dir='D:tar/temp/';       #源临时目录   
    objective_dir='D:';           #目标目录
    objective_temp_dir='D:tar/tar/temp/';   #tar文件临时目录
    file_group_size=10;           #每个tgz中的文件个数
    not_dispose_file_size=70;     #源目录个数小于时不处理
    if(not os.path.isdir(source_dir)):
        logger.error('source not filed');
        exit();
    elif(not os.path.isdir(temp_dir)):
        os.makedirs(temp_dir)
    elif(not os.path.isdir(objective_dir)):
        os.makedirs(objective_dir)
    elif(not os.path.isdir(objective_temp_dir)):
        os.makedirs(objective_temp_dir)
    elif(sum([len(files) for root,dirs,files in os.walk(source_dir)])<=not_dispose_file_size):
        logger.info('Don\'t deal with: log size '+str(sum([len(files) for root,dirs,files in os.walk(source_dir)]))); 
        exit();
    files=os.listdir(source_dir) ;
    file_group=[files[i:i+file_group_size] for i in xrange(0,len(files),file_group_size)];
    for f in file_group:
        mv_source_file_to_temp(f,source_dir,temp_dir);
        filename=tar_temp_file_to_objective(temp_dir,objective_temp_dir);
        md5_code=md5_file(filename);
        file_name=os.path.basename(filename).replace('snp', md5_code);
        logger.info(str(filelist)+' in '+file_name) ;
        shutil.move(filename, os.path.join(objective_dir, file_name ));

 日志配置文件

[loggers]
keys=root,simpleExample

[handlers]
keys=consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=

 解压

from hashlib import md5
import os
import re
import tarfile 
import logging   
import logging.config  

def md5_file(name):
    m = md5()
    a_file = open(name, 'rb')
    m.update(a_file.read())
    a_file.close()
    return m.hexdigest()
def nu_tar(source_file,Objective_dir):
	tar = tarfile.open(source_file)
	names = tar.getnames() 
	for name in names: 
		tar.extract(name,path=Objective_dir)
	tar.close() 
	
if __name__ == '__main__':
    tar_source='D:';
    file_Objective='D:';
    file_name_regular='tgz$';
    if(not os.path.isdir(tar_source)):
        logger.error('source not filed');
        exit();
    elif(not os.path.isdir(file_Objective)):
        os.makedirs(file_Objective)
    files=os.listdir(tar_source) ;
    file_list=[];
    [(re.search(file_name_regular,file) and file_list.append(file) or '') for file in files];
    for file_name in file_list:
    	md5code=md5_file(tar_source+file_name);
    	file_md5=file_name.split('_')[2];
    	if(re.search(md5code,file_md5)):
    		nu_tar(tar_source+file_name,file_Objective);