python编程中常用的12种基础知识总结:正则表达式替换,遍历目录方法,列表按列排序、去重,字典排序,字典、列表、字符串互转,时间对象操作,命令行参数解析(getopt),print 格式化输出,进制转换,Python调用系统命令或者脚本,Python 读写文件。

1、正则表达式替换
目标: 将字符串line中的 overview.gif 替换成其他字符串

  1. >>> line = '<IMG ALIGN="middle" SRC="overview.gif" BORDER="0" ALT="">' 

  2. >>> mo=re.compile(r'(?<=SRC=)"([\w+\.]+)"',re.I)  

  3.  

  4. >>> mo.sub(r'"\1****"',line)  

  5. '<IMG ALIGN="middle" SRC="cdn_overview.gif****" BORDER="0" ALT="">' 

  6.  

  7. >>> mo.sub(r'replace_str_\1',line)  

  8. '<IMG ALIGN="middle" replace_str_overview.gif BORDER="0" ALT="">'< /span> 

  9.  

  10. >>> mo.sub(r'"testetstset"',line)  

  11. '<IMG ALIGN="middle" SRC="testetstset" BORDER="0" ALT="">' 

注意: 其中 \1 是匹配到的数据,可以通过这样的方式直接引用

2、遍历目录方法
在某些时候,我们需要遍历某个目录找出特定的文件列表,可以通过os.walk方法来遍历,非常方便

  1. import os  

  2. fileList = []  

  3. rootdir = "/data" 

  4. for root, subFolders, files in os.walk(rootdir):  

  5. if '.svn' in subFolders: subFolders.remove('.svn')  # 排除特定目录  

  6. for file in files:  

  7.   if file.find(".t2t") != -1:# 查找特定扩展名的文件  

  8.       file_dir_path = os.path.join(root,file)  

  9.       fileList.append(file_dir_path)  

  10.  

  11. print fileList 

3、列表按列排序(list sort)
如果列表的每个元素都是一个元组(tuple),我们要根据元组的某列来排序的化,可参考如下方法

下面例子我们是根据元组的第2列和第3列数据来排序的,而且是倒序(reverse=True)

  1. >>> a = [('2011-03-17''2.26'6429600'0.0'), ('2011-03-16''2.26'12036900'-3.0'), ('2011-03-15''2.33'15615500,'-19.1')]  

  2. >>> print a[0][0]  

  3. 2011-03-17 

  4. >>> b = sorted(a, key=lambda result: result[1],reverse=True)  

  5. >>> print b  

  6. [('2011-03-15''2.33'15615500'-19.1'), ('2011-03-17''2.26'6429600'0.0'), ('2011-03-16''2.26'12036900'-3.0')]  

  7. >>> c = sorted(a, key=lambda result: result[2],reverse=True)  

  8. >>> print c  

  9. [('2011-03-15''2.33'15615500'-19.1'), ('2011-03-16''2.26'12036900'-3.0'), ('2011-03-17''2.26'6429600'0.0')] 

4、列表去重(list uniq)
有时候需要将list中重复的元素删除,就要使用如下方法

  1. >>> lst= [(1,'sss'),(2,'fsdf'),(1,'sss'),(3,'fd')]  

  2. >>> set(lst)  

  3. set([(2'fsdf'), (3'fd'), (1'sss')])  

  4. >>>  

  5. >>> lst = [113445676]  

  6. >>> set(lst)  

  7. set([134567]) 

5、字典排序(dict sort)
一般来说,我们都是根据字典的key来进行排序,但是我们如果想根据字典的value值来排序,就使用如下方法

  1. >>> from operator import itemgetter  

  2. >>> aa = {"a":"1","sss":"2","ffdf":'5',"ffff2":'3'}  

  3. >>> sort_aa = sorted(aa.items(),key=itemgetter(1))  

  4. >>> sort_aa  

  5. [('a''1'), ('sss''2'), ('ffff2''3'), ('ffdf''5')] 

从上面的运行结果看到,按照字典的value值进行排序的

6、字典,列表,字符串互转
以下是生成数据库连接字符串,从字典转换到字符串

  1. >>> params = {"server":"mpilgrim""database":"master""uid":"sa""pwd":"secret"}  

  2. >>> ["%s=%s" % (k, v) for k, v in params.items()]  

  3. ['server=mpilgrim''uid=sa''database=master''pwd=secret']  

  4. >>> ";".join(["%s=%s" % (k, v) for k, v in params.items()])  

  5. 'server=mpilgrim;uid=sa;database=master;pwd=secret' 

下面的例子 是将字符串转化为字典

  1. >>> a = 'server=mpilgrim;uid=sa;database=master;pwd=secret' 

  2. >>> aa = {}  

  3. >>> for i in a.split(';'):aa[i.split('=',1)[0]] = i.split('=',1)[1]  

  4. ...   

  5. >>> aa  

  6. {'pwd''secret''database''master''uid''sa''server''mpilgrim'

7、时间对象操作

  1. 将时间对象转换成字符串     

  2. >>> import datetime  

  3. >>> datetime.datetime.now().strftime("%Y-%m-%d %H:%M")  

  4.   '2011-01-20 14:05' 

  5.  

  6. 时间大小比较     

  7. >>> import time  

  8. >>> t1 = time.strptime('2011-01-20 14:05',"%Y-%m-%d %H:%M")  

  9. >>> t2 = time.strptime('2011-01-20 16:05',"%Y-%m-%d %H:%M")  

  10. >>> t1 > t2  

  11.   False 

  12. >>> t1 < t2  

  13.   True 

  14.  

  15. 时间差值计算,计算8小时前的时间     

  16. >>> datetime.datetime.now().strftime("%Y-%m-%d %H:%M")  

  17.   '2011-01-20 15:02' 

  18. >>> (datetime.datetime.now() - datetime.timedelta(hours=8)).strftime("%Y-%m-%d %H:%M")  

  19.   '2011-01-20 07:03' 

  20.  

  21. 将字符串转换成时间对象     

  22. >>> endtime=datetime.datetime.strptime('20100701',"%Y%m%d")  

  23. >>> type(endtime)  

  24.   <type 'datetime.datetime'>  

  25. >>> print endtime  

  26.   2010-07-01 00:00:00 

  27.  

  28. 将从 1970-01-01 00:00:00 UTC 到现在的秒数,格式化输出   

  29.  

  30. >>> import time  

  31. >>> a = 1302153828 

  32. >>> time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(a))  

  33.   '2011-04-07 13:23:48' 

8、命令行参数解析(getopt)
通常在编写一些日运维脚本时,需要根据不同的条件,输入不同的命令行选项来实现不同的功能
在Python中提供了getopt模块很好的实现了命令行参数的解析,下面距离说明。请看如下程序:

  1. #!/usr/bin/env python  

  2. # -*- coding: utf-8 -*-  

  3. import sys,os,getopt  

  4. def usage():  

  5. print '''''  

  6. Usage: analyse_stock.py [options...]  

  7. Options:   

  8. -e : Exchange Name   

  9. -c : User-Defined Category Name  

  10. -f : Read stock info from file and save to db  

  11. -d : delete from db by stock code  

  12. -n : stock name  

  13. -s : stock code  

  14. -h : this help info  

  15. test.py -s haha -n "HA Ha"   

  16. ''' 

  17.  

  18. try:  

  19. opts, args = getopt.getopt(sys.argv[1:],'he:c:f:d:n:s:')  

  20. except getopt.GetoptError:  

  21. usage()  

  22. sys.exit()  

  23. if len(opts) == 0:  

  24. usage()  

  25. sys.exit()  

  26.  

  27. for opt, arg in opts:   

  28. if opt in ('-h''--help'):  

  29.   usage()  

  30.   sys.exit()  

  31. elif opt == '-d':  

  32.   print "del stock %s" % arg  

  33. elif opt == '-f':  

  34.   print "read file %s" % arg  

  35. elif opt == '-c':  

  36.   print "user-defined %s " % arg  

  37. elif opt == '-e':  

  38.   print "Exchange Name %s" % arg  

  39. elif opt == '-s':  

  40.   print "Stock code %s" % arg  

  41. elif opt == '-n':  

  42.   print "Stock name %s" % arg  

  43.  

  44. sys.exit()  

9、print 格式化输出
9.1、格式化输出字符串

  1. 截取字符串输出,下面例子将只输出字符串的前3个字母     

  2. >>> str="abcdefg" 

  3. >>> print "%.3s" % str  

  4.   abc  

  5. 按固定宽度输出,不足使用空格补全,下面例子输出宽度为10     

  6. >>> str="abcdefg" 

  7. >>> print "%10s" % str  

  8.      abcdefg  

  9. 截取字符串,按照固定宽度输出     

  10. >>> str="abcdefg" 

  11. >>> print "%10.3s" % str  

  12.          abc  

  13. 浮点类型数据位数保留     

  14. >>> import fpformat  

  15. >>> a= 0.0030000000005 

  16. >>> b=fpformat.fix(a,6)  

  17. >>> print b  

  18.   0.003000 

  19. 对浮点数四舍五入,主要使用到round函数     

  20. >>> from decimal import *  

  21. >>> a ="2.26" 

  22. >>> b ="2.29" 

  23. >>> c = Decimal(a) - Decimal(b)  

  24. >>> print c  

  25.   -0.03 

  26. >>> c / Decimal(a) * 100 

  27.   Decimal('-1.327433628318584070796460177')  

  28. >>> Decimal(str(round(c / Decimal(a) * 1002)))  

  29.   Decimal('-1.33'

9.2、进制转换
有些时候需要作不同进制转换,可以参考下面的例子(%x 十六进制,%d 十进制,%o 八进制)

  1. >>> num = 10 

  2. >>> print "Hex = %x,Dec = %d,Oct = %o" %(num,num,num)  

  3.   Hex = a,Dec = 10,Oct = 12 

10、Python调用系统命令或者脚本

  1. 使用 os.system() 调用系统命令 , 程序中无法获得到输出和返回值     

  2. >>> import os  

  3. >>> os.system('ls -l /proc/cpuinfo')  

  4. >>> os.system("ls -l /proc/cpuinfo")  

  5.   -r--r--r-- 1 root root 0  3月 29 16:53 /proc/cpuinfo  

  6.   0 

  7.  

  8. 使用 os.popen() 调用系统命令, 程序中可以获得命令输出,但是不能得到执行的返回值    

  9. >>> out = os.popen("ls -l /proc/cpuinfo")  

  10. >>> print out.read()  

  11.   -r--r--r-- 1 root root 0  3月 29 16:59 /proc/cpuinfo  

  12.  

  13. 使用 commands.getstatusoutput() 调用系统命令, 程序中可以获得命令输出和执行的返回值     

  14. >>> import commands  

  15. >>> commands.getstatusoutput('ls /bin/ls')  

  16.   (0'/bin/ls'

11、Python 捕获用户 Ctrl+C ,Ctrl+D 事件
有些时候,需要在程序中捕获用户键盘事件,比如ctrl+c退出,这样可以更好的安全退出程序

  1. try:   

  2.     do_some_func()  

  3. except KeyboardInterrupt:  

  4.     print "User Press Ctrl+C,Exit" 

  5. except EOFError:  

  6.     print "User Press Ctrl+D,Exit" 

12、Python 读写文件

  1. 一次性读入文件到列表,速度较快,适用文件比较小的情况下     

  2. track_file = "track_stock.conf"   

  3. fd = open(track_file)  

  4. content_list = fd.readlines()  

  5. fd.close()  

  6. for line in content_list:  

  7.     print line  

  8.  

  9. 逐行读入,速度较慢,适用没有足够内存读取整个文件(文件太大)     

  10. fd = open(file_path)  

  11. fd.seek(0)  

  12. title = fd.readline()  

  13. keyword = fd.readline()  

  14. uuid = fd.readline()  

  15. fd.close()  

  16.  

  17. 写文件 write 与 writelines 的区别   

  18.  

  19. Fd.write(str) : 把str写到文件中,write()并不会在str后加上一个换行符   

  20. Fd.writelines(content) : 把content的内容全部写到文件中,原样写入,不会在每行后面加上任何东西