使用python开发命令行程序的知识点之二

之前写过一个知识点, 链接是  这次补充一些.


================================

global-variables

================================

global 变量是一个模块级别的变量, 在一个方法中, 如果读取这个变量, 不需要额外做global声明, 如果要赋值, 必须做global声明.

http://stackoverflow.com/questions/423379/using-global-variables-in-a-function-other-than-the-one-that-created-them


在多个模块中,如何公用一个全局变量?

参考: http://effbot.org/pyfaq/how-do-i-share-global-variables-across-modules.htm

具体做法是: 将这个变量(比如 applicationName)放到一个类似Config模块中, 在其他模块中,要访问这个变量, 写法是:

import Config #必须是这种import写法
print(Config.applicationName)

================================
Line Continuations
http://docs.python-guide.org/en/latest/writing/style/#returning-multiple-values-from-a-function
================================

相比\拼接, 这个长字符串写法太美了

my_very_big_string = (
"For a long time I used to go to bed early. Sometimes, "
"when I had put out my candle, my eyes would close so quickly "
"that I had not even time to say “I’m going to sleep.”"
)

from some.deep.module.inside.a.module import (
a_nice_function, another_nice_function, yet_another_nice_function)

================================
logging 相关的几点
================================

1.  和logger.error()相比, logger.exception()会打印出traceback

2.  Windows下, 多进程/线程程序如使用标准库 RotatingFileHandler, 在换文件的时候很可能报错WindowsError: [Error 32],  之后的log将写不记录下来. 可以使用ConcurrentLogHandler库中的ConcurrentRotatingFileHandler类,  该库下载地址 http://pypi.python.org/pypi/ConcurrentLogHandler/0.8.4.

    如果要在Windows使用该库, 需要 pywin32 库.

    另外, 0.8.4 版的 cloghandler.py 在 Line 194 行有个bug, 应该在stream.flush()之前, 检查一下stream是否closed.

    if self.stream.closed==False:

        self.stream.flush()

3.  Java 使用 Log4j, 可以在 log4j.properties 配置文件中来控制 log 的输出. Python的 logging 模块也可这样, 示例代码见 http://pypi.python.org/pypi/ConcurrentLogHandler/0.8.4


================================    

Uncaught exception

为程序加上unhandled exception

================================    

#module name:uncaught_exception.py
import sys
import logging
import helper

logger=logging.getLogger(__name__)
helper.caw_logging.configureLogger(logger)

def my_excepthook(type, value, traceback):
msg= 'Uncaught exception: %s, %s'%( type, value)
logger.exception(msg)

sys.excepthook = my_excepthook

在我们的程序中, 只需import uncaught_exception模块, 就能增加一个 uncaught exception handler.

================================    

比如主程序为 application.py, 如何获取这个py的目录名.

方法: 专门弄一个assembly_path.py, 放在和application.py同一个目录下

================================

module name: assembly_path.py
import inspect

def getCurrentFileName():
'''
return the full file name of assembly_path.py
'''
return inspect.getfile(inspect.currentframe())
def getCurrentPath():
'''
return the full path of assembly_path.py
'''
fullFileName=getCurrentFileName()
(dirName, fileName) = os.path.split(fullFileName)
return os.path.normpath(dirName)
def getCurrentPath_2():
return os.path.dirname(os.path.abspath(__file__))


================================    

解析ini文件    

================================

[basic]
#db url, like sqlite:///c://caw.sqlite.db
sqlalchemy.url=mysql://root:root123@localhost/caw

[additional]
job_worker_conn_pool_size=10

下面是一个解析示例, 可以为解析器设置defaults, 每个default config item的value必须是一个字符串.

我原来使用了一个数值, 结果报类型异常, 提示很隐晦, 好久才搞明白应使用字符串.  

#py code

defaultConfigItems={
'job_worker_conn_pool_size':'15'
}

parser = SafeConfigParser(defaults=defaultConfigItems)
parser.read(self.iniFile)
self.sqlalchemy_url=parser.get('basic', 'sqlalchemy.url')
self.job_worker_conn_pool_size=parser.get('additional', 'job_worker_conn_pool_size')

================================    

怎样获取comandline 程序的输出

================================

首先调用launchCmdLine()启动一个进程, 拿到对应的process对象, 然后调用waitResultOfCmdProcess()知道该进程结束, 并获取exit code和output输出和error输出.

def launchCmdLine(*popenargs, **kwargs): 
'''
run command line, return pid, exitcode, output, error message together
'''
#capture cmd output
#For windows, shell should be False, but there is a bug http://bugs.python.org/issue8224, we should set shell=True
#For Linux, shell=True
if isWindows():
shellValue=True
else:
shellValue=True

process = subprocess.Popen(shell=shellValue, stdout=subprocess.PIPE, stderr=subprocess.PIPE, *popenargs, **kwargs)
return process


def waitResultOfCmdProcess(process):
'''
check process result, return exitcode, output, error message together
'''
output, error = process.communicate()
exitcode = process.wait()
return (exitcode, output, error)



================================
使用 apscheduler.scheduler.add_interval_job() 来做轮询操作
================================
apscheduler.scheduler.add_interval_job()会启动另外的线程, 比较适合于频繁启动长任务. 示例:

from apscheduler.scheduler import Scheduler

def scanMisfire():
pass

if __name__=="__main__":
misfireScheduler=Scheduler()
sleep_seconds=120 # 2 minute
misfireScheduler.add_interval_job(scanMisfire, seconds=sleep_seconds)
misfireScheduler.start()

#dead loop to prevent program exiting.
while True:
time.sleep(9999)
misfireScheduler.shutdown()

================================

格式化打印db query结果集

================================

Oracle sqlplus 有格式化输出结果集的功能, 如果我们程序也需要有类似的功能, 可以使用prettytable 和 texttable 包.  当然, 数据不能包含汉字, 否则格式就乱掉. 另外, 如果数据包含回车换行, texttable会好一些.

================================    

Add code in PYTHONPATH temporarily

================================

对于一个多模块的程序, 没有将code放在python的site-packages目录中, 运行程序往往会报加载有问题. 解决方法是将程序代码放到PYTHONPATH环境变量中, 当然也可以写个batch脚本, 临时性地将code加到PYTHONPATH环境变量中


windows下,

SET SAVE=%PYTHONPATH%

SET PYTHONPATH=D://trunk/workspace/proj1/src

C:\pythonenv\python27_flask\Scripts\python.exe D:\trunk\workspace\proj1\src\myapp.py

SET PYTHONPATH=%SAVE%