以往使用twsited服务器记录log使用的都是按照大小对日志切分，而现在有一个服务需要对log按照天进行切分，于是研究了一下twisted的日志记录方式，最后终于搞定。这里将分析过程记录下，以帮助后面有同样问题的人。
一 twisted日志记录简介
Twisted通过twisted.python.log 提供了msg, err和startLogging三个函数来进行日志记录，其中startLogging用来打开文件对象来开始日志，msg用来记录信息，err用来记录错误信息。通过twisted.python.logfile提供了BaseLogFile、LogFile和DailyLogFile三个类来同startLogging协同工作。
如果使用twisted来启动程序，twisted会自动的使用LogFile来启动startLogging进行日志记录和切割。后面我们的分析都是基于使用twisted来启动程序在后台运行这一条件。
二 按天切分初步探索
（一） 使用twisted.python.log
正如前面的介绍，我们可以自主使用startLogging来启动日志记录将其记录到指定的文件中。然后以一定的周期来判断是否进入到了新的一天，如果是的话，则主动的进行日志的切分。
该方法需自主进行切分判断、主动切换日志，这显然不是最好的选择了。
（二） 使用twisted.python.logfile的DailyLogFile
使用DailyLogFile后，切分的判断与日志的切分都由twisted进行，不需要我们做额外的工作，使用起来比较方便，相对于第一种方法无疑是巨大的进步。但是该方法存在的问题是DailyLog与twisted主动托管的log会同时进行记录，同时如果之前代码已经完工，这里需要对代码进行大量的修改才能够满足要求，因此该方法只能算是下策。
import twisted.python.logfile
f = logfile.DailyLogFile("dailylog", "/log")
log.startLogging(f)
三 按天切分分析
前面的两种方法都不符合我的要求，这样我只能另觅他路了。让我们先来看看使用twisted启动程序时程序的启动过程。
程序启动后通过twisted.scripts.twisted.run()函数开始执行，该函数最终执行到_SomeApplicationRunner(config).run()。其中config为程序启动时的传入参数解析后的结果，_SomeApplicationRunner为不同操作系统下twisted启动时使用的Runner，在linux下为UnixApplicationRunner， Windows下为WindowsApplicationRunner。 那么在linux下，
_SomeApplicationRunner(config).run()可以理解为，首先实例化一个UnixApplicationRunner对象，然后执行该对象的run方法。在UnixApplicationRunner(该类继承至application.app.ApplicationRunner)的初始化函数中有这么一句话:
self.logger = self.loggerFactory(config) (loggerFactory为类的静态对象)
这说明self.loggerFactory决定了日志的实际处理方法，在unix下loggerFactory也就是UnixAppLogger（该类继承至application.app.AppLogger）。UnixAppLogger的_getLogObserver方法里我们可以看到这么一句话logFile = logfile.LogFile.fromFullPath(self._logfilename)，而正是由于这句话，twisted默认采用的才是按大小切分日志。
如果说我们不在乎其他应用程序，那么我们直接修改Twisted源码中的这句话为:logFile = logfile.DailyLogFile.fromFullPath(self._logfilename) 即可达到按天切分日志的要求。但不幸的是我们往往不能也不应该直接修改其源码，所以我们还要继续努力来寻找解决方法。
（一）重写loggerFactory
我们新编写一个继承自_twistd_unix.UnixAppLogger的类，然后重写其_getLogObserver, 最后更新UnixApplicationRunner.loggerFactory为新类。从表面上来看该方法是完美的，即不用修改twisted源码，也不用修改我们的代码就能实现按天切分日志。但不幸的是该方法最终并不能奏效。因为从twisted启动的那一刻开始，UnixApplicationRunner就已经实例化并实例化了其loggerFactory，而此时连程序都尚未开始加载，所以loggerFactor修改也无法进行。
（二） 设置ILogObserver
通过twistd.application.AppLogger的start函数可以发现，其会先尝试从application从获取ILogObserver, 如果不存在的话才调用self._getLogObserver来新建一个observer。 这也就是说我们可以在程序中手工设置application的ILogObserver来实现按天切分日志。
from twisted.python.log import ILogObserver, FileLogObserver
from twisted.application import internet, service
from twisted.python import logfile
_logfilename = 'dailylog_test.log'
_logfile = logfile.DailyLogFile.fromFullPath(_logfilename)
application.setComponent(ILogObserver, FileLogObserver(_logfile).emit)
application = service.Application('DailylogTest')
DailylogTestService = internet.TCPServer(12345, DailylogTestFactory())
DailylogTestService .setServiceParent(application)
经验证，通过该方法的确能够达到不修改程序和twisted的源码而进行按天切分日志，但该方法的问题是日志文件名是在程序中指定的，没有如以前一样通过命令行指定日志名。因此该方法只能算是中策。
（三） 使用serveroption设置ILogObserver
我们只需要将方法二中的log文件名改为解析得到的log日志名即可使用参数来指定日志名。不过由于twsited并未提供任何变量来存储解析参数，所以我们需要自己对参数进行解析。另外方法二中直接使用DailyLogFile来代替了twisted默认的observer，这当中忽略了写日志时应考虑的其他一些因素，在某些时候可能会出现问题。因此我们需模拟UnixApplicationRunner.loggerFactory来提observer。
import sys, os
from twisted.application import app
from twisted.python import logfile, log, syslog
from twisted.scripts import _twistd_unix
from twisted.python.log import ILogObserver, FileLogObserver
class MyAppLogger(_twistd_unix.UnixAppLogger):
def getLogObserver(self):
if self._syslog:
return syslog.SyslogObserver(self._syslogPrefix).emit
if self._logfilename == '-':
if not self._nodaemon:
sys.exit('Daemons cannot log to stdout, exiting!')
logFile = sys.stdout
elif self._nodaemon and not self._logfilename:
logFile = sys.stdout
else:
if not self._logfilename:
self._logfilename = 'twistd.log'
logFile = logfile.DailyLogFile.fromFullPath(self._logfilename)
try:
import signal
except ImportError:
pass
else:
if not signal.getsignal(signal.SIGUSR1):
def rotateLog(signal, frame):
from twisted.internet import reactor
reactor.callFromThread(logFile.rotate)
signal.signal(signal.SIGUSR1, rotateLog)
return log.FileLogObserver(logFile).emit
class MyServerOptions(_twistd_unix.ServerOptions):
def parseOptions(self, options=None):
if options is None:
options = sys.argv[1:] or ["--help"]
try:
opts, args = getopt.getopt(options,
self.shortOpt, self.longOpt)
except getopt.error, e:
raise UsageError(str(e))
for opt, arg in opts:
if opt[1] == '-':
opt = opt[2:]
else:
opt = opt[1:]
optMangled = opt
if optMangled not in self.synonyms:
optMangled = opt.replace("-", "_")
if optMangled not in self.synonyms:
raise UsageError("No such option '%s'" % (opt,))
optMangled = self.synonyms[optMangled]
if isinstance(self._dispatch[optMangled], usage.CoerceParameter):
self._dispatch[optMangled].dispatch(optMangled, arg)
else:
if optMangled != 'reactor':
self._dispatch[optMangled](optMangled, arg)
if (getattr(self, 'subCommands', None)
and (args or self.defaultSubCommand is not None)):
if not args:
args = [self.defaultSubCommand]
sub, rest = args[0], args[1:]
for (cmd, short, parser, doc) in self.subCommands:
if sub == cmd or sub == short:
self.subCommand = cmd
self.subOptions = parser()
self.subOptions.parent = self
self.subOptions.parseOptions(rest)
break
else:
raise UsageError("Unknown command: %s" % sub)
else:
try:
self.parseArgs(*args)
except TypeError:
raise UsageError("Wrong number of arguments.")
self.postOptions()
def install_dailylog(application):
Myconfig = MyServerOptions()
Myconfig.parseOptions()
application.setComponent(ILogObserver, MyAppLogger(Myconfig).getLogObserver())
四 结束语
本文就twisted下如何进行按天的日志切分进行了探讨，通过分析twisted的日志记录机制、程序启动方式最终给出了一个比较好的实现方案，并将该方案封装为一个函数，以\方便大家的使用。
