使用Python实现一个简单的项目监控

转载

mb5fd86853067b7 2017-01-23 14:00:00

文章标签 Python mysql 发送邮件 sql python 文章分类 代码人生

在公司里做的一个接口系统，主要是对接第三方的系统接口，所以，这个系统里会和很多其他公司的项目交互。随之而来一个很蛋疼的问题，这么多公司的接口，不同公司接口的稳定性差别很大，访问量大的时候，有的不怎么行的接口就各种出错了。

这个接口系统刚刚开发不久，整个系统中，处于比较边缘的位置，不像其他项目，有日志库，还有短信告警，一旦出问题，很多情况下都是用户反馈回来，所以，我的想法是，拿起python，为这个项目写一个监控。如果在调用某个第三方接口的过程中，大量出错了，说明这个接口有有问题了，就可以更快的采取措施。

项目的也是有日志库的，所有的info，error日志都是每隔一分钟扫描入库，日志库是用的mysql，表里有几个特别重要的字段：

level 日志级别
message 日志内容
file_name Java代码文件
log_time 日志时间

有日志库，就不用自己去线上环境扫日志分析了，直接从日志库入手。由于日志库在线上时每隔1分钟扫，那我就去日志库每隔2分钟扫一次，如果扫到有一定数量的error日志就报警，如果只有一两条错误就可以无视了，也就是短时间爆发大量错误日志，就可以断定系统有问题了。报警方式就用发送邮件，所以，需要做下面几件事情：

1. 操作MySql。

2. 发送邮件。

3. 定时任务。

4. 日志。

5. 运行脚本。

明确了以上几件事情，就可以动手了。

操作数据库

使用MySQLdb这个驱动，直接操作数据库，主要就是查询操作。

获取数据库的连接：

1 2 3 4 5 6 7 8	`def` `get_con():` `host` `=` `"127.0.0.1"` `port` `=` `3306` `logsdb` `=` `"logsdb"` `user` `=` `"root"` `password` `=` `"never tell you"` `con` `=` `MySQLdb.connect(host``=``host, user``=``user, passwd``=``password, db``=``logsdb, port``=``port, charset``=``"utf8"``)` `return` `con`

从日志库里获取数据，获取当前时间之前2分钟的数据，首先，根据当前时间进行计算一下时间。之前，计算有问题，现在已经修改。

1 2 3 4 5	`def` `calculate_time():` `now` `=` `time.mktime(datetime.now().timetuple())``-``60``*``2` `result` `=` `time.strftime(``'%Y-%m-%d %H:%M:%S'``, time.localtime(now))` `return` `result`

然后，根据时间和日志级别去日志库查询数据

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17	`def` `get_data():` `select_time` `=` `calculate_time()` `logger.info(``"select time:"``+``select_time)` `sql` `=` `"select file_name,message from logsdb.app_logs_record "` `\` `"where log_time >"``+``"'"+select_time+"'"` `\` `"and level="``+``"'ERROR'"` `\` `"order by log_time desc"` `conn` `=` `get_con()` `cursor` `=` `conn.cursor()` `cursor.execute(sql)` `results` `=` `cursor.fetchall()` `cursor.close()` `conn.close()` `return` `results`

发送邮件

使用python发送邮件比较简单，使用标准库smtplib就可以

这里使用163邮箱进行发送，你可以使用其他邮箱或者企业邮箱都行，不过host和port要设置正确。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18	`def` `send_email(content):` `sender` `=` `"sender_monitor@163.com"` `receiver` `=` `[``"rec01@163.com"``,` `"rec02@163.com"``]` `host` `=` `'smtp.163.com'` `port` `=` `465` `msg` `=` `MIMEText(content)` `msg[``'From'``]` `=` `"sender_monitor@163.com"` `msg[``'To'``]` `=` `"rec01@163.com,rec02@163.com"` `msg[``'Subject'``]` `=` `"system error warning"` `try``:` `smtp` `=` `smtplib.SMTP_SSL(host, port)` `smtp.login(sender,` `'123456'``)` `smtp.sendmail(sender, receiver, msg.as_string())` `logger.info(``"send email success"``)` `except` `Exception, e:` `logger.error(e)`

定时任务

使用一个单独的线程，每2分钟扫描一次，如果ERROR级别的日志条数超过5条，就发邮件通知。

1 2 3 4 5 6 7 8 9 10 11 12	`def` `task():` `while` `True``:` `logger.info(``"monitor running"``)` `results` `=` `get_data()` `if` `results` `is` `not` `None` `and` `len``(results) >` `5``:` `content` `=` `"recharge error："` `logger.info(``"a lot of error,so send mail"``)` `for` `r` `in` `results:` `content` `+``=` `r[``1``]``+``'\n'` `send_email(content)` `sleep(``2``*``60``)`

日志

为这个小小的脚本配置一下日志log.py，让日志可以输出到文件和控制台中。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18	`# coding=utf-8` `import` `logging` `logger` `=` `logging.getLogger(``'mylogger'``)` `logger.setLevel(logging.DEBUG)` `fh` `=` `logging.FileHandler(``'monitor.log'``)` `fh.setLevel(logging.INFO)` `ch` `=` `logging.StreamHandler()` `ch.setLevel(logging.INFO)` `formatter` `=` `logging.Formatter(``'%(asctime)s - %(name)s - %(levelname)s - %(message)s'``)` `fh.setFormatter(formatter)` `ch.setFormatter(formatter)` `logger.addHandler(fh)` `logger.addHandler(ch)`

所以，最后，这个监控小程序就是这样的app_monitor.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86	`# coding=utf-8` `import` `threading` `import` `MySQLdb` `from` `datetime` `import` `datetime` `import` `time` `import` `smtplib` `from` `email.mime.text` `import` `MIMEText` `from` `log` `import` `logger` `def` `get_con():` `host` `=` `"127.0.0.1"` `port` `=` `3306` `logsdb` `=` `"logsdb"` `user` `=` `"root"` `password` `=` `"never tell you"` `con` `=` `MySQLdb.connect(host``=``host, user``=``user, passwd``=``password, db``=``logsdb, port``=``port, charset``=``"utf8"``)` `return` `con` `def` `calculate_time():` `now` `=` `time.mktime(datetime.now().timetuple())``-``60````2` `result` `=` `time.strftime(``'%Y-%m-%d %H:%M:%S'``, time.localtime(now))` `return` `result` `def` `get_data():` `select_time` `=` `calculate_time()` `logger.info(``"select time:"``+``select_time)` `sql` `=` `"select file_name,message from logsdb.app_logs_record "` `\` `"where log_time >"``+``"'"+select_time+"'"` `\` `"and level="``+``"'ERROR'"` `\` `"order by log_time desc"` `conn` `=` `get_con()` `cursor` `=` `conn.cursor()` `cursor.execute(sql)` `results` `=` `cursor.fetchall()` `cursor.close()` `conn.close()` `return` `results` `def` `send_email(content):` `sender` `=` `"sender_monitor@163.com"` `receiver` `=` `[``"rec01@163.com"``,` `"rec02@163.com"``]` `host` `=` `'smtp.163.com'` `port` `=` `465` `msg` `=` `MIMEText(content)` `msg[``'From'``]` `=` `"sender_monitor@163.com"` `msg[``'To'``]` `=` `"rec01@163.com,rec02@163.com"` `msg[``'Subject'``]` `=` `"system error warning"` `try``:` `smtp` `=` `smtplib.SMTP_SSL(host, port)` `smtp.login(sender,` `'123456'``)` `smtp.sendmail(sender, receiver, msg.as_string())` `logger.info(``"send email success"``)` `except` `Exception, e:` `logger.error(e)` `def` `task():` `while` `True``:` `logger.info(``"monitor running"``)` `results` `=` `get_data()` `if` `results` `is` `not` `None` `and` `len``(results) >` `5``:` `content` `=` `"recharge error："` `logger.info(``"a lot of error,so send mail"``)` `for` `r` `in` `results:` `content` `+``=` `r[``1``]``+``'\n'` `send_email(content)` `time.sleep(``2````60``)` `def` `run_monitor():` `monitor` `=` `threading.Thread(target``=``task)` `monitor.start()` `if` `__name__` `=``=` `"__main__"``:` `run_monitor()`