研发经常会问到能看到哪些SQL执行比较频繁吗？
熟悉mysql的朋友应该都知道,error日志只记录数据库层的报错,binlog只记录增/删/改的记录,但是没记录谁执行,只记录执行用户名,slowlog虽然详细,但是只记录超过设定值的慢查询sql信息.
只有general-log才是记录所有的操作日志,不过他会耗费数据库5%-10%的性能,所以一般没什么特别需要,大多数情况是不开的,例如一些sql审计和不知名的排错等,那就是打开来使用了.
只能看到当前正在运行的SQL和慢日志里记录的SQL。因为为了性能考虑，一般general log不会开启。slow log可以定位一些有性能问题的sql，而general log会记录所有的SQL。然而有时候生产上的mysql出现性能问题，短时间开启general log，来获取sql执行的情况，对排查和分析mysql的性能问题，还是有很大的帮助的。或者是有时候，不清楚程序执行了什么sql语句，但是又要排除错误，找不到原因的情况下，也是可以短暂的开启这个general log日志的。
mysql5.0版本，如果要开启slow log、general log，需要重启，从MySQL5.1.6版开始，general query log和slow query log开始支持写到文件或者数据库表两种方式，并且日志的开启，输出方式的修改，都可以在Global级别动态修改。
一、开启general log有很多的方式。
下面简单介绍和演示下：
方法一：更改my.cnf配置文件
[root@git-server ~]# grep general_log /etc/my.cnf
general_log = 1
general_log_file = /tmp/general.log重新启动mysql，这个操作相当于是永久生效。当然这种方式是不允许在生产上采用的。因为要重启mysql，会中断mysql的业务。同时general.log会记录所有的关于mysql的DDL和DML语句，非常消耗资源，一般都是在协助排除mysql故障时，临时短暂的开启几分钟。事后都要关闭的。
方法二：在mysql命令控制台操作
需要root用户才有访问此文件的权限
默认这个日志是被关闭掉的。
mysql> show global variables like '%general%';
+------------------+---------------------------------+
| Variable_name | Value |
+------------------+---------------------------------+
| general_log | OFF |
| general_log_file | /data/mysql/data/git-server.log |
+------------------+---------------------------------+
2 rows in set (0.00 sec)
mysql>有时需要临时开启MySQL的全局general_log，可以登录mysql直接设置日志的路径并开启general_log
mysql> set global general_log_file='/tmp/general_log';
Query OK, 0 rows affected (0.00 sec)
mysql> set global general_log=on;
Query OK, 0 rows affected (0.02 sec)
mysql> show global variables like '%general%';
+------------------+------------------+
| Variable_name | Value |
+------------------+------------------+
| general_log | ON |
| general_log_file | /tmp/general_log |
+------------------+------------------+
2 rows in set (0.00 sec)
mysql>
[root@git-server ~]# tailf /tmp/general_log
180717 22:55:51 2 Query show databases
180717 22:56:04 2 Query SELECT DATABASE()
2 Init DB test
180717 22:56:14 2 Query select * from student3在使用完后可以直接set global general_log=off;关闭这个日志
方法三：将日志保存在mysql数据库general_log表中
mysql> set global log_output='table';
mysql> set global general_log=on;
mysql> use mysql;
mysql> select * from test.student3;
+----+--------------+------------+--------+------+
| id | teacher_name | teacher_id | name | sex |
+----+--------------+------------+--------+------+
| 1 | 花花 | 1 | 三安 | 女 |
| 4 | 散散 | 2 | 三安 | 女 |
| 6 | bibi | 3 | 三安 | 女 |
+----+--------------+------------+--------+------+
3 rows in set (0.00 sec)
mysql> select * from general_log;
| 2018-07-17 23:00:12 | root[root] @ localhost [] | 2 | 1132333306 | Query | select * from test.student3查看/tmp/general.log的信息，可以大致看到哪些sql查询/更新/删除/插入比较频繁了。比如有些表不是经常变化的，查询量又很大，就完全可以cache；对主备延迟要求不高的表，读可以放到备库；等等
二、vc-mysql-sniffer统计MySQL的SQL分布
有时候我们需要统计线上的SQL执行情况，比如想知道哪条SQL执行最频繁，我们可以开启general_log，然后进行统计，但是general_log开启非常损耗性能，那么我们可以使用vc-mysql-sniffer来代替，该工具是编译好的二进制，下载即可使用。
我这里修改了网上的一个脚本，分析vc-mysql-sniffer抓取到的结果统计频繁执行的SQL。
analysis-general-log.py
#!/usr/bin/python
#coding:utf8
# python analysis-vc-log.py 3315 | sort | uniq -c | sort -nr |head -n 10
import re
import sys
import os
import commands
vc_sniffer_time=5
port=sys.argv[1]
vc_cmd=""" /usr/bin/timeout %s /data/software/vc-mysql-sniffer -binding="[::]:%s" > /tmp/tmp_vc_mysql_%s.txt """ % (vc_sniffer_time,port,port)
outtext = commands.getoutput(vc_cmd)
cmd=""" grep -Ev '# Time:|# User@Host' /tmp/tmp_vc_mysql_%s.txt |sed 's/# Query_time.*/myxxxxx/g' |awk BEGIN{RS=EOF}'{gsub(/\\n/," ");print}'|awk BEGIN{RS=EOF}'{gsub(/myxxxxx/,"\\n");print}' >/tmp/vc_mysql_%s.txt""" % (port,port)
outtext = commands.getoutput(cmd)
file="/tmp/vc_mysql_%s.txt" % (port)
logFo = open(file)
for line in logFo:
line = re.sub(r"\n","",line)
lineMatch = re.match(r".*",line)
if lineMatch:
lineTmp = lineMatch.group(0)
lineTmp = lineTmp.lower()
# remove extra space
lineTmp = re.sub(r"\s+", " ",lineTmp)
# replace values (value) to values (x)
lineTmp = re.sub(r"values\s*\(.*?\)", "values (x)",lineTmp)
# replace filed = 'value' to filed = 'x'
lineTmp = re.sub(r"(=|>|<|>=|<=)\s*('|\").*?\2","\\1 'x'",lineTmp)
# replace filed = value to filed = x
lineTmp = re.sub(r"(=|>|<|>=|<=)\s*[0-9]+","\\1 x",lineTmp)
# replace like 'value' to like 'x'
lineTmp = re.sub(r"like\s+('|\").*?\1","like 'x'",lineTmp)
# replace in (value) to in (x)
lineTmp = re.sub(r"in\s+\(.*?\)","in (x)",lineTmp)
# replace between '...' and '...' to between 'x' and 'x'
lineTmp = re.sub(r"between\s+('|\").*?\1\s+and\s+\1.*?\1","between 'x' and 'x' ",lineTmp)
# replace between ... and ... to between x and x
lineTmp = re.sub(r"between\s+[0-9]+\s+and\s+[0-9]+","between x and x ",lineTmp)
# replace limit x,y to limit
lineTmp = re.sub(r"limit.*","limit",lineTmp)
print lineTmp
logFo.close()
python analysis-general-log.py 3306| sort | uniq -c | sort -nr |head -n 10
抓取mysql 3306端口，统计执行最频繁的10条SQL
analysis-general-log.py general.log | sort | uniq -c | sort -nr
