安装环境:CentOS6.5 64位

官方文档说明:http://dev.mysql.com/doc/refman/5.7/en/source-installation.html

1> cmake

mysql使用cmake跨平台工具预编译源码,用于设置mysql的编译参数。如:安装目录、数据存放目录、字符编码、排序规则等。安装最新版本即可。

2> make3.75

mysql源代码是由C和C++语言编写,在linux下使用make对源码进行编译和构建,要求必须安装make 3.75或以上版本

3> gcc4.4.6

GCC是Linux下的C语言编译工具,mysql源码编译完全由C和C++编写,要求必须安装GCC4.4.6或以上版本

4> Boost1.59.0

mysql源码中用到了C++的Boost库,要求必须安装boost1.59.0或以上版本

5> bison2.1

Linux下C/C++语法分析器

6> ncurses

字符终端处理库

1. 所以在安装前,需先安装相关的依赖库:

yum install -y cmake make gcc gcc-c++ bison ncurses ncurses-devel

2. 下载Boost1.59.0源代码,并解压到/usr/local/目录下:

>wget -O https://sourceforge.net/projects/boost/files/boost/1.59.0/boost_1_59_0.tar.gz

> tar -zxvf boost_1_59_0.tar.gz -C /usr/local/

二、下载MySQL源码

从github上下载mysql的源码

shell> cd /opt shell> git clone https://github.com/mysql/mysql-server.git

(这里连接失败,直接从官网下载源码

https://dev.mysql.com/downloads/mysql/

mysql 8 源码编译安装 gcc 版本过低 源码安装mysql5.7_mysql

 

mysql 8 源码编译安装 gcc 版本过低 源码安装mysql5.7_git_02

shell> ls mysql-server

如果没安装git客户端,执行yum install -y git安装。

(此处更新了yum源 使用阿里的yum源,//更新为阿里云的源  wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo)

然后用git init初始化相应的git

 

mysql源码目录

mysql 8 源码编译安装 gcc 版本过低 源码安装mysql5.7_git_03

查看MySQL源码分支:

shell> git branch -r origin/5.5 origin/5.6 origin/5.7 origin/HEAD -> origin/5.7 origin/cluster-7.2 origin/cluster-7.3 origin/cluster-7.4 origin/cluster-7.5
> git checkout 5.6

三、安装

1> 添加mysql用户

shell> cd /opt/mysql-server shell> groupadd mysql #添加mysql用户组 shell> useradd -r -g mysql -s /bin/false mysql #添加mysql用户3

2> 配置mysql预编译参数(原文有几个参数写错导致编码安装出现问题)  应该参考官方文档

重####果中途编译失败了,需要删除cmake生成的预编译配置参数的缓存文件和make编译后生成的文件,再新编译。

### shell> cd /opt/mysql-server ### shell> rm -f CMakeCache.txt ### shell> make clean
 
shell>
cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_DATADIR=/usr/local/mysql/data \
-DWITH_BOOST=/usr/local/boost_1_59_0 \
-DSYSCONFDIR=/etc \
-DDEFAULT_CHARSET=utf8mb4 \
-DDEFAULT_COLLATION=utf8mb4_general_ci \
-DENABLED_LOCAL_INFILE=1 \
-DWITH_EXTRA_CHARSETS=all

 

:安装路径

:数据存放目录

:boost源码路径

:my.cnf配置文件目录

:数据库默认字符编码

:默认排序规则

:允许从本文件导入数据

:安装所有字符集

更多预编译配置参数请参考mysql官方文档说明:http://dev.mysql.com/doc/refman/5.7/en/source-configuration-options.html#cmake-general-options

3> 编译并安装

shell> make -j `grep processor /proc/cpuinfo | wc -l`  多个线程同时编译 shell> make install

4> 初始化系统数据库

shell> cd /usr/local/mysql shell> chown -R mysql:mysql . # 注意:MySQL 5.7.6之前的版本执行这个脚本初始化系统数据库 shell> ./bin/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data # 5.7.6之后版本初始系统数据库脚本(本文使用此方式初始化) shell> ./bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data ###(本案例使用这个)
data

这个在执行的时候出现了很多错误折腾了2天才解

决。查看错误列表中错误1:

shell> ./bin/mysql_ssl_rsa_setup  ####如果希望服务器能够支持安全连接,则使用mysql_ssl_rsa_setup程序来创建默认的SSL和RSA文件: shell> chown -R root . shell> chown -R mysql data

注意:如果使用–initialize参数初始化系统数据库之后,会在~/.mysql_secret文件中生成root用户的一个临时密码,同时也在初始化日志中打印出来了,如下图红圈中所示:

mysql 8 源码编译安装 gcc 版本过低 源码安装mysql5.7_数据库_04

5、配置文件及参数优化

shell> cp support-files/my-default.cnf /etc/my.cnf   ###(这个并没有这个文件,从5.7.18开始不在二进制包中提供my-default.cnf文件 由于在5.7.18开始,二进制包不再包含示例文件my-default.cnf,所以我从5.7.17版本中提取了样例,但是发现里面也没有太多项配置)

shell> vim /etc/my.cnf

提示:上述的文件不建议全部拷贝使用,当需要哪块时单独复制是最好的,因为每台服务器的需求都不一样。

注意:官方建议二进制文件是防止在/usr/local下,my.cnf当然可以放在默认位置之后,还可以直接指定在二进制文件夹中等。然后现在新版的Linux是建议第三方软件放在/opt下,我觉都可以,建议按照官网的来配置最好,方便排查问题。

 

[client] port = 3306 socket = /tmp/mysql.sock   #####这里改为: /usr/local/mysql/mysql.sock [mysqld] ###############################基础设置##################################### #Mysql服务的唯一编号 每个mysql服务Id需唯一 server-id = 1 #服务端口号 默认3306 port = 3306 #mysql安装根目录 basedir = /opt/mysql        #####这里改为: /usr/local/mysql #mysql数据文件所在位置 datadir = /opt/mysql/data     #####这里改为: /usr/local/mysql/data #临时目录 比如load data infile会用到 tmpdir  = /tmp #设置socke文件所在目录 socket  = /tmp/mysql.sock    #####这里改为: /usr/local/mysql/mysql.sock #主要用于MyISAM存储引擎,如果多台服务器连接一个数据库则建议注释下面内容 skip-external-locking #只能用IP地址检查客户端的登录,不用主机名 skip_name_resolve = 1 #事务隔离级别,默认为可重复读,mysql默认可重复读级别(此级别下可能参数很多间隙锁,影响性能) transaction_isolation = READ-COMMITTED #数据库默认字符集,主流字符集支持一些特殊表情符号(特殊表情符占用4个字节) character-set-server = utf8mb4 #数据库字符集对应一些排序等规则,注意要和character-set-server对应 collation-server = utf8mb4_general_ci #设置client连接mysql时的字符集,防止乱码 init_connect='SET NAMES utf8mb4' #是否对sql语句大小写敏感,1表示不敏感 lower_case_table_names = 1 #最大连接数 max_connections = 400 #最大错误连接数 max_connect_errors = 1000 #TIMESTAMP如果没有显示声明NOT NULL,允许NULL值 explicit_defaults_for_timestamp = true #SQL数据包发送的大小,如果有BLOB对象建议修改成1G max_allowed_packet = 128M #MySQL连接闲置超过一定时间后(单位:秒)将会被强行关闭 #MySQL默认的wait_timeout  值为8个小时, interactive_timeout参数需要同时配置才能生效 interactive_timeout = 1800 wait_timeout = 1800 #内部内存临时表的最大值 ,设置成128M。#比如大数据量的group by ,order by时可能用到临时表,#超过了这个值将写入磁盘,系统IO压力增大 tmp_table_size = 134217728 max_heap_table_size = 134217728 #禁用mysql的缓存查询结果集功能#后期根据业务情况测试决定是否开启 #大部分情况下关闭下面两项 query_cache_size = 0 query_cache_type = 0 #####################用户进程分配到的内存设置BEGIN############################# ##每个session将会分配参数设置的内存大小#用于表的顺序扫描,读出的数据暂存于read_buffer_size中,当buff满时或读完,将数据返回上层调用者#一般在128kb ~ 256kb,用于MyISAM #read_buffer_size = 131072 #用于表的随机读取,当按照一个非索引字段排序读取时会用到, #一般在128kb ~ 256kb,用于MyISAM #read_rnd_buffer_size = 262144 #order by或group by时用到#建议先调整为2M,后期观察调整 sort_buffer_size = 2097152 #一般数据库中没什么大的事务,设成1~2M,默认32kb binlog_cache_size = 524288 ########################用户进程分配到的内存设置END############################ #在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中#官方建议back_log = 50 + (max_connections / 5),封顶数为900 back_log = 130 ############################日志设置########################################## #数据库错误日志文件 log_error = error.log #慢查询sql日志设置 slow_query_log = 1 slow_query_log_file = slow.log #检查未使用到索引的sql log_queries_not_using_indexes = 1 #针对log_queries_not_using_indexes开启后,记录慢sql的频次、每分钟记录的条数 log_throttle_queries_not_using_indexes = 5 #作为从库时生效,从库复制中如何有慢sql也将被记录 log_slow_slave_statements = 1 #慢查询执行的秒数,必须达到此值可被记录 long_query_time = 8 #检索的行数必须达到此值才可被记为慢查询 min_examined_row_limit = 100 #mysql binlog日志文件保存的过期时间,过期后自动删除 expire_logs_days = 5 ############################主从复制设置##################################### #开启mysql binlog功能 log-bin=mysql-bin #binlog记录内容的方式,记录被操作的每一行 binlog_format = ROW #对于binlog_format = ROW模式时,减少记录日志的内容,只记录受影响的列 binlog_row_image = minimal #master status and connection information输出到表mysql.slave_master_info中 master_info_repository = TABLE #the slave‘s position in the relay logs输出到表mysql.slave_relay_log_info中 relay_log_info_repository = TABLE #作为从库时生效,想进行级联复制,则需要此参数 log_slave_updates #作为从库时生效,中继日志relay-log可以自我修复 relay_log_recovery = 1 #作为从库时生效,主从复制时忽略的错误 slave_skip_errors = ddl_exist_errors #####################redo log和binlog的关系设置BEGIN######################### #(步骤1) prepare dml相关的SQL操作,然后将redo log buff中的缓存持久化到磁盘#(步骤2)如果前面prepare成功,那么再继续将事务日志持久化到binlog #(步骤3)如果前面成功,那么在redo log里面写上一个commit记录#当innodb_flush_log_at_trx_commit和sync_binlog都为1时是最安全的,#在mysqld服务崩溃或者服务器主机crash的情况下,binary log只有可能丢失最多一个语句或者一个事务。#但是都设置为1时会导致频繁的io操作,因此该模式也是最慢的一种方式。#当innodb_flush_log_at_trx_commit设置为0,mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。#当innodb_flush_log_at_trx_commit设置为2,只有在操作系统崩溃或者系统掉电的情况下,上一秒钟所有事务数据才可能丢失。#commit事务时,控制redo log buff持久化磁盘的模式 默认为1 innodb_flush_log_at_trx_commit = 2 #commit事务时,控制写入mysql binlog日志的模式 默认为0 #innodb_flush_log_at_trx_commit和sync_binlog都为1时,mysql最为安全但性能上压力也是最大 sync_binlog = 1 ####################redo log和binlog的关系设置END############################ ############################Innodb设置##################################### #数据块的单位8k,默认是16k,16kCPU压力稍小,8k对select的吞吐量大#innodb_page_size的参数值也影响最大索引长度,8k比16k的最大索引长度小#innodb_page_size = 8192 #一般设置物理存储的60% ~ 70% innodb_buffer_pool_size = 1G #5.7.6之后默认16M #innodb_log_buffer_size = 16777216 #该参数针对unix、linux,window上直接注释该参数.默认值为NULL #O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突 innodb_flush_method = O_DIRECT #此格式支持压缩, 5.7.7之后为默认值 innodb_file_format = Barracuda #CPU多核处理能力设置,假设CPU是2颗4核的,设置如下#读多,写少可以设成2:6的比例 innodb_write_io_threads = 4 innodb_read_io_threads = 4 #提高刷新脏页数量和合并插入数量,改善磁盘I/O处理能力#默认值200(单位:页)#可根据磁盘近期的IOPS确定该值 innodb_io_capacity = 500 #为了获取被锁定的资源最大等待时间,默认50秒,超过该时间会报如下错误: # ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction innodb_lock_wait_timeout = 30 #调整buffer pool中最近使用的页读取并dump的百分比,通过设置该参数可以减少转储的page数 innodb_buffer_pool_dump_pct = 40 #设置redoLog文件所在目录, redoLog记录事务具体操作内容 innodb_log_group_home_dir = /opt/mysql/redolog/   ####这里改成了 /usr/local/mysql/redolog  手工创建文件夹redolog并要改变用户和组都为mysql (这里一开始没创建报错了,错误2) #设置undoLog文件所在目录, undoLog用于事务回滚操作 innodb_undo_directory = /opt/mysql/undolog/    ####这里改成了 /usr/local/mysql/undolog  但是要改变用户和组都为mysql #在innodb_log_group_home_dir中的redoLog文件数, redoLog文件内容是循环覆盖写入。 innodb_log_files_in_group = 3 #MySql5.7官方建议尽量设置的大些,可以接近innodb_buffer_pool_size的大小#之前设置该值较大时可能导致mysql宕机恢复时间过长,现在恢复已经加快很多了#该值减少脏数据刷新到磁盘的频次 #最大值innodb_log_file_size * innodb_log_files_in_group <= 512GB,单文件<=256GB innodb_log_file_size = 1024M #设置undoLog文件所占空间可以回收#5.7之前的MySql的undoLog文件一直增大无法回收 #innodb_undo_log_truncate = 1 #innodb_undo_tablespaces = 3 #innodb_undo_logs = 128 #5.7.7默认开启该参数 控制单列索引长度最大达到3072 #innodb_large_prefix = 1 #5.7.8默认为4个, Inodb后台清理工作的线程数#innodb_purge_threads = 4 #通过设置配置参数innodb_thread_concurrency来限制并发线程的数量,#一旦执行线程的数量达到这个限制,额外的线程在被放置到对队列中之前,会睡眠数微秒, #可以通过设定参数innodb_thread_sleep_delay来配置睡眠时间#该值默认为0,在官方doc上,对于innodb_thread_concurrency的使用,也给出了一些建议: #(1)如果一个工作负载中,并发用户线程的数量小于64,建议设置innodb_thread_concurrency=0; #(2)如果工作负载一直较为严重甚至偶尔达到顶峰,建议先设置innodb_thread_concurrency=128, ###并通过不断的降低这个参数,96, 80, 64等等,直到发现能够提供最佳性能的线程数#innodb_thread_concurrency = 0 #强所有发生的死锁错误信息记录到error.log中,之前通过命令行只能查看最近一次死锁信息 innodb_print_all_deadlocks = 1 ############################其他设置######################################## [mysqldump] quick max_allowed_packet = 128M [mysql] no-auto-rehash [myisamchk] key_buffer_size = 20M sort_buffer_size = 256k read_buffer = 2M write_buffer = 2M [mysqlhotcopy] interactive-timeout [mysqld_safe] #增加每个进程的可打开文件数量

 

6、配置mysql服务

shell> cp support-files/mysql.server /etc/init.d/mysqld shell> chkconfig --add mysqld     # 添加到系统服务 shell> chkconfig mysqld on        # 开机启动

7、启动服务

shell> service mysqld start       # 启动mysql服务  报错:错误列表 2
shell> service mysqld stop        # 停止mysql服务
shell> service mysqld start       # 启动mysql服务
shell> service mysqld restart     # 重新启动mysql服务

8、设置数据库密码

shell> /usr/local/mysql/bin/mysql
msql> grant all privileges on *.* to root@'127.0.0.1' identified by "root" with grant option;
msql> grant all privileges on *.* to root@'localhost' identified by "root" with grant option;
mysql> grant all privileges on *.* to root@'%' identified by "root" with grant option;    ##### 开启远程登录(将host设为%即可)

9. 登录

mysql -uroot -proot

报:找不到mysql
将 /usr/local/mysql/bin 加入到 /etc/profile的path中
export PATH=$PATH:/usr/local/mysql/bin

 

错误列表:

1. utf8mb4_general_ci is not valid for latin1

解决:此错误是由于mysql在编译的时候参数错误,(DDEFAULT_CHARSET=utf8mb4 写成 DEFAULT_CHARSET=utf8mb4)重新编译

2. Starting MySQL. ERROR! The server quit without updating PID file (/usr/local/mysql/mysql.pid).

这里的error.log放在data目录下才会自动创建,其他目录好像自动创建不了

具体原因要查看错误日志文件才能知道。error.log 但是错误日志一开始没有,查了下原因还是权限问题,所以在my.cnf中将指定error.log路径。之前的错误路径是:/usr/local/mysql/erro_log.log

 

 

 

复制环境:

shell> groupadd mysql #添加mysql用户组 shell> useradd -r -g mysql -s /bin/false mysql #添加mysql用户
拷贝mysql安装包/usr/local/mysql (编译后的安装文件)
拷贝/etc/my.cnf
将/usr/local/mysql/bin加入到/etc/profile配置环境变量
删掉一些文件,比如log,.sock文件,auto.cnf
cp support-files/mysql.server /etc/init.d/mysqld
chkconfig --add mysqld     # 添加到系统服务
chkconfig mysqld on        # 开机启动
修改文件的所属主所属组
修改my.cnf 的servier_id