com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:Data source rejected establishment of connection, message from server:"Too many connections"
今天在新搭建的HDP平台上提交Spark程序过程中，在Yarn后台查看了Job日志后报出的该问题，当时分析有以下几个方面的原因：

  1. 数据库驱动jar版本过低
  2. 数据库安装之后默认最大连接数太少
  3. Spark代码中配置的数据库连接池初始化连接数量过少
  4. Spark代码中获取的数据库连接使用完毕后未进行释放，导致连接资源不足

该报错出来之后首先分析了这几点原因，最开始就排除了第一个可能性，因为我们的数据库驱动版本是公司规定的（）数据库版本是MySQL5.7，其他的Spark程序跑的都很稳定，没有理由在新搭建的HDP环境中Spark程序跑不起来，另外将该平台的Spark任务在老的HDP环境中运行是没有任何问题的，所以排除了3，4问题。那么最有可能的就是数据库安装之后的默认最大连接数了。

其实在搭建环境的过程中，安装MySQL数据库的时候确实没有注意到默认初始化最大连接数为多少，但是我们在Spark代码中配置的连接池的最小连接数量是30，最大连接数量为300 ；然后就登录到MySQL数据库后台查看当前配置的数据库最大连接数量 :

  1. 查看数据库当前连接数、ip、用户、连接数量、连接状态、连接时长
SHOW FULL processlist;

连接NoSQL客户端_spark


2. 查看数据库配置的最大连接数

show variables like '%max_connections%';

连接NoSQL客户端_spark_02


这里可以看出来，刚刚安装的数据库默认的最大连接数量为151个，如果一旦超出这个数量就会导致Spark任务报错，从而导致任务失败。

  1. 修改数据库最大连接数
    在/etc/my.cnf配置文件中修改数据库的最大连接数
vi /etc/my.cnf

在mysqlId中添加以下配置

max_connections=3000

保存后重启mysql服务

systemctl restart mysqld

重新登录mysql后台查看当前的数据库最大连接数量

show variables like '%max_connections%';

可以看见数据修改为了3000，最后又提交了一此Spark任务，完美运行~~

最后：写这个博客是为了记录下在工作过程中遇到的一些问题，如果有遇到相同问题的小伙伴，也需要注意喽，同样也给自己敲了警钟，做事情一定要认真对待~