hive数仓乱码MySQL配置问题
我使用的是MySQL-server-5.6.45-1.el7.x86_64.rpm
MySQL-client-5.6.45-1.el7.x86_64.rpm 安装的mysql。
/usr/share/mysql/my-default.cnf 或者 /usr/my.cnf 拷贝到/etc/etc/my.cnf
1. 编辑/my.cnf配置文件
[client]
default-character-set=utf8
[mysqld]
character-set-server = utf8
skip-grant-tables
mysql -h127.0.0.1 -uroot -p123456 -P3306 -Dwarehouse
遇到的问题1
Access denied for user ‘root’@‘localhost’ (using password: YES)
skip-grant-tables 加上这个就好了
登陆的时候密码正确但是总是被拒绝,这个是跳过权限验证。
遇到的问题2
这个是因为我在网上搜资料的时候 用了 service mysqld stop 这个命令
结果我用 chkconfig –list命令 发现我的服务名字是mysql
然后用 service mysql stop 就好了
chkconfig – -list :显示所有运行级系统服务的运行状态信息(on或off)。
如果指定了name,那么只显示指定的服务在不同运行级的状态。
遇到的问题3
The server quit without updating PID file (/var/lib/mysql//hadoop101.pid)
如果是报pid的问题
删除/var/lib/mysql 目录下 ib_logfile0 和 ib_logfile1 两个文件后重新启动 不行就自己建一个pid文件 随便写个进程号先启动。
service mysql restart
Pid文件默认为 主机名.pid默认存放MYSQL数据目录。Mysql
启动会通过create_pid_file函数新建pid文件,通过getpid()获取当前进程并将pid写入pid文件。
因此通过mysql_safe启动,pid文件的作用是:在数据文件是同一份,但端口不同的情况下,防止同一个数据库被多次启动。
2. MySQL启动成功后测试
输入命令: \s ; show variables like ‘char%’ ; show variables like “colla%”; 测试。
3. 针对元数据库metastore中的表,分区,视图的编码设置
(1)修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
(2)修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
(3)修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
4. 修改metastore 的连接 URL
修改hive-site.xml配置文件
& 这个很重要 否则会报各种格式问题
javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop101:3306/metastore?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8
JDBC connect string for a JDBC metastore
5.启动hive测试
遇到的问题1
这是因为用户角色不对 我改MySQL配置用的root用户 忘了切换了 切换到gao就可以正常启动了desc formatted ads_back_count;
这里显示已经正常,但是如果 用show create table 的话还是乱码。这里是因为hive 源码中输出的字节byte默认不包含中文,这里我们改成utf-8编码即可,这里我们参考:
utf-8是一种变长的编码方式,它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度
http://archive.apache.org/dist/hive/hive-1.2.1/ 首先从这个网址我们下载源码 然后导入idea编辑器修改。