hive数仓乱码MySQL配置问题

我使用的是MySQL-server-5.6.45-1.el7.x86_64.rpm
MySQL-client-5.6.45-1.el7.x86_64.rpm 安装的mysql。
/usr/share/mysql/my-default.cnf 或者 /usr/my.cnf 拷贝到/etc/etc/my.cnf

1. 编辑/my.cnf配置文件

[client]
default-character-set=utf8
[mysqld]
character-set-server = utf8
skip-grant-tables

mysql  -h127.0.0.1 -uroot -p123456 -P3306 -Dwarehouse

遇到的问题1

Access denied for user ‘root’@‘localhost’ (using password: YES)
skip-grant-tables 加上这个就好了
登陆的时候密码正确但是总是被拒绝,这个是跳过权限验证。

遇到的问题2

hive中建表负数用什么类型_hadoop


这个是因为我在网上搜资料的时候 用了 service mysqld stop 这个命令
结果我用 chkconfig –list命令 发现我的服务名字是mysql
然后用 service mysql stop 就好了

chkconfig – -list :显示所有运行级系统服务的运行状态信息(on或off)。
如果指定了name,那么只显示指定的服务在不同运行级的状态。

遇到的问题3

The server quit without updating PID file (/var/lib/mysql//hadoop101.pid)
如果是报pid的问题
删除/var/lib/mysql 目录下 ib_logfile0 和 ib_logfile1 两个文件后重新启动 不行就自己建一个pid文件 随便写个进程号先启动。
service mysql restart

Pid文件默认为 主机名.pid默认存放MYSQL数据目录。Mysql
启动会通过create_pid_file函数新建pid文件,通过getpid()获取当前进程并将pid写入pid文件。
因此通过mysql_safe启动,pid文件的作用是:在数据文件是同一份,但端口不同的情况下,防止同一个数据库被多次启动。

2. MySQL启动成功后测试

输入命令: \s ; show variables like ‘char%’ ; show variables like “colla%”; 测试。

hive中建表负数用什么类型_hive中建表负数用什么类型_02

3. 针对元数据库metastore中的表,分区,视图的编码设置

(1)修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
(2)修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
(3)修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

4. 修改metastore 的连接 URL

修改hive-site.xml配置文件
& 这个很重要 否则会报各种格式问题

javax.jdo.option.ConnectionURL
jdbc:mysql://hadoop101:3306/metastore?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8
JDBC connect string for a JDBC metastore

5.启动hive测试

遇到的问题1

hive中建表负数用什么类型_MySQL_03


这是因为用户角色不对 我改MySQL配置用的root用户 忘了切换了 切换到gao就可以正常启动了desc formatted ads_back_count;

hive中建表负数用什么类型_hive_04


这里显示已经正常,但是如果 用show create table 的话还是乱码。这里是因为hive 源码中输出的字节byte默认不包含中文,这里我们改成utf-8编码即可,这里我们参考:

utf-8是一种变长的编码方式,它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度

http://archive.apache.org/dist/hive/hive-1.2.1/ 首先从这个网址我们下载源码 然后导入idea编辑器修改。