Mapreduce+hive分析有分区情况下 书写流程将原始数据加载到HDFS平台sftp 192.168.56.2 将原始数据上传至linux本地root用户下 ls 命令进行查看是否上传成功成功:①启动Hadoop cd app/hadoop…/sbin/./start-all.sh 启动成功后 jps查看进程 此时,位置应处于sbin目录 ②回到Linux本地家目录下 cd ~ ③上传原始文件至hdfs根目录 hadoop fs -put xx.txt(上传文件名) /使用Mapreduce进行数据清洗,只保留日志中的用户手机号、访问网站,访问时间①创建项目②new floder – lib 导入jar包 – bulider path③创包 - 创类④书写代码创建Mapper类创建Reducer类创建分区类创建提交类⑤导出jar包在包名或者src处 右键–export–jar file-- 选择保存路径(起名xx.jar) ⑥将jar包上传至linux本地目录下ftp 192.168.56.2 连接 成功后直接拖进来⑦执行编写的类 hadoop jar xx.jar 包名.类名⑧执行完查看结果 出现下图代表成功⑨查看结果hadoop fs -cat /输出路径/part-r-00000 创建Hive数据库root用户下 输入 hive 命令 进入hivecreate database 数据库名; 创建完成,使用数据库 use 数据库名;创建存放清洗后数据的表cum_backupcreate table 表名(字段1 数据类型,字段2 数据类型,…)partitioned by (分区字段 数据类型)row format delimitedfields terminated by ‘分割方式’;加载HDFS的清洗后的日志数据到Hive数据库表中load data inpath ‘/之前的输出路径/part-r-00000’ into table 表名 partition(分区字段=’分区值’);load data inpath ‘/之前的输出路径/part-r-00001’ into table 表名 partition(分区字段=’分区值’);…有几个分区,将对应的日志文件加载到其分区中。hive sql分析 (都是查询语句 select 查什么 from 从哪里查 group by(分组) 根据哪一个字段分组)使用Sqoop将该表内容导入到mysql数据库明确知道要导出的内容,hive中的表以目录的形式保存在hdfs,所以将表中内容导出,实际上是将hdfs中表目录下的文件导出,因此需要先找到要导出的文件的路径,可通过Hadoop UI的形式查找。打开浏览器,地址栏:192.168.56.2:50070/user/hive/warehouse/数据库.db/表名/文件名明确导出文件路径后:回到root用户下登录到mysql,使用数据库,在数据库下创建表,这个表对应存储,hive中要导出的数据,所以字段应该一一对应,需要注意的是,mysql中的字符串类型为varchar,并且每个数据类型后应该给其对应的长度。例如:use hive; 使用hive数据库create table xx(id varchar(200),name varchar(200));mysql中创建好对应的表后,在root用户下sqoop export–connect jdbc:mysql://master(主机名)/数据库名(MySQL中使用的数据库)–username root–password 123456–table 表名(mysql中的表名)–export-dir 导出文件的路径(/user/hive/warehouse/数据库.db/表名/文件名)–input-fields-terminated-by ‘分割规则’–m 1导出成功后,回到mysql中,进行对表的查询,select * from 表名;