一、官网和文档地址Hive 官网地址hive官网文档查看地址文档地址二、Hive 常用交互命令（1）“-e”不进入 hive 的交互窗口执行 sql 语句 bin/hive -e "select id from student;"（2）-f”执行脚本中 sql 语句bin/hive -f /opt/module/h
转载
2023-07-12 23:59:35
45阅读
1. 启动metastore服务 ./hive --service metastore &2. 建表创建一个行表，用于存储foobar.txt文件中的每行句子。create table tbl_
原创
2023-05-16 00:04:31
97阅读
一、Java方式开发1、开发前准备假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.
转载
2023-10-21 07:50:57
75阅读
WordCount运行详解
http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html
转载
精选
2013-03-20 16:14:38
309阅读
在本地创建文件： 将本地文件上传到hdfs： 执行如下命令：（输入输出文件都在hdfs）root@yanchao-PowerEdge-R720:/project/software/hadoop-2.6.2# bin/hadoop jar /project/software/hadoop-2.6.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-
原创
2022-11-28 15:42:00
130阅读
CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序1 准备工作1.1 创建输入输出路径首先在hdfs中创建数据目录，用来指定运行wordcount程序的输入输出路径。Hadoop命令在hadoop文件夹下的bin目录下，可通过如下命令查看：命令：ll /usr/local/hadoop/bin查看结果如图1所示：图1 查找
我们对于wordCount的这个流程，在清晰不过了，不过我们在使用spark以及hadoop本身的mapReduce的时候，我们是否理解其中的原理呢，今天我们就来介绍一下wordCount的执行原理， 1.首先我们都会这样子执行(wordCount执行在hadoop中) val rdd = sc.textFile("hdfs://weekday01:9000/wc").flatMap(_.
首先我们需要安装Hadoop，并对Hadoop进行配置。值得注意的是，配置的时候，需要给Hadoop权限才能正确执行。最简单的办法就是讲hadoop以及其目录下所有文件都归在一个组中。chown -R hadoop:hadoop hadoop文件夹就可以了。 配置完成之后，我们我们还需要什么？1.需要在HDFS中保存有文件。2.需要一个程序jar包，我们前面说过，JobTracker接收jar包
转载
2023-08-16 16:12:39
176阅读
决定参照这个教程来安装CentOS6.5 +JDK 1.8环境，用MobaXterm_v11.1操作1.首先检查jdk安装情况2.下载hadoop(hadoop版本选择？)使用rz上传命令找不到的话要先下载，下面是成功了 MobaXterm使用rz貌似上传还是不行，但直接进入目录这样上传就可以了，如下： 你看，两种方式
案例描述：计算一个文件中每个单词出现的数量代码：package com.jeff.mr.wordCount;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.
#创建几个目录hadoop fs -mkdir /user/hadoop fs -mkdir
原创
2022-08-08 23:23:16
149阅读
首先提一下spark rdd的五大核心特性： 1、rdd由一系列的分片组成，比如说128m一片，类似于hadoop中的split2、每一个分区都有一个函数去迭代/运行/计算3、一系列的依赖，比如：rdda转换为rddb，rddb转换为rddc，那么rddc依赖于rddb，rddb依赖于rdda。 l
原创
2021-08-07 11:04:25
629阅读
运行的命令：[root@node1 ~]# cat wc.txt hello tom andy joy hello rose h
原创
2022-07-02 00:09:15
67阅读
在hadoop2.9.0版本中，对namenode、yarn做了ha，随后在某一台namenode节点上运行自带的wordcount程序出现偶发性的错误（有时成功，有时失败），错误信息如下： 18/08/16 17:02:42 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2
18/0
1.调用SparkSubmit类 执行submit方法 -->doRunmain--> RunMain-->通过反射机制创建我们的主类对象--》再拿到主类的main方法--》执行主类的main方法 2.开始构造sparkConf对象和sparkContext对象 作为提交任务的入口类，在sparkContext入口类里会做三件事， 创建了SparkEnv对象（创建了ActorSy
本文Pandas版本必须为0.25以上才能使用explode，可以通过以下命令看Pandas版本：pip show pandas可以通过以下命令升级Pandas到最新版：pip ins...
原创
2022-09-07 17:41:44
139阅读
# 使用Spark读取Hive实现Word Count
Apache Spark是一个开源的大数据处理框架，它提供了丰富的API和功能，可以进行高效的数据处理和分析。而Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HQL，用于对大规模结构化数据进行查询和分析。本文将介绍如何使用Spark读取Hive数据，并实现一个简单的Word Count示例。
## 准备工作
