1. SparkSession
sparkSession可以视为sqlContext和hiveContext以及StreamingContext的结合体，这些Context的API都可以通过sparkSession使用。
创建SparkSession
val spark = SparkSession.builder
.master("local[2]")
.appName("s
转载
2024-05-17 19:18:05
0阅读
目录1 MapReduce2 Spark3 对比3.1 性能3.2 使用难度3.3 成本3.4 兼容性3.5 数据处理3.6 容错3.7 安全性3.8 处理速度3.9 总结4 相关概念4.1 HDFS4.2 MapReduce4.3 YARN4.4 SparkStreaming4.5 SparkSQL4.6 Hive4.7 HBase4.8 Flume
转载
2023-10-26 14:18:46
39阅读
发现采用shcjar的话，总是执行到某个点就停止了 于是我打算尝试一下直接说哦用
转载
2017-08-27 22:06:00
194阅读
2评论
# Spark将JSON导入Hive
## 概述
在这篇文章中，我将向你介绍如何使用Spark将JSON数据导入Hive。Spark是一个快速、通用的大数据处理引擎，而Hive是一个基于Hadoop的数据仓库基础设施。我们将使用Spark提供的API来读取JSON数据，并将其存储到Hive表中。下面是整个流程的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 创建
原创
2023-10-19 14:39:24
145阅读
1、首先打开虚拟机，运行一下两条命令打开hadoop：start-dfs.shstart-yarn.sh 2、进入hive目录下，启动metastorehive --service metastore3、使用jdbc访问hive，启动 hiveserver2bin/hive --service hiveserver24、启动 beeline 客户端（需要多等待一会）bin/b
转载
2023-07-03 16:29:35
102阅读
1.首先将集群的这3个文件hive-site.xml，core-size.xml,hdfs-site.xml放到资源文件里(必须，否则报错)2.代码方面。下面几个测试都可以运行。 1）test03.javaimport org.apache.spark.sql.SparkSession;
import java.text.ParseException;
public class te
转载
2023-07-13 17:06:37
186阅读
# 使用 Spark 将数据导入 MySQL 的完整指南
在当今的开发环境中，数据处理工具如 Apache Spark 被广泛使用。而 MySQL 是最常用的数据库之一。将 Spark 数据导入 MySQL 的过程并不复杂，只要你理解每一步的机制。接下来，我们将详细说明这个流程，并提供相关的代码示例。
## 流程概览
首先，我们来看看整个流程的步骤：
| 步骤 | 描述
# 使用 Spark 从 Hive 导入到 MySQL 中
## 引言
在大数据领域，Hive 是一种非常流行的数据仓库解决方案，而 MySQL 是一种常用的关系型数据库，相信很多人都遇到过将 Hive 中的数据导入到 MySQL 中的需求。
本文将介绍如何使用 Spark 从 Hive 导入到 MySQL，包括基本概念、环境搭建、代码示例等内容。
## 基本概念
在开始之前，我们需要了
原创
2023-08-19 06:54:08
639阅读
如题，最近想用 Spark SQL 操作数据 写入 Hive ，本地测试逻辑OK，发布线上发现连接不上Hive元数据，各种修改，头痛。终于发现问题，记录一下方便后来人。关于版本： CDH --> 5.16.1 Hive -->1.1.0 Spark --> 2.3.0 Scala --> 2.11.6 版本不对应也可以参考，毕竟问题出现的，和版本关系不太大～废话不多，首先是
转载
2024-05-15 08:26:07
68阅读
问题记录最近发现kudu日志爆满，info信息全部输出保存在了日志文件里，需要配置日志输出级别：首先登录了kudu监控页面：http://xxxxx:8051 发现Command-line Flags里的--minloglevel=0修改/etc/kudu/conf/master.gflagfile 和 /etc/kudu/conf/tserver.gflagfile 这两个文件，加上
效果展示[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YYZMeccW-1640344966005)(/Users/lifuwei/Library/Application Support/typora-user-images/image-20211224170025068.png)]我的大致思路是1、写了一个udf函数，这个函数的作用就是把对应的ip转换成省份，这个
转载
2024-02-03 02:10:50
82阅读
# 使用Spark将CSV数据导入Hive表的指南
随着大数据技术的不断发展，Hive和Spark成为处理海量数据的主要工具。Hive是一个数据仓库工具，能够将结构化数据映射为数据库表，并使用类似SQL的语言进行查询。而Spark则是一个强大的分布式计算框架，支持多种数据处理任务。将CSV文件数据导入Hive表是数据分析和处理中的常见操作。本文将介绍如何使用Spark将CSV数据导入Hive表，
# MySQL分块导入Hive实现流程
## 1. 概述
本文将介绍如何使用MySQL分块导入Hive。MySQL是常用的关系型数据库，而Hive是建立在Hadoop之上的数据仓库工具。通过将MySQL中的数据导入Hive，可以方便地进行大规模数据处理和分析。
## 2. 实现步骤
下面是整个流程的步骤表格：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤1 | 连接到M
原创
2024-01-13 05:28:53
42阅读
# MySQL导入Hive使用Sqoop的实践指南
在大数据时代，数据迁移和整合成为了一个常见的需求。MySQL作为一种广泛使用的关系型数据库，Hive作为一种基于Hadoop的数据仓库工具，它们之间的数据迁移可以通过Apache Sqoop实现。本文将详细介绍如何使用Sqoop将MySQL中的数据导入到Hive中。
## 环境准备
首先，确保你的系统中已经安装了以下组件：
- MySQL数
原创
2024-07-26 03:49:25
36阅读
# Hive 导入 MySQL 的 Java 实现指南
在大数据技术的背景下，Hive 和 MySQL 都是广泛使用的数据存储与处理工具。Hive 是一个基于 Hadoop 的数据仓库工具，主要用于处理大规模的结构化数据，而 MySQL 是一个常用的关系型数据库管理系统。将 Hive 中的数据导入到 MySQL 中，或者反向操作，都是许多开发者常常需要完成的任务。
本文将为刚入行的小白详细讲解
前几天建民老大给我们进行了第二次的Hive测试，很遗憾，题目很简单，但是我一下午一项都没实现。 而导致我最终也没实现的原因，就是sqoop的一些配置的问题。 因为建民老大说要在mysql里清洗数据，然后上传到Hive里，我请洗完之后就开始按照模板语句上传到Hive，但是一直报错，看教程说要把Hive的lib目录下的Hive开头的包全都复制到sqoop的lib目录下，但是依然报错。报错的语句
转载
2023-06-12 22:32:30
419阅读
基本知识：Sqoop导出的基本用法：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4 的10. sqoop-export内容摘要：本文主要是对--update-mode参数的用法进行了验证。结论如下：--update-mode模式有两种updateonly（默认）和allowinsertupda
转载
2024-02-20 11:26:52
102阅读
# 如何在Spark中配置Hive使用MySQL作为元数据库
## 1. 前言
Apache Spark是一个强大的大数据处理引擎，而Hive则是一个数据仓库工具，主要用于数据的提取、转化和加载（ETL）。在许多场景中，Hive的元数据库（保存表结构、元数据等信息的地方）可以使用MySQL来实现持久化存储。本文将指导您如何配置Spark使用Hive，并整合MySQL作为元数据库。
## 2.
原创
2024-09-13 03:10:20
105阅读
外部文件导入到Hive的例子： [training@localhost ~]$ cd ~[training@localhost ~]$ pwd/home/training[training@localhost ~]$ [training@localhost ~]$ vim customers.txt
转载
2017-10-01 21:09:00
252阅读
2评论
Navicat数据库之间导入导出1.双击要导出的数据库，右键选转储SQL文件...，选择要保存的文件夹。 2.点击开始后，开始导出。 数据库导入1.新建数据库，数据库的名字必须和导入的数据库文件一致。 2.在新建的数据库右键，选择运行SQL文件... 3.文件中填入需要导入的文件。下一步即可导入。 服务器数据库copy到本地数据库，Navicat分
转载
2017-08-24 23:08:00
0阅读
