一：启动Hadoop1. core-site.xml 配置代理用户属性特别注意：hadoop.proxyuser.<服务器用户名>.hosts 和 hadoop.proxyuser.<服务器用户名>.groups这两个属性，服务器用户名是hadoop所在的机器的登录的名字，根据自己实际的登录名来配置。这里我的电脑用户名为mengday。<?xml version...
原创
2023-05-16 00:49:04
92阅读
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。1.从MySQL中加载数据（Spark Shell方式）1.启动Spark Shell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \...
原创
2021-07-07 10:47:01
435阅读
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。1.从MySQL中加载数据（Spark Shell方式）1.启动Spark Shell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \...
原创
2022-03-24 09:46:16
192阅读
Hive 的JDBC 包含例子 https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-JDBC HiveServer2的JDBC 说明 https://cwiki.apache.org/confluence/di
转载
2021-08-04 22:42:33
702阅读
在hive上启动service hive --service hiveserver在eclipse中进行开发导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了）我的代码，hive的语法就不说了，大家可以修改例子中的sql来进行自己的业务。我的hive没有设置用户名，密码。所以 Connection con 
原创
2014-07-08 09:37:43
3033阅读
点赞
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接.代码连接hive需要先启动hive的metastore和hiveserver2hive --service metastore &
原创
2017-09-25 14:17:14
3709阅读
要使用 JDBC 连接 Hive 并执行查询，您需要在 Java 程序中导入相关的 Hive JDBC 驱动，并设置适当的连接参数。以下是一个简单的 Java 示例，展示了如何使用 JDBC 连接 Hive 并执行一个查询。前提条件Hive Server2 正在运行，并且您知道其主机名、端口号、数据库名等连接信息。Hive JDBC 驱动 已被添加到您的项目中。您可以从&nbs
一．Hive on Spark的定义 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及
转载
2023-08-04 23:24:57
328阅读
此前，我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求：hive on spark集群环境搭建然而，通过hive客户端连接，hive 使用spark 引擎时，却报了 我无法解决得错误：hive on spark异常Failed to create Spark client for Spark
转载
2024-02-20 13:58:40
151阅读
先说明一下，这里说的从Hive 1.1版本开始，Hive on Spark已经成为Hive代码的一部分了，并且在spark分支上面，可以看这里https://github.com/apache/hive/tree/spark，并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度，可以看这里https://issues.apache.org/jira/browse/HIV
转载
2023-08-29 13:58:23
164阅读
目录一、Spark on Hive 和 Hive on Spark的区别1）Spark on Hive2）Hive on Spark（本章实现）二、Hive on Spark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把spark jar包上传到HDFS6）打包spark jar包并上传到HDFS7）配置1、配置spark-defaults.conf2、
转载
2023-07-12 09:39:06
170阅读
我们都知道，hive默认的计算引擎是mr,但是mr计算依赖于磁盘，导致计
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
转载
2023-08-12 10:04:48
192阅读
1.加mysql jarspark-shell --master local[2] --jars /Users/walle/app/mys
原创
2022-08-01 20:29:14
78阅读
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接。本文以hive wiki上示例为基础，详细讲解了如何使用jdbc连接hive数据库。hive wiki原文地址
转载
2023-12-16 18:52:22
0阅读
文章目录01 引言02 开发前准备2.1 步骤1：环境启动2.2 步骤2：创建数据库03 项目搭建
原创
2022-03-25 14:29:46
1224阅读
通常你希望org.hibernate.SessionFactory 来为你创建和缓存（pool）JDBC 连接。如果你采用这种方式，只需要如下例所示那样，打开一个 org.hibernate.Session：Session session = sessions.openSession(); // open a new Session一旦你需要进行数据访问时，就会从连接池（con
转载
2023-11-28 20:58:36
57阅读
Hive JDBC连接hive（2.1.1）（java）
转载
2023-05-21 15:06:58
163阅读
一、操作环境ambari 2.4.3 + hdp 2.5.3 + hbase 1.1.2 + phoenix4.7 + kerberos + centos6.9二、代码如下：package ycb.service;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
impo
转载
2024-02-27 18:40:56
169阅读
Hive数据库Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的 一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引
转载
2023-07-12 22:07:23
187阅读
