一、zookeeper以及hive的安装1、首先下载安装包（我这的是zookeeper-3.4.5-cdh5.14.2.tar.gz和hive-1.1.0-cdh5.14.2.tar.gz安装包） 2、将其上传到linux系统下，并压缩文件（我放到/opt/文件夹下）tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz
tar -zxf hive-1.1.0-cdh5
转载
2023-10-15 07:33:14
597阅读
一，mysql
安装mysql5.7完整教程
1. yum -y install mysql-server
直接执行语句后等待就好
已安装:
mysql-community-server.x86_64 0:5.7.23-1.el7 作为依赖被安装:
mysql-community-client.x86_64 0:5.7.23-1.el7 mysql-community-common.x86_6
转载
2024-08-04 09:30:19
22阅读
随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。在这种情况下，如何高效、自动化管理集群节点，实现不同节点的协同工作，配置一致性，状态一致性，高可用性，可观测性等，就成为一个重要的挑战。集群管理的复杂性体现在，一方面我们需要把所有的节点，不管是底层数据库节点，还是中间件或者业务系统节点的状态都统一管理起来，并且能实时探测到最新的配置变动情况，进一步为集群的调控和调度提供依据。另一方面
转载
2024-04-16 21:37:08
118阅读
1、Zookeeper入门HDFS是解决存的问题。HBase解决大表。Hive是包装MapReduce的功能。MapReduce和Spark都是引擎。但Zookeeper没有提供具体的功能。它在大数据区块中的位置非常特征，像一个润滑油。实际上是协调大数据其他框架之间的合作的。2、概述协调服务的Apache项目。所谓的协调，举个例子。上课的时候只需要讲课的人和听课的人就够了。但实际上不是，比如说班主
转载
2024-06-28 12:23:44
23阅读
首先在安装HIVE之前要安装Hadoop、Zookeeper和mysql，Hadoop和mysql的安装方法在我之前的博客里有，有需要的可以去看一下的。安装Zookeeper首先下载Zookeeper安装压缩包 自取：https://pan.baidu.com/s/1ZHtPyPS9XODT8sL16DpiVg 提取码：8ase 1.下载完成后上传到Linux系统上的opt文件夹下。 2.解压该压
转载
2023-08-11 14:57:22
104阅读
一：启动Hadoop1. core-site.xml 配置代理用户属性特别注意：hadoop.proxyuser.<服务器用户名>.hosts 和 hadoop.proxyuser.<服务器用户名>.groups这两个属性，服务器用户名是hadoop所在的机器的登录的名字，根据自己实际的登录名来配置。这里我的电脑用户名为mengday。<?xml version...
原创
2023-05-16 00:49:04
92阅读
*启动错误，日志查看
1.hdfs日志，hadoop安装目录下的logs目录 2.zookeeper日志 当没有特殊指定zookeeper的日志输出目录的话，zookeeper的日志是在执行zkServer.sh start指令所在的文件夹里 zookeeper日志的名称是：zookeeper.out 3.hbase日志 hbase的日志在hbase安装
转载
2024-01-12 11:13:56
54阅读
Hive一直使用ZooKeeper作为分布式锁定管理器来支持HiveServer2中的并发。 基于ZooKeeper的锁管理器在小型环境中运行良好。 但是，随着越来越多的用户从HiveServer迁移到HiveServer2并开始创建大量并发会话，可能会出现问题。 主要问题是Hiveserver2和ZooKeeper之间打开的连接数一直在增加，直到从ZooKeeper服务器端达到连接限制为
转载
2023-12-20 09:49:02
278阅读
Hive 的JDBC 包含例子 https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-JDBC HiveServer2的JDBC 说明 https://cwiki.apache.org/confluence/di
转载
2021-08-04 22:42:33
702阅读
在hive上启动service hive --service hiveserver在eclipse中进行开发导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了）我的代码，hive的语法就不说了，大家可以修改例子中的sql来进行自己的业务。我的hive没有设置用户名，密码。所以 Connection con 
原创
2014-07-08 09:37:43
3033阅读
点赞
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接.代码连接hive需要先启动hive的metastore和hiveserver2hive --service metastore &
原创
2017-09-25 14:17:14
3709阅读
要使用 JDBC 连接 Hive 并执行查询，您需要在 Java 程序中导入相关的 Hive JDBC 驱动，并设置适当的连接参数。以下是一个简单的 Java 示例，展示了如何使用 JDBC 连接 Hive 并执行一个查询。前提条件Hive Server2 正在运行，并且您知道其主机名、端口号、数据库名等连接信息。Hive JDBC 驱动 已被添加到您的项目中。您可以从&nbs
首先准备好zookeeper，jdk，hadoop，hive的安装包
1.时间同步yum install ntp
启动NTP时间服务器：service ntpd start
设置NTP开机自动启动：chkconfig ntpd on
查看NTP是否正常运行：chkconfig | grep ntp
2、2.node1,2,3,4做免密钥登录
ssh-keygen -t dsa -P
转载
2023-12-19 22:31:47
201阅读
Hive简介Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金会推出了一款名为H
转载
2023-09-20 06:07:03
105阅读
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接。本文以hive wiki上示例为基础，详细讲解了如何使用jdbc连接hive数据库。hive wiki原文地址
转载
2023-12-16 18:52:22
0阅读
文章目录01 引言02 开发前准备2.1 步骤1：环境启动2.2 步骤2：创建数据库03 项目搭建
原创
2022-03-25 14:29:46
1224阅读
通常你希望org.hibernate.SessionFactory 来为你创建和缓存（pool）JDBC 连接。如果你采用这种方式，只需要如下例所示那样，打开一个 org.hibernate.Session：Session session = sessions.openSession(); // open a new Session一旦你需要进行数据访问时，就会从连接池（con
转载
2023-11-28 20:58:36
57阅读
一、操作环境ambari 2.4.3 + hdp 2.5.3 + hbase 1.1.2 + phoenix4.7 + kerberos + centos6.9二、代码如下：package ycb.service;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
impo
转载
2024-02-27 18:40:56
169阅读
Hive JDBC连接hive（2.1.1）（java）
转载
2023-05-21 15:06:58
163阅读
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接。本文以hive wiki上示例为基础，详细讲解了如何使用jdbc连接hive数据库。hive wiki原文地址
原创
2015-09-15 17:04:55
1790阅读
