一：启动Hadoop1. core-site.xml 配置代理用户属性特别注意：hadoop.proxyuser.<服务器用户名>.hosts 和 hadoop.proxyuser.<服务器用户名>.groups这两个属性，服务器用户名是hadoop所在的机器的登录的名字，根据自己实际的登录名来配置。这里我的电脑用户名为mengday。<?xml version...
原创
2023-05-16 00:49:04
92阅读
# HDFS to Hive
## Introduction
Hadoop Distributed File System (HDFS) and Hive are two essential components in the Hadoop ecosystem. HDFS is a distributed file system that provides high throughput ac
原创
2024-01-06 08:52:25
45阅读
-e适合简单查看的情况-f适合多条脚本，且输出结果较多，可将结果存在制定的文件 （在hive中查看hdfs和本地文件，hdfs在Linux命令前加dfs -,本地在Linux命令前加！）在hive中查看hdfs的文件 1、进入hive窗口2.dfs -ls /;查看hdfs根目录下文件 (dfs -lsr /;递归查看）在hive中查看Linux虚拟机本地文件 1、进入hiv
转载
2023-07-14 10:52:30
1654阅读
hadoop是一个适合大数据处理的分布式的存储以及计算平台，我个人感觉称他为平台是 非常贴切的，因为不管是hive、hbase等这类产品都是需要依赖hadoop的两个核心hdfs和mapreduce。hdfs和mapreduce是hadoop平台的基础核心，其中hdfs是负责大数据的分布式存储，而mapreduce是
转载
2023-07-12 18:05:35
64阅读
一、说明： 将关系型数据库中的数据导入到 HDFS（包括 Hive， HBase） 中，如果导入的是 Hive，那么当 Hive 中没有对应表时，则自动创建。二、操作1、创建一张跟mysql中的im表一样的hive表im:sqoop create-hive-table \
--connect jdbc:mysql://192.168.200.100:3306/yang \
--username
转载
2024-07-05 21:23:19
51阅读
Hive1.什么是Hive，Hive运行架构Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。通过Hive，我们可以方便地进行ETL(extract抽取/transform转化/load加载)的工作。1.Hive与Hbase的区别Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单
转载
2023-07-12 11:06:22
356阅读
Hive安装与配置安装前准备三台虚拟机master、slave1、slave2配置hadoop用户，之间免密登录，时钟同步，hadoop健康可用Hadoop与Hive的整合因为Hive需要把数据存储在HDFS上，并且通过MapReduce作为引擎处理数据； 因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上允许。 修改Hadoop中core-site.xml，并且Hadoop
转载
2023-06-12 20:22:19
700阅读
我们了解了数据仓库的基础知识，大概对数据仓库有了一个基本认识。接下来，我们来更进一步的了解数据仓库。就像我们学习数据库时学习mysql一样，我们学习学习数据仓库的HIVE.HIVE了解hive之前，我们其实需要学习下hadoop。不然你不知道hive是干啥的。HadoopHadoop实现了一个分布式文件系统,其中一个组件是HDFS(hadoop Distributed File System).
转载
2023-07-13 16:56:36
163阅读
客户端在连接hiveserver2时，会在hdfs上创建${hive.exec.scratchdir}/<username> （开启doAs为登录用户，否则为启动用户）目录，用于存放作业执行过程中产生的临时文件，在执行某些作业时会产生大量的临时文件，如遇客户端异常或jvm异常退出，造成数据无法清理。hive提供如下方案解决清理临时文件问题：1、 hive.start.clea
转载
2023-08-18 22:50:03
183阅读
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程接口，它本身不存储和计算数据；它依赖于HDFS(Hadoop分布式文件系统)和MapRe
转载
2023-07-14 11:36:17
317阅读
Hive 的JDBC 包含例子 https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-JDBC HiveServer2的JDBC 说明 https://cwiki.apache.org/confluence/di
转载
2021-08-04 22:42:33
702阅读
这两天被hive的权限问题,折腾的不轻.记录一下Hive的基本配置我就不细说了,自行配置,网上一堆堆的.1.背景要求可以使用hdfs和hive用户操作自己创建的数据库. 权限不可乱. 要求,如下,[基本就是裸奔,没做任何配置,但依旧是坑不断.]1.hive没有设置任何权限 采用默认 NONE 2.hadoop权限体系采用默认最简单的Simple机制.3. 要求目录权限不能设置7774.
转载
2023-08-18 20:38:53
102阅读
环境配置： hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)
hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node)
hive-0.10.0-cdh4.3.0 一、查询性能比较： query1:
select count(1) from on_hdfs;
selec
转载
2023-08-03 22:04:39
62阅读
一、hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 没有专门的数据格式。
转载
2023-10-25 11:05:42
101阅读
在hive上启动service hive --service hiveserver在eclipse中进行开发导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了）我的代码，hive的语法就不说了，大家可以修改例子中的sql来进行自己的业务。我的hive没有设置用户名，密码。所以 Connection con 
原创
2014-07-08 09:37:43
3033阅读
点赞
hive是大数据技术簇中进行数据仓库应用的基础组件，是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序，则需要使用hive的jdbc驱动进行连接.代码连接hive需要先启动hive的metastore和hiveserver2hive --service metastore &
原创
2017-09-25 14:17:14
3709阅读
要使用 JDBC 连接 Hive 并执行查询，您需要在 Java 程序中导入相关的 Hive JDBC 驱动，并设置适当的连接参数。以下是一个简单的 Java 示例，展示了如何使用 JDBC 连接 Hive 并执行一个查询。前提条件Hive Server2 正在运行，并且您知道其主机名、端口号、数据库名等连接信息。Hive JDBC 驱动 已被添加到您的项目中。您可以从&nbs
hbase：是一个适合于非结构化数据存储的数据库，是基于列的而不是基于行的模式，HBase利用Hadoop MapReduce来处理HBase中的海量数据。HDFS: 是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。 Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提供了高可靠性的底层存储支持。hive：是一个数
转载
2023-07-12 18:11:31
97阅读
一. Meta Store使用mysql客户端登录hadoop100的mysql,可以看到库中多了一个metastore现在尤其要关注这三个表DBS表,存储的是Hive的数据库TBLS表,存储的是Hive中的表,使用DB_ID和DBS表关联COLUMNS_V2存储的是每个表中的字段信息 Meta Store并不存储真实的数据,只是存储数据库的元数据信息,数据是存储在HDFS上的 
转载
2024-06-20 18:47:12
32阅读
hadoop-hive安装配置下载hive-0.8.1.tar.gz ---------在ahdoop1.0.0这个版本上要使用这个版本以上 把这个文件解压在/hadoop/app目录下1.添加bin/hive-config.sh，添加jdk支持 exportJAVA_HOME=/usr/java/jdk1.7.0_02exportHIV
转载
2024-02-02 12:36:02
68阅读
