经常听到这些大数据的名词, Hadoop,HDFS,Hbase,Hive等，这次就一探究竟。Hadoop：是泛指大数据生态，实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统，主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库; 文章目录What is 大数据 ?What is Hadoo
转载
2024-10-12 12:33:44
27阅读
# 从Hive创建表存储在HDFS
在大数据领域，Hive是一个非常流行的数据仓库工具，它提供了一种类似于SQL的查询语言来分析存储在Hadoop集群中的大规模数据。而HDFS（Hadoop分布式文件系统）则是Hadoop生态系统中存储大数据的核心组件之一。在本篇文章中，我们将介绍如何使用Hive创建表并将数据存储在HDFS中。
## Hive创建表
在Hive中，我们可以使用类似于SQL的
原创
2024-04-18 06:46:22
55阅读
Flume介绍Flume是Apache基金会组织的一个提供的高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。当前Flume有两个版本，Flume 0.9x版本之前的统称为Flume-og，Flume1.X版本被统称为Flume-ng。参考文档：ht
如何配置Hive与HDFS地址
作为一名经验丰富的开发者，你被要求教一位刚入行的小白如何配置Hive与HDFS地址。下面，我将向你展示整个流程，并提供每一步需要做的事情以及相应的代码。
步骤 | 操作 | 代码
---- | ---- | ----
1 | 打开Hive配置文件 | `vi /path/to/hive/conf/hive-site.xml`
2 | 添加HDFS地址配置 | `
原创
2024-01-29 08:07:43
131阅读
# 从Hive中获取表的HDFS地址
## 引言
在Hadoop生态系统中，Hive是一个用于数据仓库的数据仓库工具，它提供了类似于SQL的查询语言，可以让用户通过类似于SQL的语法来查询和分析存储在Hadoop集群中的数据。在实际的数据分析工作中，有时候我们需要获取Hive表的HDFS地址，以便进行进一步的数据处理或分析。本文将介绍如何在Hive中获取表的HDFS地址，并提供代码示例。
#
原创
2024-02-23 05:37:57
213阅读
# Hive数据库中的存储路径与HDFS地址
在大数据生态系统中，Hive是一个数据仓库工具，它用于在分布式环境下进行数据的查询和分析。Hive数据是存储在Hadoop分布式文件系统（HDFS）中的，因此理解Hive的存储路径与HDFS地址对有效利用Hive至关重要。
## Hive与HDFS的关系
Hive使用HDFS作为其底层存储系统。在创建Hive表时，默认情况下，Hive会将数据存储
原创
2024-08-06 11:52:37
103阅读
在安装hive的过程中，一般需要的准备环境就是hadoop集群的正常启动，要装有mysql，zookeeper.具体怎么安装配置我在这里不多说，安装教程网上有挺多的。 我这里说下我遇到的问题，首先从解压安装开始说起，解压安装完成后，配置环境变量， 这些都是一些常规步骤。 还有一些配置文件的 当我输入hive的时候  
转载
2024-07-30 09:11:43
130阅读
五, Hive-数据的导入和导出5.1 数据导入法1, 向表中装载数据(load)[案例实操]创建表加载本地文件到此表中加载HDFS文件到此表中不进行覆盖执行load之后, HDFS的inpat路径中就不再含有这个数据文件, 因为这个文件被移动到hdfs中存储hive数据的目录中(在hdfs中默认路径为 /user/hive/warehouse/表名)去了.加载HDFS文件到此表中进行覆盖法2,
转载
2023-08-18 22:47:32
301阅读
第 4 章 DDL 数据定义4.1 创建数据库1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create datbase db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exist 判断。（标准写法） hive (default)> create datbase
转载
2023-11-20 01:48:24
37阅读
# 使用Hive配置HDFS的地址解决问题
## 引言
Apache Hive是一个基于Hadoop的数据仓库基础设施，可以进行数据的存储、查询和分析。Hadoop Distributed File System（HDFS）是Hadoop中用于存储大规模数据的分布式文件系统。为了让Hive能够与HDFS进行有效的交互，我们需要配置Hive以使用正确的HDFS地址。本文将介绍如何通过配置Hive的
原创
2024-01-15 03:37:08
294阅读
# 如何查看Hive的HDFS地址
在Hadoop生态系统中，Hive是一个数据仓库工具，它提供了一种类似于SQL的查询语言来操作存储在Hadoop集群上的数据。在Hive中，数据实际上是存储在Hadoop分布式文件系统（HDFS）中的。有时候我们需要查看Hive中表的数据存储在HDFS上的路径，以便进行后续的操作或者分析。
## 方案
### 1. 使用DESCRIBE命令查看表的元数据信
原创
2024-06-28 05:32:22
231阅读
hive基本概念hive简介hive是什么Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。为什么使用hive1）简单易上手。提供了类sql查询语言HQL，提供快速开发的能力。2）避免了去写MapReduce，减少开发人员的学习成本。3）统一的元数据管理（HCalalog）。可与pig，presto等共享。4）为超大数据集设计的计算/扩
数据清洗创建项目1、第一步导入json2、上传csv表格至hdfs3、创建hdfs文件夹4、上传表格5、清理库6、修改interpreter7、创建原始数据表并且上传csv文件数据问题分析.表格处理问题1：8001-8100数据的有重复问题2：过滤掉store_review中没有评分的数据问题3：credit_no的加密问题4：transaction数据按照日期YYYY-MM做分区
csv处理
转载
2023-07-14 16:00:05
94阅读
一. Meta Store使用mysql客户端登录hadoop100的mysql,可以看到库中多了一个metastore现在尤其要关注这三个表DBS表,存储的是Hive的数据库TBLS表,存储的是Hive中的表,使用DB_ID和DBS表关联COLUMNS_V2存储的是每个表中的字段信息 Meta Store并不存储真实的数据,只是存储数据库的元数据信息,数据是存储在HDFS上的 
转载
2024-06-20 18:47:12
32阅读
标题压缩在Hadoop&Hive中的使用1、压缩概述（1）为什么需要压缩压缩的优点压缩的缺点（2）常用的压缩技术（3）压缩的使用场景2、压缩格式（1）常用压缩格式1）gzip优点：缺点：不支持split。2）bzip2优点：缺点：3）lzo优点：缺点：4）Snappy优点：缺点：（2）常用压缩格式对比1）测试环境2）压缩大小比较3）压缩时间比较4）压缩测试结论（3）压缩格式选型原则（4）
转载
2024-08-02 12:10:59
47阅读
一.HDFS写数据流程1.剖析文件写入(1)客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。(2)namenode返回是否可以上传。(3)客户端请求第一个 block上传到哪几个datanode服务器上。(4)namenode返回3个datanode节点，分别为dn1、dn2、dn3。(5)客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后
转载
2024-04-30 16:48:53
101阅读
数据块是一组或几组按顺序连续排列在一起的记录，是主存储器与输入设备、输出设备或外存储器之间进行传输的数据单位。在传统的块存储介质中，块是读写的最小数据单位 (扇区)传统文件系统基于存储块进行操作为了节省文件分配表空间，会对物理存进行储块整般合，一般大小为4096字节HDFS也使用了块的概念，但是默认大小设为64M字节可针对每个文件配置，由客户端指定每个块有一个自己的全局IDHDFS将一个文件分为一
转载
2023-07-12 10:10:03
82阅读
# Hive与HDFS的关系及直接存储数据到Hive的方式
## 简介
Apache Hive是一个数据仓库基础设施工具，允许用户使用类似SQL的语言（称为HiveQL）来查询存储在分布式文件系统中的大数据。更常见的是，Hive会将数据存储到Hadoop分布式文件系统（HDFS）中，但实际上，你可以直接将数据存储在Hive中，从而减少访问和管理的复杂性。
## Hive与HDFS
HDFS
原创
2024-10-30 05:06:53
71阅读
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 一、Hive 参数1、Hive 参数类型hive当中的参数、变量，都是以命名空间开头；通过${}方式进行引用，其中system、env下的变量必须以前缀开头；在Hive
转载
2023-07-20 18:26:10
111阅读
命令：load data local inpath '/root/my_data/01_cookie.txt' into table test.t_cookie;在linux系统hive中执行，把/root/my_data/01_cookie.txt文件加载到集群中hdfs的/user/hive/warehouse下test库t_cookie表，命令成功。但是该语句放到datagrip上或者Hue
转载
2023-07-14 12:53:47
666阅读
