Hadoop的安装与配置几个知识点： HDFS：底层，存储 HBase ：NOSQL列数据库 Map Reduce：编程模型，用于并行计算 ZooKeeper：分布式应用程序协调服务 Avro：数据序列化系统，设计用于支持大批数据交换的应用 Pig：大数据分析工具 Hive：数据仓库，依赖传统关系型数据库（行存储） Sqoop：数据导入导出模式**怕装坏了，可以先在虚拟机拍摄快照**Xftp连接虚
转载
2023-07-14 15:40:58
104阅读
1、什么是Hive Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL (Hibernate Query Language)转化成 MapReduce 程序 1）Hive 处理
转载
2023-07-30 13:10:37
45阅读
在centos7下搭建hadoop环境确保在hosts文件中已配置红框中文字，bogon是我的系统用户名，跟在@后面的 1.首先安装好jdk，我是直接yum安装的，此处划重点！！一定要安装devel版本！！！！你可以看到它有这么多坑爹的东西==yum -y install java-1.8.0-openjdk-devel.x86_64 安装好之后有下面这些东西然后配置环境变量，
转载
2024-10-05 12:00:39
17阅读
一、HiveHive是一个Hadoop实用工具，为在Hadoop中使用SQL提供了一个界面。 Hive自行维护（通常在本地存储系统中）表定义数据，而将表中的记录存储为HDFS中的文件，并使用Hadoop的MR实现对记录的并行访问（导入、查询）。准备使用Hive 尽管Hive可以不依赖Hadoop而以本地模式使用，但是结合Hadoop使用通常是Hive的典型使用方式。因此，在使用Hive前，需要有一
转载
2023-07-17 22:29:21
43阅读
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。1、命令行语法结构hive [-hive conf x=y]* [<-i file name>]* [<-
转载
2023-07-21 16:14:53
59阅读
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。 使用场景： 每天将收集到的网站日志定期流入HDFS文本文件。在外部表（原始日志表）的基础上做大量的统计分析，用到的中间表、结果表使用内部表存储，数据通过SELECT+
转载
2023-09-14 13:20:23
21阅读
一、什么是Hadoop?基于2003年google发表Map/Reduce 和 Google File System(GFS)论文研发。用java实现的HDFS（Hadoop分布式文件系统）+Map/Reduce（并行编程计算处理框架）。对大量数据进行分布式处理的软件框架。 二、Hadoop的优势 1、高可靠性：HDFS假设计算元素和存储会失败，因此它维护多个工作数据副本，确保
转载
2023-07-14 15:40:40
224阅读
一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名和位置信息。
转载
2024-02-19 13:06:53
22阅读
hive为用户提供了多种使用方式，包括本地客户端交互、将hive作为服务从远程通过客户端交互以及脚本化运行方式（常用）一、基本运行方式hive是一个单机程序，在安装hive的机器上，执行 hive进入交互界面后就可以执行各种对库、表的增删改查二、将hive启动为服务启动hive服务，监听10000端口，就不需要必须在安装hive的服务器上进行，可以在任意可以与hive服务通信的机器上启动
转载
2023-07-12 12:08:11
272阅读
在这一章之前 已经搭建好了hadoop，hive集群。且服务可以正常启动。 做好了前期这些准备工作，就可以动手实战hive了。库操作和我们平时用的sql一样 首先要建库 然后可以删改 这些基础语句很简单就不赘述。 这里要记录一点 就是你在hive里面 写完create datebase xxx 这个库会存到哪里。 默认路径是 ：hdfs://node1:8020/user/hive/warehou
转载
2023-08-28 22:25:40
63阅读
hadoop稳定版本选择 hadoop决定用比较稳定版本hadoop2.7.1hadoop2.7.1中与hbase1.2.x兼容。hbase1.x与hive2.x是兼容的，与hive1.x需要编译。因此这里决定hbase使用1.x,hive使用2.x hbase稳定版本选择hbase中目前版本有hbase0.98,1.1.4,1.2.1,这里面稳定版是hbase1.1.4，但是
转载
2023-09-13 23:40:00
219阅读
文章目录1. 什么是数仓1.1. 基本概念1.2. 主要特征1.2.1. 面向主题1.2.2. 集成性1.2.3. 非易失性（不可更新性）1.2.4. 时变性1.3. 数据库与数据仓库的区别1.4. 数仓的分层架构为什么要对数据仓库分层？1.5. 数仓的元数据管理2. Hive 的基本概念2.1. Hive 简介什么是 Hive为什么使用 HiveHive 的特点2.2. Hive 架构2.3.
转载
2024-01-09 21:55:38
44阅读
# Linux Shell与Hadoop Hive的关系
在现代数据处理中，Linux Shell和Hadoop Hive作为两个重要的工具，各自在其领域有着举足轻重的地位。那么，它们之间有什么样的关系呢？本文将为大家系统阐述这两者之间的联系，并通过代码示例和可视化图示增强理解。
## 一、Linux Shell简介
Linux Shell是一种命令行界面，可以使用户与操作系统进行交互。在数
原创
2024-08-28 07:03:46
51阅读
（1）进入Hive数据库在hive文件下: bin/hive（2）查看某个数据库show databases; （3）进入某个数据库 use xxx;系统默认使用default数据库：use default; （4）查看所有的表show tables; （5）显示表结构desc 表名;（6）查询表数据select * from 表名;（7）显示表名
转载
2023-05-30 10:53:40
123阅读
在搭建好hive后，我们接下来看看hive的使用。一、连接hive，查看现有多少个数据库；show databasese； 以上可以看出我有3个数据库；二、创建数据库；数据库会以文件夹.db的形式存在hdfs里；create database tb202; 三、创建表；表会文件夹的形式存在；前提是要先使用你创建的数据库。create table put_class(id str
转载
2023-06-12 16:47:13
63阅读
# Hadoop与Hive数据库建表指南
在当今大数据时代，Hadoop和Hive因其强大的数据处理能力而被广泛应用。Hive可以将大数据以SQL的方式进行查询和操作，是数据分析不可或缺的工具。本文将带你逐步了解如何在大数据环境下使用Hadoop和Hive建立表格。
## 流程概述
以下是创建Hive表的步骤概览：
| 步骤 | 描述
原创
2024-09-28 04:55:07
32阅读
前言：在按照自己之前的文档搭建Hadoop和hive时遇到不少的问题，特此记录。CentOS7下搭建Hadoop分布式集群Hadooop集群规划服务器IPhadoop01hadoop02hadoop03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNNodeManagerNodeManagerNodeManagerY
转载
2023-09-09 22:52:20
3阅读
1 HIVE基础概念1.1 什么是hiveHive：由Facebook开源用于解决海量结构化日志的数据统计问题所提出来的。 Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
转载
2023-09-06 13:26:40
40阅读
Hive入门（一）Hive与HDFS的数据映射集群启动Hive对象数据库表表的数据元数据映射Hive转换MapReduce功能映射执行解析metastore功能三种方式嵌入式数据库本地数据库远程Metastore服务两个位置默认位置自定义位置共享metastore服务metastore配置metastore启动 Hive部署Hive与HDFS的数据映射集群启动先启动HDFS：start-dfs.
转载
2023-07-21 14:27:47
61阅读
前言：在按照自己之前的文档搭建Hadoop和hive时遇到不少的问题，特此记录。CentOS7下搭建Hadoop分布式集群Hadooop集群规划服务器IPhadoop01hadoop02hadoop03HDFSNameNodeHDFSSecondaryNameNodeHDFSDataNodeDataNodeDataNodeYARNNodeManagerNodeManagerNodeManagerY
转载
2023-09-09 22:54:22
11阅读
