一、准备工作1. 预备安装包我将需要的包全部放到百度盘里了 ： 链接: https://pan.baidu.com/s/1NHxweoK7zYf5hqP1aLIHAw 提取码: ip4c hadoop-2.8.5.tar.gz、hbase-2.1.1-bin.tar.gz、apache-hive-2.3.4-bin.tar.gz、jdk-8u102-linux-x64.tar.gz、mysql-c
转载
2023-09-28 01:09:40
72阅读
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFS
start-dfs.sh
# 启动yarn集群
sta
转载
2023-07-23 17:15:15
66阅读
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt-get install mysql-server 系统会把MySQL下载并安装好。这里我们可以把MyS
转载
2024-08-02 11:31:55
99阅读
Ubuntu Hadoop集成Hive是一个高效的解决方案，可以用于大规模数据分析。本文将详细记录从环境准备到具体应用的整个过程，并提供相关图表以帮助理解各个组件之间的关系。
## 环境准备
在准备环境之前，确保你的Ubuntu系统已经安装了Java Development Kit (JDK)。
### 依赖安装指南
| 组件 | 版本 | 备注
文章目录一、安装JDK81）JDK下载地址2）设置环境变量3）验证二、Hadoop安装（window10环境）1）下载Hadoop3.1.32）Hadoop配置环境变量3）在hadoop解压目录下创建相关目录4）修改Hadoop配置文件1、core-site.xml文件：添加以下配置2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径3、mapred-site.xml文件：添
转载
2023-12-04 17:32:24
75阅读
hive安装配置介绍Hadoop环境mysql环境准备安装hivehive配置hive-site.xml配置mysql驱动复制环境变量添加启动hive遇见问题 介绍hive是在Hadoop中非常重要的角色。hive在1.2.0之前可以将编写的SQL翻译为MapReduce程序，在2.0版本后将程序翻译为Spark程序。安装前提Hadoop环境（hive不存储实际的业务数据，数据存储在HDFS上）
转载
2024-02-20 10:50:11
84阅读
Hive简介： Hive是基于Hadoop的一个数据仓库管理工具，可以将结构化的数据文件映射为数据库表，提供sql查询统计功能（Hive 定义了简单的类 SQL 查询语言，称为 HQL），其底层实现是：将SQL语句转换为MapRecuce程序任务执行对应的查询功能(Yarn集群启动)。 为什么要使用hive？
一、环境准备 1、下载Hue：https://dl.dropboxusercontent.com/u/730827/hue/releases/3.12.0/hue-3.12.0.tgz 2、安装依赖 yum groupinstall -y "Development Tools" "Developme
转载
2021-06-10 11:38:00
299阅读
2评论
软件环境:linux系统: CentOS6.7
Hadoop版本: 2.6.5
zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1
192.168.179.202: m2
192.168.179.203: m3
m1: Zookeeper, Namenode, DataNode, Reso
转载
2024-10-12 11:17:11
56阅读
这几天我尝试了hadoop+spark+hive+mysql集成方案：1. Hadoop: 提供HDFS服务2. Spark: 实现map-reduce分析算法3. Hive提供Spa
转载
2023-09-20 06:35:03
70阅读
1.系统环境VMware-workstation：VMware-workstation-full-16.2.3ubuntu：ubuntu-21.10hadoop：hadoop2.7.2mysql：mysql-connector-java-8.0.19jdk：jdk-8u91-linux-x64.tar（注意要是linux版本的，因为是在linux系统中创建虚拟机）hive：hive1.2.1小技巧
转载
2023-09-04 16:25:31
97阅读
【Apache】Hadoop 3.2.1集群集成Kerberos系列文章传送门参考资料1. 创建HDFS相关的Kerberos账户并导出keytab文件1.1 master节点1.2 slave1节点1.3 slave2节点2. 修改HDFS配置文件2.1 yarn-env.sh2.2 mapred-env.sh2.3 core-site.xml2.4 hdfs-site.xml2.5 yarn
转载
2023-11-03 16:51:10
171阅读
Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存 在语言门槛。 需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为 一张表，并提供完整的sql查询功能，可以将 sql语句转换为 MapReduce任 务进行运行。其优点是学习成本低，可以通过类 SQ
转载
2023-07-13 16:35:38
114阅读
目录标题1、Hadoop是什么2、Hadoop发展历史3、Hadoop优势4、Hadoop组成4.1 HDFS4.2 YARN4.3 MapReduce架构概述4.4 HDFS、YARN、MapReduce 三者关系5、大数据技术生态系统6、推荐系统的框架图 1、Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析
转载
2023-07-12 11:15:50
68阅读
Hadoop是一个分布式计算的开源框架，包含三大核心组件：HDFS（Hadoop Distributed System分布式文件系统）、HIVE（数据仓库工具）、HBASEHDFSHDFS是Hadoop生态圈最基础的存储引擎，请注意HDFS的设计主要为大文件存储，为高吞吐量的读取和写入服务，HDFS不适合存储小文件，也不支持大量的随机读写。Hive专门处理存储在HDFS数据仓库工具，通过Hive可
转载
2023-08-16 06:28:07
68阅读
初始Hadoop google的三篇论文(GFS,MapReduce,BigTable)很快促进了hadoop的面世，hadoop实际上起源于Nutch项目，于2006年2月正式启动，2008年开始hadoop正式火起来了。 Apache Hadoop和Hadoop 生态系统Common：一系列组件和接口，用于分布式文件系统和通用I/O Avro : 一种序列化系统，用于支持高效，
转载
2023-07-12 11:15:11
109阅读
一、Hive基本概念1、概念
Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 HQL转化成MapReduce （1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实
转载
2023-08-30 19:26:13
106阅读
目录一、概述1）Impala优点2）Impala缺点二、Impala架构1）Impala组件组成1、Client2、Impalad3、Statestore4、Catalog5、数据存储服务2）Impalad服务的三种角色3）Impala运行原理1、启动服务时执行的操作2、查询SQL的运行流程3、数据计算流程三、Impala环境部署（CDH集成）1）添加服务2）自定义角色分配3）审核更改4）安装完成
转载
2023-05-29 10:29:22
141阅读
**一、Hive介绍Hive官网：https://hive.apache.org/1.1 hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步
转载
2023-08-18 21:12:13
59阅读
Hive详解一、Hive简介二、Hive总体架构hive架构图如下：Hive基本组成三、Hive特点优点缺点四、Hive基本语法1、Hive DDL语法2、Hive DML语法五、总结 一、Hive简介hive是什么？ “懒人改变世界”，这是我一直坚信的理念。并不是提倡大家偷懒，而是要有懒人的思想，要想尽一切办法来减少自己的工作量，减少重复劳动力，提高生产效率。没有hive之前，作为程序猿需要对
转载
2023-07-12 11:15:36
78阅读
