1、集群安装与配置以centos为例，首先创建4台虚拟机，分别命名为hp001、hp002、hp003、hp004。安装成功后，然后分别修改主机名（hp002、hp003、hp004同hp001）。vim /etc/sysconfig/network # 编辑network文件修改hostname hadoop1cat /etc/sysconfig/network cat /etc/
转载
2023-12-04 17:34:11
156阅读
写在前边的话： hadoop2.7完全分布式安装请参考：继任该篇博客之后，诞生了下面的这一篇博客 基本环境： Hadoop 2.7 &
转载
2024-03-12 13:15:44
390阅读
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQL的Server很简单，只需要运行： sudo apt-get install mysql-server 系统会把MySQL下载并安装好。这里我们可以把MyS
转载
2024-08-02 11:31:55
99阅读
Hive 安装依赖 Hadoop 的集群，它是运行在 Hadoop 的基础上。 所以在安装 Hive 之前，保证 Hadoop 集群能够成功运行。 同时，比如我这里的master、slave1和slave2组成的hadoop集群。hive的安装可以安装在任一一个节点上，当然，也可以安装在集群之外，取名为client。只需要ssh免密码通信即可。 1、 下载Hive 这
转载
2024-04-26 14:09:51
151阅读
Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能， Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程：http://39.105.70.212/?p=109# 启动HDFS
start-dfs.sh
# 启动yarn集群
sta
转载
2023-07-23 17:15:15
66阅读
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建。 本地模式需要采用MySQL数据库存储数据。1 环境介绍一台阿里云ECS服务器：master操作系统：CentOS 7.3Hadoop：hadoop-2.7.3.tar.gz
Java: jdk-8u77-linux-x64.tar.gz
Hive：apache-hi
转载
2024-05-18 17:49:56
109阅读
Hive简介Hive是基于hadoop的一个数据仓库，可以将sql语句转化为MapReduce任务进行运行，不必要专门开发MapReduce，Hive定义了简单的类SQL，即HQL，可以用来对数据进行ETL(提取转化加载)操作。一 . 安装前准备Hive是基于hadoop的，所以首先要安装好hadoop集群，至于安装hadoop可以参考，如和选择版本，在官网上http://hive.apache.
转载
2023-07-24 08:56:15
60阅读
# Hive Hadoop 集群以外的实现指南
随着大数据的快速发展，Hadoop 作为一种分布式计算框架，在处理海量数据时显得尤为重要。其中，Hive 是 Hadoop 生态系统中的一个重要组件，用于数据仓库和简单的 SQL 查询。然而，有时我们需要将 Hive 集群部署在 Hadoop 集群之外的环境中，以满足不同的需求。
本文将详细介绍如何实现“Hive Hadoop 集群以外”的目标，
原创
2024-08-29 06:36:39
8阅读
# 搭建Hadoop Hive Spark集群教程
## 1. 整体流程
下面是搭建Hadoop Hive Spark集群的整体流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 安装Hadoop |
| 2 | 配置Hadoop集群 |
| 3 | 安装Hive |
| 4 | 配置Hive |
| 5 | 安装Spark |
| 6 | 配置Spark |
| 7
原创
2024-04-11 04:00:28
80阅读
# 搭建 Hadoop Hive Spark 集群的完整指南
在大数据处理的领域，Hadoop、Hive 和 Spark 是三个非常重要的组件。通过这篇文章，我们将一步一步地指导你如何搭建一个完整的 Hadoop Hive Spark 集群。
## 一、搭建流程
在开始之前，我们先来看一下搭建整个集群的流程。以下是一个简单的步骤表格：
| 步骤 | 描述
原创
2024-10-27 06:03:53
25阅读
Hive的安装和配置及使用一、Hive的安装和配置1、实验目的及要求2、实验过程3、遇到的问题 一、Hive的安装和配置1、实验目的及要求1、完成Hive的安装与配置 2、Hive的相关服务能够正常运行 3、Hive控制台命令能够正常使用 4、表创建、数据查询等数据库操作能够正常运行 5、掌握数据仓库的使用 6、能正常操作数据库、表、数据2、实验过程任务一：Hive的安装与配置 一：Hive基本
转载
2023-09-01 10:43:22
89阅读
实验一 Hive的安装部署实验目的• 掌握Hive的安装方式• 掌握Hive的安装过程硬件环境要求实验环境PC机至少4G内存，硬盘至少预留50G空间。软件要求l 安装部署好Hadoop，本次实验演示是基于3个节点的Hadoop集群，主节点主机名为Hadoop00，两个从节点主机名为Hadoop01和Hadoop02。l 安装好mysql数据库&nbs
转载
2023-07-14 23:40:10
157阅读
前阵子想学习一下数据仓库相关内容，发现要学习hive软件，然后最近这几天终于把配置的东西整得差不多明白了。首先，hive是基于hadoop集群才能运行的软件，而hadoop又是要基于java环境采用MapReduce做计算，而hadoop通常运行在linux环境上。hive所执行的功能只不过是将你编写的SQL语句解释编译为MapReduce能够执行的程序而已。此外，hive具有把结构化文件映射为数
转载
2023-08-30 11:45:53
51阅读
# Hadoop集群配置Hive
## 引言
在大数据领域，Hadoop是一个非常重要的分布式计算框架，它可以处理海量数据，并提供高可靠性和高扩展性。而Hive则是Hadoop生态系统中的一个数据仓库工具，它可以方便地进行数据查询和分析。
本文将介绍如何在Hadoop集群上配置Hive，以便使用Hive进行数据分析和查询。我们将重点介绍Hive的安装和配置过程，并提供相应的代码示例。
##
原创
2024-01-17 05:53:28
59阅读
Hive mysql的metastore安装准备（***掌握***） 在nameNode1机子上实践： 把hive-0.12.0.tar.gz解压到/itcast/ # tar -zxvf hive-0.12.0.tar.gz -C /itcast 修改/etc/profile文件，将hive加入环境变量 # vim /etc/profile export JAVA_HOME=/usr/java/...
原创
2021-07-29 10:44:38
893阅读
一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度
转载
2023-08-22 19:33:33
46阅读
Spark是一个开源的通用并行分布式计算框架，由加州大学伯克利分校的AMP实验室开发，支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。Spark内存计算框架适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，现已逐渐获得很多企业的支持，如阿里巴巴、百度、网易、英特尔等公司。1、 Spark VSHadoop有哪些异同点？&nb
转载
2023-10-05 16:37:34
6阅读
Hive本身是建立在Hadoop之上的用于处理结构化数据的数据仓库基础工具。它提供一系列的工具用于数据提取、转化、分析、加载。其提供类SQL语言HQL用于处理存储在Hadoop上的海量数据。所以，数据是在HDFS上，计算是MR/Spark，Hive自身并没有承担过多的压力。Hive不需要做集群。1、软件环境：centos6.8：sparknode1、sparknode2、sparknode3、sp
转载
2023-07-12 13:29:50
89阅读
Hive在Hadoop集群下的安装 文章目录Hive在Hadoop集群下的安装一、hive安装前必备步骤二、安装Hive三、配置Hive的环境变量四、测试连接 一、hive安装前必备步骤Hadoop集群能正常运行安装参考MySql安装 安装参考 需要增加以下步骤： 1）输入 ：my -uroot -pok 启动数据库 2）输入：use mysql创建用户：create user 'bigdata'
转载
2023-07-04 10:58:12
60阅读
作为一个多年的DBA，hadoop家族中，最亲切的产品就是hive了。毕竟SQL的使用还是很熟悉的。再也不用担心编写Mapreducer的痛苦了。
简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和分析，而不必使用编程语言开发MapReduce那么麻烦。
原创
精选
2017-12-24 16:53:44
10000+阅读
点赞
