一、准备工作1. 预备安装包我将需要的包全部放到百度盘里了 : 链接: https://pan.baidu.com/s/1NHxweoK7zYf5hqP1aLIHAw 提取码: ip4c hadoop-2.8.5.tar.gz、hbase-2.1.1-bin.tar.gz、apache-hive-2.3.4-bin.tar.gz、jdk-8u102-linux-x64.tar.gz、mysql-c            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-28 01:09:40
                            
                                72阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能, Hive 底层是将 SQL 语句转换为 MapReduce 任务运行一、前 期准备1.保证 Hadoop 集群搭建成功并启动hadoop集群搭建教程:http://39.105.70.212/?p=109# 启动HDFS
start-dfs.sh
# 启动yarn集群
sta            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-23 17:15:15
                            
                                66阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Hadoop集群搭建之Hive安装1. 准备工作准备好已经安装了Hadoop的集群服务器之后,需要在其中一台中安装MySQL数据库,安装可以参考CentOS7安装MySQL5.7这篇文章。下载Hive的安装包并上传至其中一台服务器中,下载地址2. Hive本地安装1. 安装目录规划统一安装路径:/opt/modules
统一软件存放路径:/opt/software2. 上传压缩包1. 将压缩包上传            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-08 20:32:19
                            
                                34阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Hive是Hadoop生态中的一个重要组成部分,主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集,下面我们在这个群集上再搭建Hive的群集。1.安装MySQL1.1安装MySQL Server在Ubuntu下面安装MySQL的Server很简单,只需要运行:  sudo apt-get install mysql-server  系统会把MySQL下载并安装好。这里我们可以把MyS            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-08-02 11:31:55
                            
                                99阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            文章目录一、安装JDK81)JDK下载地址2)设置环境变量3)验证二、Hadoop安装(window10环境)1)下载Hadoop3.1.32)Hadoop配置环境变量3)在hadoop解压目录下创建相关目录4)修改Hadoop配置文件1、core-site.xml文件:添加以下配置2、hdfs-site.xml文件:添加以下配置,路径改成自己的安装路径3、mapred-site.xml文件:添            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-12-04 17:32:24
                            
                                75阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Ubuntu Hadoop集成Hive是一个高效的解决方案,可以用于大规模数据分析。本文将详细记录从环境准备到具体应用的整个过程,并提供相关图表以帮助理解各个组件之间的关系。
## 环境准备
在准备环境之前,确保你的Ubuntu系统已经安装了Java Development Kit (JDK)。
### 依赖安装指南
| 组件       | 版本         | 备注            
                
         
            
            
            
            Hive简介Hive是基于hadoop的一个数据仓库,可以将sql语句转化为MapReduce任务进行运行,不必要专门开发MapReduce,Hive定义了简单的类SQL,即HQL,可以用来对数据进行ETL(提取转化加载)操作。一 . 安装前准备Hive是基于hadoop的,所以首先要安装好hadoop集群,至于安装hadoop可以参考,如和选择版本,在官网上http://hive.apache.            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-24 08:56:15
                            
                                63阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            hive安装配置介绍Hadoop环境mysql环境准备安装hivehive配置hive-site.xml配置mysql驱动复制环境变量添加启动hive遇见问题 介绍hive是在Hadoop中非常重要的角色。hive在1.2.0之前可以将编写的SQL翻译为MapReduce程序,在2.0版本后将程序翻译为Spark程序。安装前提Hadoop环境(hive不存储实际的业务数据,数据存储在HDFS上)            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-20 10:50:11
                            
                                84阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             目录一.Hive的安装和配置1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为:2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下:3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-14 13:21:37
                            
                                187阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            hive            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2018-08-29 18:49:46
                            
                                1691阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            Hive在Hadoop集群下的安装 文章目录Hive在Hadoop集群下的安装一、hive安装前必备步骤二、安装Hive三、配置Hive的环境变量四、测试连接 一、hive安装前必备步骤Hadoop集群能正常运行安装参考MySql安装 安装参考 需要增加以下步骤: 1)输入 :my -uroot -pok 启动数据库 2)输入:use mysql创建用户:create user 'bigdata'            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-04 10:58:12
                            
                                60阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive简介:         Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为数据库表,提供sql查询统计功能(Hive 定义了简单的类 SQL 查询语言,称为 HQL),其底层实现是:将SQL语句转换为MapRecuce程序任务执行对应的查询功能(Yarn集群启动)。 为什么要使用hive?             
                
         
            
            
            
            一、环境准备 1、下载Hue:https://dl.dropboxusercontent.com/u/730827/hue/releases/3.12.0/hue-3.12.0.tgz 2、安装依赖 yum groupinstall -y "Development Tools" "Developme            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2021-06-10 11:38:00
                            
                                303阅读
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            软件环境:linux系统: CentOS6.7
Hadoop版本: 2.6.5
zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 
192.168.179.202: m2 
192.168.179.203: m3 
m1: Zookeeper, Namenode, DataNode, Reso            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-10-12 11:17:11
                            
                                56阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            安装数据仓库Hive实验目的要求实验环境软件版本实验步骤步骤一:Hive工具安装配置步骤二:开启zookeeper集群,Hadoop集群以及HBase集群步骤三:创建hive元数据数据库步骤五:Hive工具启动和验证 实验目的要求目的: 1、数据仓库工具Hive的安装和配置 2、掌握数据仓库工具Hive的安装和配置 要求: 1、完成Hive工具的安装和配置 2、Hive工具能够正常启动运行 3、            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-13 17:28:08
                            
                                110阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、所需软件 Java 必须安装。Hadoop 2.7 及以后版本,需要安装 Java 7 ssh 必须安装并且保证 sshd 一直运行,以便用 Hadoop 脚本管理远端Hadoop 守护进程,如果没有安装,ubuntu系统:$ sudo apt-get install ssh
$ sudo apt-get install rsync二、下载hadoop 地址:http://www.apache            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-03 21:12:47
                            
                                89阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive目前底层还是用MapReduce,以后可能会用Spark,Tez。Hive差不多是一个查询接口,你的SQL语句还是会翻译成MapReduce任务的,你用explain就可以看到这些任务的执行计划。下面介绍下hive的基础安装过程以及简单的使用。环境信息:虚拟机数量:3台
操作系统:Ubuntu 14.04
实验环境及版本:
Hadoop:Hadoop 2.2.0
Java:java ver            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-24 10:59:56
                            
                                104阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            1.show databases 查看有那些数据库2.创建park数据库,实际上hadoop的HDFS文件系统里创建一个目录节点,统一存在/usr/hive/wareshouse目录下3.进入数据库4.查看当前数据库下的所有表5.创建stu表,以及相关的两个字段 在hive中,用的是string,不用char和varchar,此外,所创建的表,也是HDFS里的一个目录节点。 在hive里面有一个d            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-20 19:37:15
                            
                                73阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            文章目录基于Hadoop的数据仓库Hive安装1、安装Hive1.1 下载Hive源程序1.2 解压并重命名1.3 修改文件权限1.4 配置环境变量1.5 配置hive-site.xml2、安装并配置MySQL2.1 下载mysql jdbc包2.2 解压并拷贝2.3 启动并登陆mysql shell2.4 新建hive数据库2.5 配置mysql允许hive接入2.6 启动hadoop2.7            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-14 13:39:42
                            
                                100阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            本文主要是演示在Hadoop单机模式中Hive默认(嵌入式derby 模式)安装配置过程,目录结构如下:基础环境Hive安装配置启动及演示[一]、基础环境Mac OSX 10.9.1Java 1.6+ Hadoop 2.2.0 (安装配置详见: http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setup            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-04-19 11:52:39
                            
                                38阅读