Hive目前底层还是用MapReduce,以后可能会用Spark,Tez。Hive差不多是一个查询接口,你的SQL语句还是会翻译成MapReduce任务的,你用explain就可以看到这些任务的执行计划。下面介绍下hive的基础安装过程以及简单的使用。环境信息:虚拟机数量:3台
操作系统:Ubuntu 14.04
实验环境及版本:
Hadoop:Hadoop 2.2.0
Java:java ver            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-24 10:59:56
                            
                                104阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             目录一.Hive的安装和配置1.Hive并不是hadoop自带的组件,因此我们需要去下载hive,此次课我们使用hive 1.2.1版本,下载地址为:2.下载完成之后,安装包默认保存在下载文件夹中,解压安装包apache-hive-1.2.1-bin.tar.gz至路径 /usr/local,命令如下:3.然后切换至目录 /usr/local,将文件夹名改为hive(为了后续的方便),            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-14 13:21:37
                            
                                187阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            要提前安装Hadoop下载spark并在虚拟机解压,解压到usr/local文件夹重命名为 spark给当前用户这个文件夹的权限修改spark的配置文件 spark-env.sh[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YqQtOlO5-1603533615805)(en-resource://database/972:0)]
在第一行添加以下配置信息
expo            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-05-15 19:49:42
                            
                                238阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            配置单个容器,首先需要进入容器,在这之后的操作都是默认是进入容器内部的操作,所以你一定要进入容器,不要在外面自己一通瞎几把输入,然后发现配置了半天是在配置服务器本身而不是在配置容器,你将原地气哭。生成公钥,输入一下指令后,一直回车,不用输入其他内容,这样生成的密钥文件会保存在默认位置 一定要复制这个指令,因为            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-10-15 09:17:19
                            
                                0阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            本文介绍Hadoop在两个节点上的安装与配置即一个master和一个slave,安装版本为2.2.0,该版本及以上版本的安装方式几乎一致。需要注意的是hadoop使用Java语言编写,所以在安装Hadoop之前需要在机器上安装好Java运行环境(JDK),配置好环境变量。此外,每个节点都需要配置好静态ip地址以及设置好主机名,并将主机名写入hosts文件中。以及设置防火墙,或者直接关闭防火墙。一、            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-25 18:45:26
                            
                                86阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            接以前hadoop安装的文章,Hive是什么就不介绍了,网上一大堆。主要介绍在FreeBSD下的安装配置和跟Linux的异同以及几种Metastore的配置方式。
 
Hive在FreeBSD的安装配置上,跟Linux的差别不是很大,主要要注意一个shell的问题,FreeBSD下默认是没有bash的,所以需要先安装一个bash上去才可以正常的使用Hive。
             
                
                    
                        
                                                            
                                                                        
                                                                推荐
                                                                                        原创
                                                                                    
                            2012-03-30 19:58:03
                            
                                4060阅读
                            
                                                        
                                点赞
                            
                                                                                    
                                2评论
                            
                                                 
                 
                
                             
         
            
            
            
            用了1天时间,才完成hive的安装配置,一:首先安装mysql下载mysql for ubuntu版本,是deb版本sudo apt-get libaiosudo apt-get libmecab2之后使用dpkg -i mysql一系列的deb文件libmysql*mysql-community*mysql-client*mysql-server*查看whereis mysql,看到安装到了不同            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-08-27 11:51:18
                            
                                504阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            hadoop-2.7.3的安装和配置 实验准备hadoop安装文件安装hadoop-2.7.3配置hadoop将hadoop命令加入到PATH验证hadoop注意事项 实验准备本实验是在大数据课程实验总结(三)的实验基础上继续进行的,为确保实验完整,进行此次实验前请确保Xshell已经成功与四台虚拟机建立会话,建议打开Xshell工具中的“发送键输入到所有会话”功能以减少重复操作。 本次实验所需            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-07 17:23:22
                            
                                43阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2015-09-14 13:35:58
                            
                                546阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            centos7 安装hadoop 2.7 - 准备工作三台机器(内存大于2G) 分别写hosts、设定hostname10.10.13.246 master10.10.13.249 slave110.10.13.254 slave2关闭selinux关闭firewalldsystemctl disable firewalldsystemctl stop firewalldyum install -            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2016-07-28 17:15:50
                            
                                762阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            1、安装java 选择适合自己的jdk 我选择的是jdk7,下载地址如下http://www.oracle.com/technetwork/java/javase/archive-139210.html解压配置环境变量 vim /etc/profile---------------------JAVA_HOME=/usr/java/jdk1.7.0_45JRE_HOME=/usr/java/jdk            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                            精选
                                                        
                            2015-08-03 19:35:00
                            
                                851阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:192.168.1.100主机名:admin安装用户:root二、安装JDK 安装JDK1.7或者以上版本。这里安装jdk1.7.0_79。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2017-07-08 21:16:56
                            
                                1711阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            今天安装配置了一下hadoop, 在网上找的教程 尚硅谷的地址            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-06-20 17:13:19
                            
                                350阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            //hadoop安装配置---coco 
 # by coco 
 #2014-07-25 
 本资料主要介绍hadoop的安装配置过程。如有不懂的请联系:qq:120890945 
 本次环境以3台虚拟机为主: 
 192.168.8.96   db96 
 192.168.8.98   db98 
 192.168.8.99 &nb            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-06-08 15:49:00
                            
                                69阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            硬件环境
共有3台机器,ubuntu 10.04和9.10系统,Java使用的是jdk1.6.0。IP配置如下:
ingteam:192.168.0.1
ing-1:192.168.0.101
ing-2:192.168.0.102
前提:ssh rsync jdk1.6
$sudo apt-get install ssh
$sudo apt-get install rsync&nb            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2011-06-09 15:39:53
                            
                                684阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            系统准备:所需系统:64位CentOS系统一、软件准备二、服务器环境准备(每台服务器都执行)1、每台服务器都同步时间2、每台服务器都关闭iptables、关闭selinux3、每台服务器都修改/etc/hosts文件4、每台服务器都配置java环境(这里用的是jdk-1.8.0_45,需jdk7以上)5、每台服务器都配置Hadoop环境(这里使用的是Hadoop2.7.1,先不用安装Hadoop)            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2018-03-14 13:58:44
                            
                                497阅读
                            
                                                        
                                点赞
                            
                                                                             
                 
                
                             
         
            
            
            
            一.配置javahome由于我的java系统是已经安装完毕,而且是1.8版本满足hadoop要求,只要将javahome指向安装的目录即可先要取得java的安装目录先取得java命令路径,命令路径头就是java的安装目录ll了两次都是软链接,最后在/usr/lib...下找到了java的目录,目录我们只要复制到jre即可,多了少了都报错。vim/etc/profile#配置javahome#---            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2019-10-18 17:06:35
                            
                                745阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            镜像下载、域名解析、时间同步请点击阿里云开源镜像站(https://developer.aliyun.com/mirror/?utm_content=g_1000303593)前提条件:1、安装好hadoop2.7.3伪分布式环境(Linux环境);2、安装好MySQL5.7(推荐使用)(Windows环境),允许mysql远程连接3、并新建一个名为hive的数据库安装步骤:1、官网下载hive安            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2022-04-01 10:22:19
                            
                                445阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            requirement:     Java 1.6    Hadoop 0.20.x. ref:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingSttp://hive.apache.org/rel...            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2023-09-21 09:45:13
                            
                                98阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            -------------------------------------------一、前言二、环境三、配置1.内嵌模式2.本地模式3.远程模式四、测试-------------------------------------------一、前言    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将s            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2014-06-18 15:35:22
                            
                                8409阅读