文章目录Hive 简介一,MySQL 下载和安装1)下载mysql2)安装mysql3)密码错误无法登录mysql二,Hive 下载和安装1)下载hive2)安装hive三,Hive 部署1)添加hive-site.xml配置2)上传mysql jdbc驱动到hive安装包lib下3)初始化元数据库4)启动hive5)beeline客户端连接 Hive 简介hive是基于Hadoop的一个数据仓            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-14 16:13:25
                            
                                143阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            首先要知道Hive和HBase两者的区别,我们必须要知道两者的作用和在大数据中扮演的角色概念 Hive 1.Hive是hadoop数据仓库管理工具,严格来说,不是数据库,本身是不存储数据和处理数据的,其依赖于HDFS存储数据,依赖于MapReducer进行数据处理。2.Hive的优点是学习成本低,可以通过类SQL语句(HSQL)快速实现简单的MR任务,不必开发专门的MR程序。3.由于Hive是依赖            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-20 10:41:16
                            
                                119阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            文章目录
• 01 MPP规划
• 02 上传安装程序
• 03 DM数据库安装
• 04 初始化实例
• 05 注册服务
• 06 分别修改dm.ini,使ARCH_INI=1
• 07 增加新文件
• 08 初始化实例主库EP_11,初始化实例备库EP_12
• 09 注册服务
• 10 分别修改dm.ini,使ARCH_INI=1
• 11 增加新文件dmarch.ini
• 12 将EP_            
                
         
            
            
            
            HBase数据库基本操作一、启动Hadoop和HBase1.打开Hadoop2.启动HBase3.进入Shell界面二、HBase中创建表三、HBase数据库基本操作1.添加数据2.删除数据3.查看数据4.删除表5.查询表历史数据6、退出HBase数据库表操作 一、启动Hadoop和HBase1.打开Hadoopcd /usr/local/hadoop/
./sbin/start-dfs.sh2            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-08-16 14:28:05
                            
                                208阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
             一、安装Hive          1. 下载解压重命名权限(解压)(重命名+修改权限)            2.配置环境变量  $HIVE_HOME(添加红框中变量)           3.修            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-06-12 09:42:32
                            
                                170阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            数据仓库搭建之数据仓库环境准备1.Hive安装部署(1)我们首先需要将apache-hive-3.1.2-bin.tar.gz上传到linux的**/opt/software**目录下(2)解压apache-hive-3.1.2-bin.tar.gz到**/opt/module/**目录下面[root@hadoop102 software]$ tar -zxvf /opt/software/apa            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-20 20:17:04
                            
                                80阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            ======一.Hive数据库的安装======<code>1.首先需要安装以上hadoop环境。2.安装mysql环境存储Hive的元数据,因为默认的元数据是存放在derby(只支持一个链接,用于测试)实际环境用mysql。3.安装环境使用centos 6.5  IP为:192.168.0.12</code>======二.安装mysql数据库存储Hive元数据            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2017-11-27 15:06:55
                            
                                2031阅读
                            
                                                        
                                点赞
                            
                                                                             
                 
                
                             
         
            
            
            
            本来想在windows下实现安装的,结果发现windows安装的hive数据库莫名奇妙不能插入数据只能选择ubuntu了,我用的是双系统,不需要虚拟机的设置,也没有创建相关的用户,直接在自己的用户下安装的。这里作一下备份把。1、前期准备:首先是需要安装java和mysql数据库。1.1java安装hadoop的mapredure是基于java实现的,这里不建议安装太高的版本。后面可能会报错,我用的            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2024-02-26 15:49:42
                            
                                24阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            # Hive数据库在Windows上的安装指南
Hive 是一个数据仓库基础设施,构建于 Hadoop 之上,可以用来处理大规模的数据集。它通过 SQL-like 的语言(HiveQL)来查询数据,非常适合用进行大数据分析。本文将为您提供在 Windows 上安装 Hive 数据库的详细步骤,并附带代码示例。
## 安装前提
在开始安装之前,请确保您的系统已经安装了以下软件:
1. **J            
                
                    
                        
                                                            
                                                                        
                                                                                        原创
                                                                                    
                            2024-10-30 05:58:22
                            
                                254阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            在本篇博文中,我们将详细记录如何在 Ubuntu 系统上安装 Hive 数据库的过程,涵盖环境准备、分步指南、配置详解、验证测试、排错指南以及扩展应用等方面。Hive 是一个基于 Hadoop的数据仓库工具,可以用来提供数据分析的功能,非常适合大数据背景下的使用。
### 环境准备
首先,确保你的 Ubuntu 系统具备以下前置依赖:Java、Hadoop、Hadoop生态系统组件。我们使用以            
                
         
            
            
            
            1、安装ELK1)ElasticSearchELK简介ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成,还有其他专门由于收集数据的轻量型数据采集器Beats。Elasticsearch:分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析,并能将这三者结合起来 Elasticsearch: 是用Java 基于 Lucene 开            
                
         
            
            
            
            【简介】(1):HBase是一个分布式的、面向列的开源数据库,一个结构化数据的[分布式存储系统]”。(2):HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。(3):HBase利用Hadoop HDFS作为其文件存储系统;HBase同样利用Hadoop MapReduce            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-24 10:31:37
                            
                                41阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            一、Hadoop简介1.什么是HadoopHadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的。2.Hadoop的核心架构Hadoop Common:提供基础设施; Hadoop HDFS:(Hadoop Distributed File System)一个高可靠、高吞吐量的分布式文件系统; Hadoop MapReduce:一个分布式的离线并行计            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-20 10:30:43
                            
                                88阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive基础知识 
 1.Hive 有哪些特点?Hive 最适合于数据仓库应用程序,使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,而且数据本身不会频繁变化。Hive 不是一个完整的数据库。Hadoop 以及 HDFS 的设计本身约束和局限性的限制了 Hive 所能胜任的工作。其中最大的限制就是不支持记录级别的更新、插入或者删除操作。但是用户可以通过查询生成新表或者将查            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-27 22:30:00
                            
                                181阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            hive是什么,它能做什么,为什么要学习hive?hive数据仓是由美国的Facebook公司开源的,主要是为了解决海量结构日志的数据统计而诞生的。hive数据仓主要是基于Hadoop的一个开源数据仓库工具,也是Hadoop的生态圈,它不仅可以将结构化的数据文件映射为一张表,还有为我们提供SQL查询语句,容易上手,只要你懂一些MySQL数据库一些基本的SQL语句,你便轻松玩转hive数据仓。&nb            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-12 22:35:24
                            
                                64阅读
                            
                                                                             
                 
                
                             
         
            
            
            
                                             &n            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-10-16 00:37:50
                            
                                39阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            一、Hive数据导入导出1、hive数据导出 很多时候,我们在hive中执行select语句,希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中,hive提供了方便的关键词,来实现上面所述的功能。
    1.将select的结果放到一个新表中(首先要用create table创建新的表格)
       insert overwrite table table_name            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-05-18 13:45:56
                            
                                422阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            hadoop简介Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,从而在计算机集群之上提供高可用性服务,每个计算机都可能容易出现故障。
hadoop的思想之源来源于Google在大数据方面的三篇论文
GFS            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-09-13 15:29:17
                            
                                427阅读
                            
                                                                             
                 
                
                             
         
            
            
            
            大数据技术的实现离不开很多其他的技术,我们提到最多的就是Hadoop技术,其实就目前而言,Hadoop技术看似是自成一套体系,其实并不是这样的,Hadoop和Spark以及分布式数据库其实也是存在差异的,我们就在这篇文章中给大家介绍一下这些内容。首先我们说一说大数据分析,现在的大数据分析体系以Hadoop生态为主,而近年来逐渐火热的Spark技术也是主要的生态之一。可以这么说,            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-24 10:53:30
                            
                                240阅读
                            
                                                                             
                 
                
                                
                     
                                    
                             
         
            
            
            
            Hive、HBase、Impala、HDFS是Hadoop生态体系中常用的开源产品,各个产品间是一个什么样的关系,许多人都搞不清楚,本文将进行研究分析。Hadoop生态在了解Hive、HBase、Impala、和HDFS之前,先熟悉一下Hadoop的生态。Apache Hadoop软件库是一个框架,允许使用简单的编程模型在计算机集群之间对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台计算            
                
                    
                        
                                                            
                                                                        
                                                                                        转载
                                                                                    
                            2023-07-25 18:46:21
                            
                                384阅读
                            
                                                                             
                 
                
                                
                    