### Hive是什么结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。### 为什么使用Hive1.） 直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短M
转载
2024-03-12 07:38:40
57阅读
本文是我即将由嵌入式底层驱动行业转入大数据研究领域的综述文章，案例摘自《程序员》电子期刊，由于初学者知识面较窄，查看文献量较少，因此后续还会在此基础上，继续跟踪并深入研究，为论文撰写积累知识储备和素材。1. 大数据技术的应用领域2. 大数据技术的几个应用案例3. 大数据技术的问题与挑战4. 大数据技术的前景展望1.大数据技术的应用领域1.1 大数据研究的四项关键技术（1）数据采集、预处理与存储技术
“ 大数据时代，熟练使用SQL是基础中的基础，而Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户快速、简便查询海量数据。”01 Hive是什么Hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据。举例：tel up
转载
2023-10-10 14:17:50
87阅读
二 Hive 安装环境准备2.1 Hive 安装地址2.2 Hive 安装部署1）Hive 安装及配置（1）把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下（2）解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面[atguigu@hadoop102 software]$ tar -
转载
2024-08-16 13:21:27
24阅读
一、Hive基本概念1.1 什么是Hive1） hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。2） Hive本质：将HQL转化成MapReduce程序 （1）Hive处理的数据存储在HDFS （2）Hive分析数据底层的实现是MapReduce （3）执
自从我第一次接触这个单词（简写）我就一直纳闷怎么发音，因为旁边的人一直在念circle/'sɜːk(ə)l/，但是我百度了一下，倒是没看到统一的标准。这次找到讲SQL发音历史的一篇文章，我翻译过来看个乐呵SQL存在了几十年了，支撑数十亿美元的市场，但还是有许多人（比如我）纠结其发音，到底是Ess-cue-ell，还是sequel/'siːkw(ə)l/2（外国人根本没发过circle这个音…） ？
安装完CDH后，发现里面的东东实在是太多了，对于一个初学大数据的来说就犹如刘姥姥进了大观园，很新奇，这些东东每个单拿出来都够喝一壶的。接来来就是一步一步地学习了，先大致学习了每个模组大致做什么用的，然后再按模组一个一个细致学习，并实际演练。我给自已的第一个课题是如何将Sql Server的一个表数据导入到HDFS中，网上有很多这样的教程，不过我觉得最有用的还是官网的User Guide，网上的教程
转载
2023-07-13 01:32:30
217阅读
大数据知识点全讲解之HiveHive简介Hive结构Hive与Hadoop的关系Hive安装Hive交互方式Hive数据类型Hive的基本数据类型Hive的复杂数据类型Hive元数据结构Hive和BeelineHive的基本操作数据库表操作内部表操作外部表操作分区表操作分桶表操作修改表结构 Hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供
转载
2023-07-12 20:01:38
63阅读
一、Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql
转载
2024-02-09 16:41:53
33阅读
一、Hive 基本概念1）Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。2）Hive 本质：将 HQL 转化成 MapReduce 程序；Hive 处理的数据存储在 HDFSHive 分析数据底层的实现是 MapReduce执行程序运行在 Yarn 上3）Hive 架构原理
二、Hive安装部署1. 安装 Hive1）把 apa
转载
2021-06-10 17:25:16
388阅读
离线计算组件1.1 hive hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。但是在转换为MapReduce的计算过程中，计算速度
转载
2023-08-28 20:47:02
100阅读
大数据之Hive简介第一部分一、Hive基本概念Hive简介Hive系统架构二、Hive的安装安装Hive安装MySQL配置Hive元数据到MySQL访问Hive使用元数据方式访问Hive使用JDBC方式访问HiveHive常用交互命令Hive常见属性配置Hive常见参数配置三、Hive的数据类型基本数据类型集合数据类型类型转换四、HiveDDL数据定义创建数据库创建表五、HiveDML数据操作
转载
2023-09-18 03:22:26
88阅读
一、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序； 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 二、Hive的优缺点 优点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避
转载
2023-09-08 19:09:26
72阅读
九、企业级调优9.1 Fetch 抓取Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。在 hive-default.xml.template 文件中 hive.fetch.task.convers
转载
2023-11-26 14:27:49
53阅读
Hive的简介 Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是将 HQL 转化成 MapReduce 程序1）Hive 处理的数据存储在 HDFS上2）Hive 分析数据底层的实现是 MapReduce3）执行程序运行在 Yarn 上 Hiv
文章目录1 基本概念1.1 什么是Hive1.2 Hive 的优缺点1.3 Hive 架构原理1.4 Hive 和数据库比较2 Hive 安装2.1 Hive 安装部署2.2 MySQL 安装2.3 Hive元数据配置到 MySQL2.4 使用元数据服务的方式访问 Hive2.5 使用 JDBC方式访问 Hive2.6 Hive 常用交互命令2.7 Hive 常见属性配置3 Hive 数据类型3
转载
2023-09-25 21:28:43
122阅读
Hive简介定义Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。hive特点▪ hive 最大的特点是通过类 SQL 来分析大数据，而避免了写 mapreduce Java 程序来分析数据，这样使得分析数据更容易。 ▪数据是存储在HDFS上的，hive本身并不提供数
转载
2023-10-04 09:18:40
73阅读
1：根据IDC作出的估测，数据每两年增长一倍。T2：根据IDC作出的估测，数据一直都在以每年50%的速度增长。T3：大数据是一种价值密度低，而商业价值高的数据集合。T4：大数据是由结构化、半结构化数据和非结构化数据组成的。T5：大数据是由结构化、半结构化数据和非结构化数据组成的。F6：大数据是一种价值密度低，商业价值也低的数据集合。F7：大数据是一种价值密度高，而商业价值低的数据集合。F8：Had
经常有同学问我，基于Hadoop生态圈的大数据组件有很多，怎么学的过来呢，毕竟精力有限，我们需要有侧重点，我觉得下面这几个组件至关重要，是基础组件，大部分人都需要会的，其它组件可以用的时候再去查查资料学习。hadoopHbaseHiveSparkFlinkKafkaHadoop是大数据的基础组件，很多组件都需要依赖它的分布式存储、计算；主要包括Hdfs、MR、Yarn三部分，这个需要找一些好的资料
以下hive版本3+，对应的hadoop也是3+安装下载➜ ~ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz解压➜ ~ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/Apache/配置环境变量vim /et
原创
2023-10-09 20:10:40
555阅读
