嗨喽! 大家好,我是“流水不争先,争得滔滔不绝”的翀,欢迎大家来交流学习,一起入坑数据分析,希望我们一起好好学习,天天向上,目前在社会毒打中~~
曾几何时我脑海中一直以为Hive是个数据库,毕竟可以写sql查询,后面才知道我错了,而且是大错特错,Hive是一个构建于Hadoop顶层的数据仓库工具,允许用户输入SQL语句进行查询
那后面我就想不明白了,数据仓库工具,数据仓库,工具工具,那它查询的数据在哪里,HDFS?毕竟我了解到的Hadoop好像只有这个东西可以存东西,然后我谷歌,百度一顿乱搜,也没找到靠谱的答案,终于终于今天我找到答案了-----2021年12月30日
Hive在某种程度上可以看作用户编程接口,其本身并不存粗数据和处理数据,而是依赖HDFS来存储数据,依赖MapReduce来处理数据。 果然,做的大数据作业就感觉好像在create数据库,然后读书上传到HDFS上的数据,然后进行处理。
那么下面说一下Hive的不足之处:,来源《Spark编程基础》第一章内容:
Hive作为现有比较流行的数据仓库分析工具之一,得到了广泛的应用,但是由于Hive采用MapReduce来完成批量数据处理,因此,实时性不好,查询延迟较高。Impala 作为新一代开源大数据分析引擎,支持实时计算,它提供了与Hive类似的功能,通过SQL语句能查询存储在Hadoop的HDFS和HBase上的PB级别海量数据,并在性能上比Hive高出3~30倍。
总结
专栏学习
01 【数据分析实战项目】: 无人智能售货机商务分析、 线上课程智能推荐、 学术前沿趋势分析
02 【算法--数据挖掘】: 机器学习----吃瓜教程!、 集成学习、 深度学习 学术前沿趋势分析
03 【天池数据挖掘竞赛】: 心电信号多分类分类、 新闻推荐入门赛系统项目
04 【Python数据分析】: Numpy 数值计算基础、 Matplotlib 数据可视化基础、 Pandas 统计分析基础、 Pandas 进行数据预处理、 scikit-learn 构建模型
欢迎关注我,一起交流学习探索数据分析的世界,洞察数据!努力接受社会毒打~~
@翀- 我的博客主页