大数据技术之Hive第1章 Hive基本概念（了解）1.1 什么是Hivehttps://cloud.tencent.com/developer/article/14567861） hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。**2）**Hive本质：将H
转载
2023-07-14 12:58:48
122阅读
本文思路，看图说话，一张图，清晰总结二者差别以下对图中的各条做具体总结1、查询语言不做赘述2、数据存储位置不做赘述3、数据格式Hive：Hive 中未定义专门的数据格式，数据格式能够由用户指定，用户定义数据格式须要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile
转载
2023-08-26 15:33:11
6阅读
1. ES 基础
1.1 ES定义
ES=elaticsearch简写，Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到
[size=medium]
HBase 是一个面向列的分布式数据库。HBase 不是一个关系型数据库，其设计目标是用来解决关系型数据库在处理海量数据时的理论和实现上的局限性。传统关系型数据库在上世纪七十年代为交易系统设计，以满足数据一致性(ACID)为目标，并没有考虑数据规模扩大时的扩展性，以及单点系统失效时的可靠性。虽然经过多年的技术发展，产生了一些对
转载
2023-09-13 23:51:41
174阅读
什么是Hadoop?
面向大数据处理
擅长离线数据分析
分布式文件系统+计算框架(HDFS+MapReduce)
Hadoop不是数据库，Hbase才是数据库
Hadoop是一个快速进化的生态系统
Hadoop会使用在哪些行业？ 电子商务，移动运营商
什么是大数据？
大数据是个相对概念，基于目前的软硬件水平，满足不了预期性能的的数据量，就被称为大数据。
Hadoop子项目家族
Hbase &nbs
转载
2024-05-28 23:40:33
155阅读
1 Redis可以用来做什么？ 参考答案 Redis最常用来做缓存，是实现分布式缓存的首先中间件； Redis可以作为数据库，实现诸如点赞、关注、排行等对性能要求极高的互联网需求； Redis可以作为计算工具，能用很小的代价，统计诸如PV/UV、用户在线天数等数据； Redis还有很多其他的使用场景，例如：可以实现分布式锁，可以作为消息队列使用。2 Redis和传统的关系型数据库有什么不同？ 参考
转载
2023-10-18 13:59:42
171阅读
Doris 介绍https://github.com/apache/doris Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速
转载
2024-05-12 16:49:14
727阅读
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库和数据库的区别：
1. 逻辑层面/概念层面：数据库和数据仓库其实是一样的或者及其相似的，都是通过某个数据库软件，基于某种数据模型来组织、管理数据。但是，数据库通常更
转载
2023-07-12 15:01:26
140阅读
摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实 从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将 从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。 Hive 和数据库的比较 查询语言
一、非关系型数据库1、NOSQL 概念NoSQL(NoSQL = Not Only SQL)，意即“不仅仅是SQL”，是一项全新的数据库理念，泛指非关系型的数据库2、NOSQL 出现当超大规模和高并发的SNS类型的web2.0纯动态网站被访问时（比如淘宝的双十一），关系型数据库显得力不从心。而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多
转载
2024-07-01 21:34:36
67阅读
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的
转载
2023-07-06 17:28:05
0阅读
01. 初识MongoDB1.1 简介MongoDB是一个通用、基于文档的分布式数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。它是一个最像关系型数据库的非关系型数据库。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，
转载
2024-01-21 10:21:52
9阅读
概念关系型数据库：是创建在关系模型继承上的数据库，借助于集合代数等数学概念和方法来处理数据中的数据，mysql属于关系型数据库非关系型数据库：NoSQL数据库，Redis属于非关系行数据库Redis优点和缺点优点：redis使用内存存储，关系型数据库存储在磁盘，内存读取速度快缺点：内存成本高，不能大规模长时间存储使用缓存场景多读少些：如购物车、商品详情页存储类型字符串哈希表集合有序集合列表使用缓存
转载
2023-10-10 22:21:39
138阅读
在现在的互联网大潮中，NoSQL可谓是家喻户晓，Redis作为NoSQL中及其重要的一员，使我们走向架构道路的一条必经之路。作为运维工程师来说，是必须要掌握的！既然提到了Redis数据库是非关系型数据，并且需要掌握Redis数据库。那么关于关系型数据库与非关系型数据库的基本概念是必须要了解的。一、关系型数据库与非关系型数据库的基本概念：数据库按照其结构可以分为关系型数据库与其他数据库，而这些其他数
转载
2024-03-14 09:08:50
56阅读
HBase基础什么是NoSQLNoSQL和关系型数据库对比NoSQL和BI、大数据的关系HBase概述HBase应用场景增量数据-时间序列数据信息交换-消息传递内容服务-Web后端应用程序Apache HBase生态圈HBase分布式环境部署HBase物理架构 - 概述HBase物理架构 - HMasterHBase物理架构 - RegionServer-1HBase物理架构 - RegionS
转载
2023-10-10 07:03:47
6阅读
摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实 从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将 从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。Hive 和数据库的比较 查询语言HQLSQL
转载
2023-08-18 23:32:21
95阅读
一、关系数据库与非关系型数据库概述1、关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。 SQL 语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。主流的关系型数据库包括 Oracle、MySQL、SQL Server、Microsoft Access、DB2 等。2、非关系型数据库 NoSQL(N
转载
2023-08-05 16:51:54
109阅读
本文内容：什么是数据库什么是关系数据库什么是非关系型数据库什么是数据库？数据库是数据的仓库。与普通的“数据仓库”不同的是，数据库依据“
转载
2022-01-13 13:58:25
704阅读
本文内容：什么是数据库什么是关系数据库什么是非关系型数据库什么是数据库？数据库是数据的仓库。与普通的“数据仓库”不同的是，数据库依据“数据结构”来组织数据，因为“数据结构
转载
2021-07-13 13:51:31
1303阅读
GaussDB并非是一个产品，而是一系列产品的统称，目前GaussDB产品线主要包括GaussDB T (OLTP)和GaussDB A (OLAP)。其中GaussDB T的前身是GaussDB 100，是华为自2007年开始在自研内存数据库基础上全面改造而来的一款分布式数据库，此前华为由于在电信计费领域的需求而自主研发了一款内存数据库。GaussDB A的前身是GaussDB 200，是华为自
转载
2024-02-26 21:04:15
230阅读
