2006年，Google发布了第三篇重要论文中的《BigTable：A Distributed Storage System for Structured Data》，用于解决Google内部海量结构化数据的存储以及高效读写问题。与前两篇论文相比，这篇论文更难理解一些。这是因为严格意义上来讲，BigTable属于分布式数据库领域，需要具备一定的数据库基础，而且论文中提到的数据模型（多维稀疏排序映射
转载
2023-07-04 20:47:11
204阅读
Hbase作为Hadoop下的一个子项目，目前发展比较强大，和传统的关系型数据库oracle来比，两者各有优缺点，我们先看一个简单的表格。 数据维护：比如更新，只是按照key值插入新的记录，旧版本还在，会在storefile合并过程中进行删除数据维护：增删查改非常方便，直接修改以上简单罗列了Hbase和Oracle两者的区别，还有其他更细节的地方这里就没有描述，可以从上面的对比看出，两者
转载
2023-07-04 20:47:38
55阅读
Hive知识点1.概念1.1Hive和Hadoop的关系1.2什么是Hive1.3Hive的本质1.4Hive应用场合2.Hive架构3.Hive PK RDMBS 1.概念1.1Hive和Hadoop的关系Hadoop：HDFS、MR、YRAN Hive 处理的数据存储在HDFS 分析数据底层的实现MR 执行程序运行用YARN相当于Hive将Hadoop进行了封装1.2什么是Hive1.Hiv
转载
2023-07-12 14:29:13
63阅读
什么是HDFSHDFS是一个使用Java实现的、分布式的、可横向扩展的文件系统。是Hadoop的核心组件基于Linux/NiunxHDFS和Hadoop的关系Hadoop：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 HDFS: Hadoop实现了一个分布式文件系统（Hadoop Distributed
转载
2023-08-18 20:52:46
157阅读
4.1 概述4.1.1 从BigTable说起BigTable是一个分布式存储系统 ，起初用于解决典型的互联网搜索问题（Google大规模搜索问题）利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据使用谷歌分布式文件系统GFS作为底层数据存储采用Chubby提供协同服务管理可以扩展到PB级别的数据和上千台机器，具备广泛应用性、可扩展性、 高性能和高可用性等特点谷歌的许多项目都存储在B
转载
2023-09-05 13:53:22
169阅读
注：本文是结合hbase实战以及网上的博文概述了一下，以作后期使用时的备份。 参考资料： 百度地图，美团，大众点评等等等等，都会有查找附近的功能，如何实现呢？计算所在位置P与北京所有餐馆的距离，然后返回距离<=1000米的餐馆。餐馆何其多啊，这样计算不得了，既然知道经纬度了，那它应该知道自己在西城区，那应该计算所在
1. 试述Hadoop和谷歌的MapReduce、GFS等技术之间的关系。Hadoop 是一个开源的分布式计算框架，其主要目的是为了处理大规模数据集。它包含了分布式文件系统 HDFS 和分布式计算框架 MapReduce，被广泛应用于大数据处理领域。谷歌的 MapReduce 和 GFS 技术则是 Hadoop 的灵感来源。MapReduce 是一种用于处理大规模数据集的编程模型和算法，它将数据分
转载
2023-11-30 06:18:51
747阅读
BigTable 其实就是 Google 设计的分布式结构化数据表.Bigtable 的设计动机:需要存储的数据种类繁多,包括URL、网页内容、用户的个性化设置在内的数据都是Google需要经常处理的需要存储的数据种类繁多海量的服务请求,Google运行着目前世界上最繁忙的系统,它每时每刻处理的客户服务请求数量是普通的系统根本无法承受的.商用数据库无法满足需求,一方面现有商用数据库的设计着眼点在于
转载
2023-10-01 15:51:20
169阅读
什么是ETL：即extract：提取transform：转换load：加载ETL其实是数据清洗后的数据 什么是数据中台：从抽取数据开始，到最终用户看到，这一系列过程都是数据中台；指的是一套数据应用和工具，包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等，底层则已现有的数仓、大数据平台等为数据源，为企业提供数据资产管理的能力，并持续挖掘数据
转载
2023-07-11 22:42:02
204阅读
1.1 Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark and Hadoop在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。 搜图 编辑 请输入图片描述首先从时间节点上来看:➢ Hadoop2006 年
转载
2023-07-25 00:26:46
80阅读
# Bigtable和HBase的区别
在这个快速发展的数据时代，理解不同数据库的特性是开发者不可或缺的一项技能。今天，我们将探讨Google的Bigtable和Apache的HBase之间的区别。为了帮助你更好地理解这些概念，我们首先会通过一个流程表格来总结主要的步骤，然后深入探讨在每一步中应该做的事情，最后通过代码示例来加深你的理解。
## 流程步骤
| 步骤 | 描
Hadoop：是一个分布式计算的开源框架HDFS：是Hadoop的三大核心组件之一Hive：用户处理存储在HDFS中的数据，hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。Hbase：是一款基于HDFS的数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hive与HBase的区别与联系区别：Hi
转载
2023-06-12 19:47:19
310阅读
上网Google了下什么是HBase,下面说一下，我的初步的理解。 u 基本概念：什么是HBase?HBase(Hadoop Database): 首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式。 数据模型？数据模型类似于Google的BigTable
转载
2023-10-06 22:57:42
149阅读
之前尝试使用过一些国内外的云产品，特别是大数据分析型产品，例如：亚马逊的EMR、Redshift，Google的Bigquery以及阿里云的ODPS，现在更名为MaxCompute，https://www.aliyun.com/product/odps。相信大多数人对亚马逊的EMR、Redshift，Google的Bigquery都比较了解。但在尝试使用ODPS后，ODPS感觉也是一款不错的大
转载
2024-01-09 21:53:48
103阅读
实习期间使用了两个月的odps ，之后升级用Hadoop 的Hive ，让我对数据库与数据仓库增进了一些理解，记录下来。简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓
转载
2023-09-07 19:41:14
222阅读
Kafka简介Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是k
转载
2023-12-14 15:30:32
104阅读
说起Hadoop，玩大数据的没有一个不知道，Hadoop是由Apache基金会所开发的一个分布式系统基础架构，包含分布式文件系统HDFS（HadoopDistributed FileSystem）、分布式计算框架MapReduce、HIve数据仓库、Avro序列化工具等。而今天我们要给大家介绍一位新朋友Hbase，它是基于HDFS的非关系型大数据（非常适合存储，因为可以像HDFS一样做到存储的线性
转载
2023-10-22 16:33:29
82阅读
作为这几年热度颇高的一款开源产品，ClickHouse在国内的互联网大厂也陆续有被使用。在大数据开发学习阶段，也不妨多了解一下ClickHouse，下面我们主要来对ClickHouse架构做个简单的介绍。ClickHouse技术背景ClickHouse是基于MPP架构的分布式ROLAP（Relational OLAP）分析引擎。采用C++编写，自成一套体系，对第三方工具依赖少。支持较完整的DDL和
转载
2024-01-25 21:05:53
54阅读
Hadoop 2.0的本质 很多人提到Hadoop首先想到的是Map/Reduce，其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了 通用分布式框架 。
上图是Hadoop2.0的技术栈，在Hadoop 2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理，HDFS提供了分布式存储。在此之上开发出来的应用被称为 Applicat
转载
2024-01-23 22:34:53
75阅读
一、Storm基本概念 在运行一个Storm任务之前，需要了解一些概念： Topologies Streams Spouts Bolts Stream groupings Reliability Tasks Workers Configuration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（topolog
转载
2023-07-20 17:38:23
74阅读
