HBase、Redis、MongoDB、Couchbase、LevelDB 五款较主流的数据库产品中，本文将主要对它们进行分析对比 HBaseHBase 是 Apache Hadoop 中的一个子项目，属于 bigtable 的开源版本，所实现的语言为Java（故依赖 Java SDK）。HBase 依托于 Hadoop 的 HDFS（分布式文件系统）作为最基本存
转载
2023-10-22 21:46:16
313阅读
如今硬件的性价比越来越高，网络传输速度越来越快，数据库分层的趋势逐渐显现，人们已经不再强求用一个解决方案来解决所有的存储问题，而是通过分层，让缓存与数据库负责各自擅长的业务场景。TiDB 作为一款 HTAP 数据库，在高性能的实现 OLTP 特性基础之上，也同时提供基于实时交易数据的实时业务分析需求。什么是 TiDB 数据库？TiDB 是一个数据库。我们知道市面上有很多类似 MySQL、Oracl
转载
2023-12-22 14:10:31
122阅读
什么是协程协程(Coroutine)一种电脑程序组件，该程序组件通过允许暂停和恢复任务，为非抢占式多任务生成子程序。协程也可以简单理解为协作的程序，通过协同多任务处理实现并发的函数的变种(一种可以支持中断的函数）。下面，我们通过日常生活场景为例，对什么是协程进行说明。假设A某在家每天都要做3件事：洗衣服(使用洗衣机)，蒸饭(使用电饭煲)，扫地(使用扫地机器人)，这三样电器在完成任务后都会发出不一样
作者：Ankita Girish Wagh
迁移背景与动机 在 Pinterest ，Hbase 一直是我们最关键的存储后端之一，持续为众多线上存储服务提供支持，涵盖 Zen（图数据库）、UMS（宽列数据存储）和 Ixia （近实时二级索引服务）。HBase 生态系统具备一系列突出优势，例如在大容量请求中保障行级强一致性、灵活的模式选项、低延迟数据访问、 Hadoo
转载
2024-07-26 16:20:32
90阅读
tidb的聚合函数算法连接：（二十二）Hash Aggregationtidb实现了两种聚合函数的算法：Hash Aggregation 和 Stream Aggregation对于数据无序的，使用Hash Aggregation。对于数据按照groupby字段有序的，使用Stream Aggregation。以avg聚合函数作为例子，在执行时需要维护两个中间值sum和count。Hash Agg
转载
2023-11-03 21:01:41
71阅读
前言: HBase主要起源于谷歌的三驾马车论文之一BigTable中,是建立在HDFS上的高可靠性、高性能、列存储、可伸缩、实时读写NoSQL的数据库系统.1. 为什么会出现HBase1.1 HBase开篇要想理解为什么会出现HBase,首先要和其他的大数据组件进行一个对比.1.1.1 HBase与Hadoop的对比(HDFS的对比)Hadoop特点或缺点:
缺点：Hadoop适用于一次写入多
转载
2023-08-18 22:50:59
10阅读
# TiDB 与 HBase 压测对比指南
在大数据时代，TiDB 和 HBase 被广泛应用于实时计算和大规模数据处理。无论是进行性能优化还是数据迁移，进行压测对比是非常重要的一步。本篇文章将详细介绍如何实现TiDB和HBase的压测对比，帮助刚入行的小白顺利完成任务。
## 流程概述
以下是进行TiDB与HBase压测对比的基本步骤：
| 步骤 | 描述
原创
2024-10-29 05:15:32
104阅读
hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商
转载
2024-07-19 21:32:46
54阅读
最近这几年，公司一直在使用mysql，数据量在千万级以下时，mysql有着非常优秀的性能和稳定性。随着数据增长，单表无法满足业务需求，我们需要使用mycat、shading-jdbc等中间件去实现分库分表。分库分表的缺点：分页查询性能不好，需求聚合多库数据，多次io，内存消耗大。分布式事务问题分库之后，想二次扩容，数据迁移等会更复杂跨库join很难实现随着newsql数据库出现，分库分表这些问题都
转载
2023-10-08 11:05:57
252阅读
TiDB 高度兼容 MySQL 5.7 协议、MySQL 5.7 常用的功能及语法。MySQL 5.7 生态中的系统工具 (PHPMyAdmin、Navicat、MySQL Workbench、mysqldump、Mydumper/Myloader)、客户端等均适用于 TiDB。但 TiDB 尚未支持一些 MySQL 功能，可能的原因如下：有更好的解决方案，例如 JSON 取代 XML 函数。目前
转载
2024-01-30 00:30:31
100阅读
kudu是一个与hbase类似的列式存储分布式数据库。 官方给kudu的定位是:在更新更及时的基础上实现更快的数据分析。hdfs与hbase数据存储的缺点：目前数据存储有了HDFS与hbase，为什么还要额外的弄一个kudu呢?HDFS:使用列式存储格式Apache Parquet，Apache ORC，适合离线分析，不支持单条纪录级别的update操作，随机读写性能差。HBASE:可以进行高效随
转载
2023-08-07 17:59:41
188阅读
TiDB存储引擎原理
一 TiDB是什么TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库。数据库大致可以分为两种，一种是集中式数据库，比如mysql、redis、mongo、rocksdb等，它们都是工作在一台电脑上的。还一种是分布式数据库，比如TiDB，它们是在许多台电脑上组成一个整体协同工作的。当处理的数据量比较小的时候，一般会采用集中式数据库处理，当
转载
2023-10-10 07:35:47
966阅读
目录1 HBase 简介1.1 HBase是什么1.2 HBase的特点1.3 HBase的应⽤2 HBase数据模型3 HBase整体架构4 HBase集群安装部署5 HBase shell 基本操作6 HBase原理深⼊6.1 HBase读数据流程6.2 HBase写数据流程6.3 HBase的flush(刷写)及compact(合并)机制6.4 Region 拆分机制6.5 HBase表的
转载
2023-09-05 17:02:40
122阅读
一、 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop become Apache
转载
2023-10-02 19:50:19
67阅读
0、TIDB优势1、和MySql相比，具备OLAP能力。省去了很多数据仓库搭建成本和学习成本。这在业务层是非常受欢迎的。可以在其他分库分表业务中，通过 syncer 同步，进行合并，然后进行统计分析2、数据量增长极快的OLTP场景，这些数据库的数据在一年内轻松达到数百亿量级。TiDB 的所有特性都非常契合这种海量高并发的 OLTP 场景。3、弥补单机容量上限，支持水平扩展，无限扩容存储4、传统 S
转载
2023-12-08 14:12:11
310阅读
爬虫场景是典型的写多读少，咱们先看看HBase和TiDB的架构，再做进一步判断。一、 HBase主要分为Master Server，region Server的主服务，以及需要HDFS，ZooKeeper的支撑服务。 (1)Master Server用于协调Region Server，而Region Server对外提供自身大量Region单元和wals的读写访问，以及对Region的维护。一个r
转载
2023-08-31 18:04:43
54阅读
原文作者Lars Francke，德国汉堡的以为自由软件开发者，关注H系列(Hadoop,HBase,Hive,…)分布式系统。这里是对原文的一个不完全的大致的翻译。————————————– 毫无理由的分割线 ——————————— ycsb是一个非常方便的针对分布式文件系统的测试工具：https://github.com/brianfrankcooper/YCSB&nbs
转载
2023-12-06 23:27:18
60阅读
阿里云HBase 2.0成长手记，含着金汤匙出身HBase本身是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在阿里得以验证。早在2010年开始，阿里巴巴集团开始研究并把HBase投入生产环境使用，从最初的淘宝历史交易记录，到蚂蚁安全风控数据存储，HBase在几代阿里专家的不懈努力下，已经表现得运行更稳定、性能更高效，内部HBase集群超过万台的规
转载
2024-03-09 08:51:27
110阅读
参考文章：TiDB 简介TiDB 官方网站1.什么是 TiDBTiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQ
转载
2023-11-07 05:23:17
542阅读
众所周知，在对可用性要求极高的行业领域（比如金融、通信），分布式数据库需要跨地域的在多个数据中心之间建立容灾以及多活的系统架构，同时需要保持数据完整可用。但这种方式同时也带来了一些问题：跨地域的网络延迟非常高，通常在几十毫秒左右，洲际间更能达到几百毫秒。跨地域的网络专线带宽昂贵、有限，且难于扩展。在今年 TiDB Hackathon 的比赛过程中，我们针对以上问题做了一些有趣的事情，并获得如下优化
转载
2024-08-22 12:54:52
53阅读
