HBase 于 Hive 的区别，我们简单的梳理一下 Hive 和 HBase 的应用场景：Hive 适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive 不应该用来进行实时的查询（Hive 的设计目的，也不是支持实时的查询）。因为它需要很长时间才可以返回结果；HBase 则非常适合用来进行大数据的实时查询，例如 Facebook 用 HBase 进行消息和实时的分析
转载
2023-07-12 17:07:30
44阅读
HBase是基于列存储的NoSQL数据库，与现在常见的关系型数据库sql server、Oracle或者mySQL相比它不遵循了ACID结构,它是对传统的SQL的一种补充，它是根据CAP理论而形成的满足一个分布式系统的非关系型数据库。与传统的数据库相比它的优势是能够对数据进行简单的增加或者修改，并能够平滑的伸缩。因此在现在云计算和大数据领域具有广泛的用途，同时也成为Hadoop生态系统中的重要一环
转载
2024-08-28 21:39:27
30阅读
一、Hbase能做什么？海量数据存储： 上百亿行 x 上百万列 并没有列的限制 当表非常大的时候才能发挥这个作用， 最多百万行的话，没有必要放入hbase 中准实时查询： 百亿行 x 百万列，在百毫秒以内二、Hbase在实际场景中的应用：交通方面： 船舶GPS信息，全长江的船舶GPS信息，每天有1千万左右的数据存储。金融方面： 消费信息，贷款信息，信用卡还款信息等电商： 淘宝的交易信息等，物流信息
转载
2023-06-02 10:29:23
48阅读
业务开发测试HBase之旅三：通过Java Api与HBase交互
业务开发测试HBase之旅三：通过Java Api与HBase交互 » Taobao QA Team业务开发测试HBase之旅三：通过Java Api与HBase交互 2011年10月11日 由 yedu 留言 »
引言 HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RD
转载
2024-08-04 14:09:37
17阅读
文章目录系列文章目录一、HBase的架构原理1、StoreFile2、MemStore3、WAL二、HBase的shell操作2.1、创建表与写入数据2.2、对数据进行刷洗与上传到web页面2.3、Compact合并文件2.4、再次插入数据验证2.5、插入新的数据进行实验三、对regionserver的一些解释说明3.1、 MemStore Flush3.2、StoreFile Comp
转载
2024-08-02 13:27:30
49阅读
适合读者2012年因为业务需求，我们的底层数据库从Mysql迁移到HBase上面，正好也亲身经历了HBase-Clien
转载
2023-06-09 09:18:10
77阅读
企业的数据分析是个很复杂的工程，需要业务和分析技术两块知识。这里从业务的角度切入，谈谈如何对业务分析，文章参考帆软软件的零售业数据管理方案。首先，企业的分析主要分为管理分析和经营业务分析，分析整体的思路是：明确业务场景——确定分析目标——构建分析体系——梳理核心指标。因为每个企业/行业的业务不同，分析体系也不同，这里主要说一下零售电商，按照不同的分析场景来探讨下。其他行业也欢迎大家勾搭，或者可以看
转载
2023-12-04 20:24:11
94阅读
文章目录Hbase之陌陌海量存储案例1、案例介绍2、打招呼消息数据集介绍3、准备工作3.1 、创建IDEA Maven项目3.2、建表脚本3.3、导入POM依赖3.4、创建包结构3.5、导入ExcelReader工具类3.6、创建实体类4、编写数据生成器4.1、随机生成一条数据4.2、构建ROWKEY4.3、 数据写入HBase，生成10W条数据5、编写数据服务查询数据5.1、 需求5.2、 接
转载
2023-08-18 22:31:08
281阅读
HBase 是HDFS上的一个nosql数据库。HDFS本身是一个分布式文件管理系统，提供海量数据的分布式存储。但是对小文件和查询不友好。Hbase在HDFS之上提供了高并发的随机写和支持实时查询。 一、Hbase数据结构与存储：首先，我们先了解一下hbase是怎么存数据的。Hbase作为nosql的列存储数据库，不再像mysql那种关系型数据库中的表。mysql中表中数据是一行一行存储
转载
2023-08-16 21:00:47
199阅读
# 业务订单数据 ES HBase 科普
在现代企业管理中，数据扮演了至关重要的角色。对于大型企业来说，对订单数据的管理尤为重要。为了更好地管理和查询订单数据，企业常常会使用 ElasticSearch（ES）和 HBase 进行存储和检索。本文将介绍业务订单数据在 ES 和 HBase 中的存储和管理方式，并提供相应的代码示例。
## ES 与 HBase 简介
ElasticSearch
原创
2024-06-05 04:31:24
78阅读
tsdb 介绍时序时空数据库TSDB 简介: 时序数据库（Time Series Database，简称 TSDB）是一种高性能、低成本、稳定可靠的在线时序时空数据库服务，提供高效读写、高压缩比存储、时序数据插值及聚合计算等服务，广泛应用于物联网（IoT）设备监控系统、企业能源管理系统（EMS）、生产安全监控系统和电力检测系统等行业场景；除此以外，还提供时空场景的查询和分析的能力。tsdb 的能力
转载
2023-12-02 21:59:06
32阅读
HDFS 与 Hbase HDFS容错率很高，即便是在系统崩溃的情况下，也能够在节点之间快速传输数据。HBase是非关系数据库，是开源的Not-Only-SQL数据库，它的运行建立在Hadoop上。HBase依赖于CAP定理(Consistency, Availability, and Partition Tolerance）中的CP项。HDFS最适于执行批次分析。然而，它最大的缺点是无
转载
2018-05-13 12:53:00
100阅读
2评论
HBase是一款开源高可靠性、扩展性、高性能和灵活性的分布式非关系型数据库，本文围绕数据库选型以及使用HBase的痛点展开，从四个方面对HBase的使用进行优化，取得了一些不错效果。
原创
2024-07-11 11:18:47
53阅读
//集群业务规划，集群容量规划，Region规划，引出问题：1、一个集群上面到底应该运行哪些业务可以最大程度上利用系统的软硬件资源？2、另外，对于一个给定业务来说，应该如何规划集群的硬件容量才能使得资源不浪费？3、最后，一个给定的RegionServer上到底部署多少Region比较合适？想必这些问题都曾经困惑过很多HBaser，
原创
2019-04-08 18:22:44
3502阅读
点赞
对于springboot操作hbase来说，我们可以选择官方的依赖包hbase-client，但这个包的google类库很多时候会和你的项目里的google类库冲突，最后就是你的程序缺少类而无法启动，解决这个问题的方法很多，而最彻底的就是自己封装一个shade包，或者使用人家封装好的shade包，shade就是maven里的一个重写包的插件，非常好用。依赖包之前的原始包 <dependenc
转载
2021-02-26 15:44:03
1161阅读
2评论
业务架构的关键是组织机构、业务功能、业务流程等。业务功能靠业务流程实现，业务流程由业务步骤组成。业务架构中，业务流程是关键。 应用架构中，功能和系统是关键。应用架构设计的过程，就是从业务架构到应用架构的映射过程。究其实践主线，就是从业务流程到IT功能，再到IT应用系统的分析与设计的过
转载
2023-09-05 10:02:19
216阅读
Hbase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）HBase数据模型命名空间 命名空间是对表的逻辑分
转载
2023-08-18 21:50:25
203阅读
我们知道，业务模型一直是性能项目中很重要的环节。在容量场景中，每个业务比例都要符合真实业务场景的比例。如果不符合，那场景的执行结果也就没有意义了。但是，我们经常可以看到，很多性能从业人员因为对业务模型的抽取过程不够了解，或者是拿不到具体的数据，导致业务模型和生产业务场景不匹配，进而整个性能项目都变得毫无意义。也有大量的项目，并没有拿历史业务数据做统计，直接非常笼统地拍脑袋，给出相应的业务模型，这样
转载
2024-08-09 15:06:45
146阅读
目录宏观出发局部细节注意要点总结：宏观出发1、整体结构的上下顺序为上级依赖于下级。2、色彩搭配不要太唐突，最好有渐变性。3、图形间宽松程度适宜，对称程度适宜。4、虚线框和实线框的结合，实线框表示的关系强烈程度高于虚线框，虚线框更重于逻辑上的关联。局部细节1、用词表达要标准2、业务要全面3、模块划分粒度适宜4、模块摆放以及层级关系：纵向：分层——上层依赖于下层越底层，越是基础服务；横向：并列关系，级
转载
2023-06-14 14:42:47
359阅读
本次的业务是基于短信发送之前，去做黑名单的校验和发送内容的检测，因此，在进行下一步业务之前，我需要等待黑名单的查询结果，由于线上环境的Hbase出故障，导致整个业务堵塞，因此，想到了对hbase异常做上容错机制，因此，有了以下的内容 try {
counts = hbaseService.get("cmcc_sms_blacklist",serviceId,"counts","count"
转载
2023-09-01 11:45:35
135阅读
