一、HBase的安装模式 ①单机安装：不依赖于Hadoop的HDFS，配置完即可使用，好处是便于测试，坏处是不具备分布式数据存储的能力。 ②伪分布式安装：单台主机模拟真实环境。 ③完全分布式安装：多台主机（虚拟机）来搭建二、搭建准备 ①搭建Hadoop+JDK+ZooKeeper（3个zookeeper集群模式，博主其他博文中已安装-------zookeeper集群的搭建（3台虚拟机））
转载
2023-07-13 20:36:13
51阅读
绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。
1、为什么使用 Redis
在项目中使用 Redis，主要考虑两个角度：性能和并发。如果只是为了分布式锁这些其他功
转载
2023-06-19 13:59:13
78阅读
HBase在实现上严格遵守了Google BigTable论文的设计思想。BigTable使用Chubby类负责分布式状态的协调，Chubby，这是Google实现的一种基于Paxos算法的分布式锁服务，而HBase则采用了开源的ZooKeeper服务来完成对整个系统的分布式协调工作。下图中展示了整个HBase架
1 概述HBase是基于Hadoop的分布式的、面向列的、可拓展的开源数据库。当需要对大数据进行随机的、实时的读写时使用HBase。属于NoSQL。HBase利用Hadoop/HDFS作为其文件存储系统，利用Hadoop/MapReduce来处理HBase中的海量数据，利用Zookeeper提供分布式协作、分布式同步、配置管理等。HBase的架构：LSM - 解决磁盘随机写问题(顺序写才是王道)；
文章目录一、环境准备二、系统设置1.静态IP地址(以node1为例)2.hostname与host映射(以node1为例)3.关闭防火墙(以node1为例)4.关闭selinux(以node1为例)5.新建用户及组(以node1为例)6.调大hadoop用户资源限制(以node1为例)7.SSH免密码登录(仅node1执行)三、NTP安装与配置(以node1为例)四、JDK安装(以node1为例
1.3 hbase 搭建方式以及搭建流程搭建方式：独立模式、伪分布式、完全分布式实际上，您需要完全分布式配置才能完全测试 HBase 并在实际场景中使用它。在分布式配置中，群集包含多个节点，每个节点运行一个或多个 HBase 守护程序。其中包括主要和备用 Master，多个 Zookeeper 节点和多个 RegionServer 节点。规划如下：NodeName Master Zookeeper
转载
2023-08-16 20:59:40
84阅读
HBase是一个在HDFS上开发的面向列的分布式数据库。 &nbs
转载
2023-09-19 01:19:59
76阅读
一、HBase介绍 HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。 HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使
转载
2023-08-05 18:21:02
81阅读
HBaseHBase是一个分布式的、面向列的开源数据库。HBase单机安装 单机安装不依赖于Hadoop的分布式文件系统HDFS ,配置完既可使用。不具备分布式，常用于测试。 存储数据的能力。安装步骤：1. 安装JDK，并配置环境变量2. 上传解压Hbase安装包3. 修改Hbase的配置文件在安装目录下的conf/hbase-site.xml 中，配置hbase存储数据的目录，如果不配置，默认是
转载
2023-08-18 22:41:29
48阅读
一、概述HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统； 数据量小的场景不适合用HBASE; HBASE写的时候非常慢，因为文件存在HDFS上； （读和写是一个此消彼长的过程，因为向快速的查，就必须建索引，写的时候就必须维护索引，就会变慢） HBASE的元数据表hbase:meta的位置存放在zookeeper上，HBASE从这个位置读取元数据，再根据元数据从HDFS读取数据；二
转载
2023-07-18 11:56:59
63阅读
目录：一、HBase简介二、HBase的特点三、Hbase系统架构四、HBase中的角色五、HBase数据模型六、HBase访问接口 一、HBase简介1.HBase – Hadoop Database，是一个高可靠、高性能、面向列、 实时读写的分布式数据库。2.HBase是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平
转载
2023-07-13 16:01:07
56阅读
最近在学习Hadoop和HBase，现在总结一下HBase的一些基本概念，理解好后使用和开发更容易。HBase是一个分布式的、面向列的数据存储系统。它在HDFS基础上提供随机读写的功能。HBase有如下特性，没有真正的索引，自动分区，线性扩展和对于新结点的自动处理，普通商用硬件支持，容错，批处理。1、HBase逻辑结构行，列，列族和单元格(c
导读前一段时间研究了一下分布式块存储Longhorn这个项目，Longhorn是完全基于K8s实现的分布式块存储，最大的特性就是他通过以微服务的方式（engine_instance+replicas）来提供存储服务，所以可用性极高。但本质还是通过iscsi把存储目录映射为一个盘挂到节点上然后再mount给容器使用，所以运行效率本身不太高，看到网上说的要比nfs可能要好一点，但是肯定是比不上本地磁盘
在现代互联网应用中，随着数据量的不断增加和应用的复杂性，分布式计算和分布式存储成为了关键的技术。Kubernetes（简称K8S）作为一种容器编排引擎，在实现分布式计算和存储方面发挥着重要作用。本篇文章将向你介绍如何在K8S上实现分布式计算和分布式存储。
整体流程：
步骤 | 操作
---|---
1 | 搭建Kubernetes集群
2 | 部署分布式计算框架
3 | 部署分布式存储系统
4
分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。优点如下：1. 高性能一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一
什么是分布式系统？ 简单来说，多台主机提供同一个服务，例如负载均衡集群，就是一个分布式系统。 什么是分布式存储？ 看看某宝，上面多少图片，如果使用传统的单机存储，需要准备多大的磁盘空间？读写性能如何提升？ 上图就是一个分布式存储的结构，此处存储节点不在是磁盘，而是多个主机组成，多个主机内部通信实现数据副本，客户端发来的请求发往前端，前端分发至后端，有点像负载均衡集群中的调度器（此处描述不精确，但便
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店购物的过程是
# 分布式存储选择Redis和HBase实现步骤
## 1. 了解Redis和HBase的基本概念
在选择分布式存储方案之前，首先需要了解Redis和HBase的基本概念和特点。
- Redis：Redis是一种开源的内存数据存储系统，它可以用作数据库、缓存和消息队列。Redis具有高性能、高可用性和可扩展性的特点，支持多种数据结构，如字符串、哈希、列表、集合和有序集合。
- HBase：H
原创
2023-08-11 13:40:54
37阅读
分布式存储分布式系统概述
分布式存储分布式系统（Distributed Storage Distributed System）是一种基于多台机器共同合作完成数据存储和计算任务的系统。在这种系统中，数据会分布在不同的存储节点上，通过网络进行数据传输和通信，实现数据的高可用性、可扩展性和容错性。Kubernetes（简称K8S）作为一种容器编排和管理平台，可以帮助我们轻松地部署和管理分布式存储分布式
