目录：一、Hbase组件1.上传hbase包解压后重命名（HBase）2.编辑环境变量3.hbase-site.xml4.设置regionserver5.分发目录6.启动HBase集群**排错记录：**（①HMaster存在 HRegionServer起不来②或者一会就挂掉，查日志无报错）二、Hive组件（一）hive安装和配置1.上传包解压，配置环境变量2.安装启动MySQL3.初始化设置My
转载
2024-01-03 08:45:37
78阅读
引言持久化——将瞬时数据（存在不长久的数据）转化为持久数据（一直存在的数据）的一种机制。概述 Redis也算是一种内存数据库，即它运行时的数据存放到内存中，所以性能较好。但是内存中的数据不能长久存在，一旦Redis重启，内存中的数据就不复存在，为了解决这一疑难，Redis支持持久化，Red
转载
2023-08-30 10:05:15
90阅读
hbase表管理：
表切割
split 'ns1:t1','row1000'
区域切割
split 'REGION_NAME' , 'row500'
区域合并
merge 'ENCODED_REGIONNAME' ,''
表移动
move 'ENCODED_REGIONNAME','SERVER_N
转载
2024-10-22 13:10:33
17阅读
# HBase WAL持久化等级设置
在HBase中，Write Ahead Log (WAL) 是一项关键功能，它确保在写入数据之前将数据写入持久化存储介质。WAL的持久化等级设置可以影响HBase的性能和数据的一致性。本文将介绍HBase WAL持久化等级设置的基本概念，并提供相应的代码示例。
## 什么是HBase WAL持久化等级设置？
HBase的WAL持久化等级设置决定了数据何时
原创
2023-11-25 03:22:04
227阅读
一、应用软件结构的发展1、单层结构；最初应用软件只是在大型机上的单层应用程序，大都采用文件系统存储数据。2、双层结构；20世纪70年代，随着数据库的普及，原来的单层结构发展为双层结构。在双层结构中，实现了数据存放与应用程序的分离。3、三层结构；在三层结构中，把原来的应用程序层分成了视图层和业务逻辑层、数据库层维持不变；4、四层结构；随着软件行业的蓬勃发展，人们感觉这样频繁的操作数据库和大量的底层代
Docker容器用户可以从单个镜像启动一个或多个容器容器 VS 虚拟机虚拟机运行在完整的操作系统上,容器会共享宿主机的操作系统内核.在虚拟机模型中,需要开启物理机并启动Hypervisor引导程序,一旦Hypervisor启动,就会占用机器上的所有物理资源.接下来Hypervisor会将这些资源划分为虚拟资源,并且看起来和真实物理资源完全一致,在虚拟机中可以安装OS和应用.然后Hypervisor
转载
2023-12-31 19:06:00
10阅读
Hbase Hlog的持久化等级 SKIP_WAL：只写缓存，不写HLog日志。因为只写内存，因此这种方式可以极大地提升写入性能，但是数据有丢失的风险。在实际应用过程中并不建议设置此等级，除非确认不要求数据的可靠性。 ASYNC_WAL：异步将数据写入HLog日志中。 SYNC_WAL：同步将数据写 ...
转载
2021-07-28 16:43:00
252阅读
在 k8s 中为什么要做持久化存储？在 k8s 中部署的应用都是以 pod 容器的形式运行的，假如部署 MySQL、Redis 等数据库，需要对这些数据库产生的数据做备份。因为 Pod 有生命周期，如果 pod 不挂载数据卷，那 pod 被删除或重启后这些数据会随之消失，如果想要长久的保留这些数据就要用到 pod 数据持久化存储。k8s 持久化存储方案-emptyDir#查看 k8s 支持哪些存储
转载
2024-03-10 21:41:25
103阅读
一、前言本文首先对 HBase 做简单的介绍，包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析，并根据此流程介绍如何在客户端以及服务端优化性能，同时结合有赞线上 HBase 集群的实际应用情况，将理论和实践结合，希望能给读者带来启发。如文章有纰漏请在下面留言，我们共同探讨共同学习。二、 HBase 简介HBase 是一个分布式，可扩展，面向列的适合存储海量
一、NATS介绍NATS是由CloudFoundry的架构师Derek开发的一个开源的、轻量级、高性能的，支持发布、订阅机制的分布式消息队列系统。它的核心基于EventMachine开发，代码量不多，可以下载下来慢慢研究。不同于Java社区的kafka，nats偏于redis式的消息中间件，不不像Kafka式的可以持久化。NATS原来是使用Ruby编写，可以实现每秒150k消息，后来使用Go语言重
为了解决持久化文件很庞大以及会阻塞服务器的 情况，redis提出一种新的持久化方案：AOF持久化。AOF持久化是redis保存数据的另外一种方式，全称Append Only File，与RDB持久化不同的是，AOF持久化是只保存从客户端键入的命令，而RDB持久化是单纯的保存数据。 AOF持久化的实现分为3个步骤：命令的追加、缓冲区写入文件、文件同步。
转载
2024-02-22 12:10:40
543阅读
计应134 徐雪双1.持久化类持久化类是指被需要被Hibernate持久化类到数据库中的实例所对应的类。Hibernate中操作的持久化类对象都是普通的Java类对象，与普通的JavaBean没什么区别，但是需注意：（1）持久化类必须有一个无参的构造方法：Hibernate要求持久化类必须提供一个不带参数的默认构造方法，在程序运行时，Hibernate运用反射机制调用java.lang
转载
2024-02-20 12:34:38
39阅读
NFS服务器搭建 1.yum install nfs-utils -y 2.vi /etc/exports /nfsdata 192.168.30.0/24
转载
2023-08-13 18:46:21
0阅读
持久化Redis 是内存型数据库，为了保证数据在断电后不会丢失，需要将内存中的数据持久化到硬盘上。RDB 持久化将某个时间点的所有数据都存放到硬盘上。可以将快照复制到其它服务器从而创建具有相同数据的服务器副本。如果系统发生故障，将会丢失最后一次创建快照之后的数据。如果数据量很大，保存快照的时间会很长。AOF 持久化将写
原创
2023-02-14 11:13:43
1024阅读
09年和朋友，写了个仿SSH的框架例子，将其三块代码集成（仿structs、仿spring、仿hibernate），并做了个小网站(JSTL+JSP+(仿)SSH)，采取这个框架，感觉挺好用的。
主要目的是为了提高对框架的认识，故没有真正的SSH复杂，意在道明其因由，个人认为，对于企业项目开发能够理解框架原理即可。
因仿hibernate的这块代码非本人所写的，不免的有点
推荐
原创
2012-07-05 17:55:43
3040阅读
点赞
9评论
spark持久化的理解
Spark RDD 是惰性求值的。如果简单地对RDD 调用行动操作，Spark 每次都会重算RDD 以及它的所有依赖。这在迭代算法中消耗格外大。 换句话来说就是当DAG图遇到转化操作的时候是不求值的。只有当遇到行动操作的时候才会求值，但是每次求值都是从头到尾来求的。并不会从上一个行动操作为起点来计算。这样一来迭代计算就会重复计算好
转载
2023-08-08 03:03:56
78阅读
什么是Redis的持久化？Redis的持久化就是把内存的数据写到磁盘中去，防止服务宕机了内存数据丢失。 当然了，你可以关闭持久化，让数据只在服务器运行时存在。Redis持久化有几种，分别是什么，各自有什么优缺点Redis 提供了两种持久化方式:快照（RDB文件 默认）和追加式文件（AOF文件）RDB是Redis DataBase缩写，是指在指定的时间间隔能对你的数据进行快照存储。 它所生成的 RD
转载
2023-08-28 10:40:23
108阅读
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上
转载
2024-09-22 11:33:19
60阅读
持久化
原创
2021-08-02 15:33:47
309阅读
# ES持久化与MySQL持久化指南
在现代的应用开发中，持久化是一个至关重要的环节，它确保数据在应用程序重启或故障时能保持不变。本文将帮助你了解如何实现“ES持久化（Elasticsearch）”和“MySQL持久化”的简单流程。
## 整体流程概览
以下是实现ES持久化和MySQL持久化的步骤概览：
| 步骤 | 描述 |
|------|------|
| 1 | 准备环境（
原创
2024-10-16 04:52:50
105阅读
