当web服务器的每天的访问量超过10万ip时对服务器主机的性能要求就非常高了，而且这些访问量又不是平均分布在24个小时里，往往有一个集中的访问高峰，晚上服务器的访问量又很低甚至是深夜连续好几个小时没访问量！ 例如我们平时维护的网站的日平均访问量是30万ip、访问高峰时并发的用户量非常大，数据库主机的
原创
2021-07-25 15:32:29
618阅读
# Redis大数据集频繁读写更新实现流程
## 1. 简介
在实际开发中，当我们面对大规模数据的读写和更新需求时，Redis是一种非常适合的解决方案。Redis是一个开源的内存数据结构存储系统，它支持多种数据结构（如字符串、哈希、列表、集合等）的操作，并且具有高性能、高可靠性和可扩展性的特点。
本文将介绍如何使用Redis实现大数据集的频繁读写更新，让刚入行的小白能够快速上手。
## 2.
原创
2023-09-18 06:05:12
226阅读
1.1 大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量‘高增长率和多样化的信息资产。主要解决海量数据数据的存储和海量数据的分析计算问题按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1.2 大数据特点（4V）Vo
DataNode的写操作流程 DataNode的写操作流程可以分为两部分，第一部分是写操作之前的准备工作，包括与NameNode的通信等；第二部分是真正的写操作。 一、准备工作 1、首先，HDFS client会去询问NameNoed,看哪些DataNode可以存储Block A，file.txt文
原创
2021-07-29 16:22:00
455阅读
# 大数据中，Hadoop智齿数据的随机读写
在大数据时代，海量数据的存储和处理成为一项重要任务。Hadoop作为一个开源的分布式计算框架，为我们提供了解决大数据存储和处理问题的解决方案。在Hadoop中，我们可以使用HDFS（Hadoop分布式文件系统）来存储和管理大规模的数据，而Hadoop的核心组件MapReduce则提供了
原创
2023-09-10 11:25:35
57阅读
为了保证效率和质量，每篇文章发布6个知识点，由简单及难，下面我们开始Hbase：1）介绍一下 hbase 过滤器。HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。2
转载
2024-05-19 07:57:04
0阅读
1. 读流程客户端首先带着读取路径向NameNode发送读取请求NameNode接收到请求后,会先判断是否有权限,读取文件是否存在等等,如果都无误则将 文件所在的DataNode的节点位置,发送给客户端部分或者全部的DataNode的节点位置客户端得到文件块存储的位置后,会调用read()方法,去读取数据在读取之前会先进行一个checksum的操作,去判断一下校验和是否正确,正确则读,不正确 则去下一个存放该block块的DataNode节点上读取读取完NameNode这次发送过来
原创
2022-02-11 11:26:49
158阅读
1. 读流程客户端首先带着读取路径向NameNode发送读取请求NameNode接收到请求后,会先判断是否有权限,读取文件是否存在等等,如果都无误则将 文件所在的DataNode的节点位置,发送给客户端部分或者全部的DataNode的节点位
原创
2021-12-28 14:44:13
165阅读
1. 首先我们看一看文件读取：（1）客户端（java程序、命令行等等）向NameNode发送文件读取请求，请求中包含文件名和文件路径，让NameNode查询元数据。（2）接着，NameNode返回元数据给客户端，告诉客户端请求的文件包含哪些块以及这些块位置（块在哪些DataNode中可以找到）。比如...
转载
2015-09-16 19:24:00
178阅读
2评论
HBase上RegionServer的cache主要分为两个部分：MemStore & BlockCache。
原创
2023-08-12 10:14:28
236阅读
1. data-source-context.xml Xml代码 xml version="1.0" encoding="UTF-8"?> bean
转载
2022-12-16 18:15:56
410阅读
本文探讨了高并发系统架构的演进过程。首先分析了读写分离架构，通过主从数据库分离缓解数据库压力；其次引入缓存机制实现冷热数据分离，显著提升热点数据访问效率；然后提出垂直分库方案，解决单机存储瓶颈；接着阐述微服务架构，通过业务拆分优化团队协作。文章指出，架构设计需根据业务特点灵活调整，大数据架构与应用架构相辅相成。全文系统性地介绍了从单一服务到分布式系统的演进路径，为构建高可用、高并发系统提供了实用参考。
一、概述 1、概念 分布式、可扩展、海量数据存储的NoSQL数据库 2、模型结构 （1）逻辑结构 store相当于某张表中的某个列族 （2）存储结构 （3）模型介绍 Name Space：相当于数据库，包含很多张表 Region：类似于表，定义表时只需要声明列族，不需要声明具体的列。【字段可以动态、
原创
2022-05-27 17:58:46
126阅读
参考链接：Hbase架构分析架构中有以下几个角色:1、HMaster负责管理HBase元数据，即表的结构、表存储的Region等元信息。 负责表的创建，删除和修改（因为这些操作会导致HBase元数据的变动）。 负责为HRegionServer分配Region，分配好后也会将元数据写入相应位置（后面会详细讲述放在哪）。 如果对可用性要求较高，它需要做HA高可用（通过Zookeeper）。但是HMas
导读： 众所周知，在大数据/数据库领域，数据的存储格式直接影响着系统的读写性能。spark是一种基于内存的快速、通用、可扩展的大数据计算引擎，适用于新时代的数据处理场景。在“大数据实践解析（上）：聊一聊spark的文件组织方式”中，我们分析了spark的多种文件存储格式，以及分区和分桶的设计。接下来
转载
2020-06-30 16:03:00
79阅读
2评论
倒排索引是 Elasticsearch 实现高效全文搜索的基础。它通过构建基于词项的文档ID映射，使得搜索引擎可以快速找到包含某个词项的文档，并
原创
2024-10-30 00:29:32
44阅读
在Kudu中，Tablet被细分为更小的单元，叫做RowSets，一些RowSets仅存于内存中，被称为MemRowSets，而另一些则
原创
2024-10-10 15:19:00
66阅读
前面介绍了利用文件写入器和文件读取器来读写文件，因为FileWriter与FileReader读写的数据以字符为单位，所以这种读写文件的方式被称作“字符流I/O”，其中字母I代表输入Input，字母O代表输出Output。可是FileWriter的读操作并不高效，缘由在于FileWriter每次调用write方法都会直接写入文件，假如某项业务需要多次调用write方法，那么程序就会写入文件同样次数
转载
2023-06-25 22:27:24
160阅读
