当web服务器的每天的访问量超过10万ip时对服务器主机的性能要求就非常高了，而且这些访问量又不是平均分布在24个小时里，往往有一个集中的访问高峰，晚上服务器的访问量又很低甚至是深夜连续好几个小时没访问量！ 例如我们平时维护的网站的日平均访问量是30万ip、访问高峰时并发的用户量非常大，数据库主机的
原创
2021-07-25 15:32:29
618阅读
为什么需要主从同步？1、在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。 2、做数据的热备 3、架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能
转载
2023-11-28 10:00:20
36阅读
# Redis大数据集频繁读写更新实现流程
## 1. 简介
在实际开发中，当我们面对大规模数据的读写和更新需求时，Redis是一种非常适合的解决方案。Redis是一个开源的内存数据结构存储系统，它支持多种数据结构（如字符串、哈希、列表、集合等）的操作，并且具有高性能、高可靠性和可扩展性的特点。
本文将介绍如何使用Redis实现大数据集的频繁读写更新，让刚入行的小白能够快速上手。
## 2.
原创
2023-09-18 06:05:12
226阅读
1.1 大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量‘高增长率和多样化的信息资产。主要解决海量数据数据的存储和海量数据的分析计算问题按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1.2 大数据特点（4V）Vo
DataNode的写操作流程 DataNode的写操作流程可以分为两部分，第一部分是写操作之前的准备工作，包括与NameNode的通信等；第二部分是真正的写操作。 一、准备工作 1、首先，HDFS client会去询问NameNoed,看哪些DataNode可以存储Block A，file.txt文
原创
2021-07-29 16:22:00
455阅读
1.安装 mysql服务1.卸载系统自带的相关数据库rpm -qa | grep mysql
rpm -qa | grep mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_642.部署Mysqltar -zxvf mysql-5.7.25-el7-x86_64.tar.gz -C /opt/module/3.账号与权限#添加账号
g
转载
2024-06-11 17:36:53
56阅读
# 大数据中，Hadoop智齿数据的随机读写
在大数据时代，海量数据的存储和处理成为一项重要任务。Hadoop作为一个开源的分布式计算框架，为我们提供了解决大数据存储和处理问题的解决方案。在Hadoop中，我们可以使用HDFS（Hadoop分布式文件系统）来存储和管理大规模的数据，而Hadoop的核心组件MapReduce则提供了
原创
2023-09-10 11:25:35
57阅读
为了保证效率和质量，每篇文章发布6个知识点，由简单及难，下面我们开始Hbase：1）介绍一下 hbase 过滤器。HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。2
转载
2024-05-19 07:57:04
0阅读
```mermaid
stateDiagram
[*] --> 小白入门
小白入门 --> 学习SQL语法
学习SQL语法 --> 学习MySQL基础
学习MySQL基础 --> 学习大数据基础
学习大数据基础 --> 实现MySQL in 大数据
实现MySQL in 大数据 --> [*]
```
作为一名经验丰富的开发者，你需要教会那位刚入行
原创
2024-07-13 05:09:52
6阅读
遇到问题：某个信息化系统的资产管理统计分析模块，非常慢，10多分钟过去了，还没见到应该有的统计表。（具体什么时候能出来，没人等到它出来过。。。）
业务背景：资产管理分析模块初始化需要统计所有单位的所有资产数据，加压环境数据量为360万。在统计分析的过程中，需要对资产数据大小，对单位进行排序，取前20家，同时对资产按照不同类别进行分类统计。
数据量来
转载
2023-08-28 13:12:23
67阅读
# 大数据与MySQL：在海量数据中的驾驭
随着科技的进步，数据已成为现代社会不可或缺的资产。在亿万数据的背后，大数据的分析与存储是我们面临的一大挑战。而MySQL作为一种广泛使用的关系数据库管理系统，因其强大的数据处理能力和灵活性，被越来越多的企业用来存储和管理大数据。
## 1. 什么是大数据？
大数据通常指的是体量庞大、结构复杂且变化迅速的数据集。它的特点通常被称为“4V”：体量（Vo
原创
2024-10-25 06:25:03
35阅读
# MYSQL 数据读写速度
## 引言
MySQL是一个广泛使用的关系型数据库管理系统，具有高性能、稳定可靠等优点。在实际应用中，我们常常需要考虑MySQL的数据读写速度，以保证系统的高效运行。本文将介绍如何通过优化数据库结构和查询语句，以及合理使用索引等方法来提升MySQL的数据读写速度。
## 数据库结构优化
数据库的结构设计对于数据的读写速度影响很大。以下是一些优化数据库结构的方法
原创
2023-09-17 05:50:25
215阅读
##1. 导出Sql文件在导出时合理使用几个参数，可以大大加快导入的速度。-e 使用包括几个VALUES列表的多行INSERT语法; --max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; --net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行注意：max_allowed_pac
转载
2023-08-31 16:54:14
88阅读
场景当我们业务数据库表中的数据越来越多，如果你也和我遇到了以下类似场景，那让我们一起来解决这个问题数据的插入,查询时长较长后续业务需求的扩展 在表中新增字段 影响较大表中的数据并不是所有的都为有效数据 需求只查询时间区间内的评估表数据体量我们可以从表容量/磁盘空间/实例容量三方面评估数据体量，接下来让我们分别展开来看看表容量表容量主要从表的记录数、平均长度、增长量、读写量、总大小量进行
转载
2023-07-28 20:37:32
818阅读
1、读写分离 读写分离，将数据库的读写操作分开，比如让性能比较好的服务器去做写操作，性能一般的服务器做读操作。写入或更新操作频繁可以借助MQ，进行顺序写入或更新。 2、分库分表 分库分表是最常规有效的一种大数据解决方案。垂直拆分表，例如将表的大文本字段分离出来，成为独立的新表。水平拆分表，可以按时间，根据实际情况一个月或季度创建一个表，另外还可以按类型拆分。单表拆分数据应控制在1000万以内。分库
转载
2023-05-31 15:39:26
138阅读
排查过程收到线上某业务后端的MySQL实例负载比较高的告警信息，于是登入服务器检查确认。1. 首先我们进行OS层面的检查确认登入服务器后，我们的目的是首先要确认当前到底是哪些进程引起的负载高，以及这些进程卡在什么地方，瓶颈是什么。通常来说，服务器上最容易成为瓶颈的是磁盘I/O子系统，因为它的读写速度通常是最慢的。当然了，引起磁盘I/O慢得原因也有多种，需要确认哪种引起的。第一步，我们一般先看整体负
转载
2023-10-31 14:13:13
88阅读
1. 读流程客户端首先带着读取路径向NameNode发送读取请求NameNode接收到请求后,会先判断是否有权限,读取文件是否存在等等,如果都无误则将 文件所在的DataNode的节点位置,发送给客户端部分或者全部的DataNode的节点位置客户端得到文件块存储的位置后,会调用read()方法,去读取数据在读取之前会先进行一个checksum的操作,去判断一下校验和是否正确,正确则读,不正确 则去下一个存放该block块的DataNode节点上读取读取完NameNode这次发送过来
原创
2022-02-11 11:26:49
158阅读
1. 读流程客户端首先带着读取路径向NameNode发送读取请求NameNode接收到请求后,会先判断是否有权限,读取文件是否存在等等,如果都无误则将 文件所在的DataNode的节点位置,发送给客户端部分或者全部的DataNode的节点位
原创
2021-12-28 14:44:13
165阅读
1. 首先我们看一看文件读取：（1）客户端（java程序、命令行等等）向NameNode发送文件读取请求，请求中包含文件名和文件路径，让NameNode查询元数据。（2）接着，NameNode返回元数据给客户端，告诉客户端请求的文件包含哪些块以及这些块位置（块在哪些DataNode中可以找到）。比如...
转载
2015-09-16 19:24:00
178阅读
2评论
大数据面试题：HBase读写数据流程
原创
2023-07-30 22:56:09
131阅读
