导读：过去 3 年时间里，Apache Doris 已经在小米内部得到了广泛的应用，支持了集团数据看板、广告投放/广告 BI、新零售、用户行为分析、A/B 实验平台、天星数科、小米有品、用户画像、小米造车等小米内部数十个业务，并且在小米内部形成了一套以 Apache Doris 为核心的数据生态 。本文将为大家分享小米用户行为分析平台基于 Apache Doris 向量化版本的改造实践，包括数据存
转载
2024-03-10 09:56:20
41阅读
MySQL学习(五)—MySQL备份/数据库三大范式01 MySQL备份数据库备份的必要性：1.保证重要数据不丢失 2.数据转移MySQL数据库备份方法：1.mysqldump备份工具 2.数据库管理工具，如SQLyog 3.直接拷贝数据库文件和相关配置文件mysqldump客户端的使用：#导出一张表
mysqldump -u用户名 -p密码 库名 表名 > 文件名(D:/a.sql)
#导
转载
2023-08-10 08:44:35
450阅读
随着现代化业务对于实时数据的需求日益增长，Redis作为一个高性能的内存数据库，广泛应用于缓存、消息队列等场景。然而，随着使用量的增大，Redis可能会面临流量大的问题，导致性能下降、响应变慢等一系列问题。为此，我整理了一个关于如何解决“Redis流量大”的过程，以下便是我的详细记载。
### 环境准备
在处理Redis流量大的问题之前，我们需要搭建一个合适的开发和测试环境。
#### 依赖
生产环境数据库性能监控和优化面试环节——面试专题生产环境数据库性能监控和优化面试环节——面试专题 生产环境数据库性能监控和优化面试环节——面试专题生产环境数据库性能监控和优化面试环节——面试专题前言一、线上数据库监控业务性能数据安全二、MySQL常见日志redo 重做日志undo 回滚日志errorlog 错误日志slow query log 慢查询日志binlog 二进制日志relay log
# MySQL数据库迁移（数据量大）
## 概述
本文将介绍如何实现MySQL数据库迁移，并解决数据量大的情况。数据库迁移是将数据从一个数据库系统迁移到另一个数据库系统的过程，通常用于升级、更换数据库引擎或者迁移数据到云平台等需求。
## 流程概览
下面是实现MySQL数据库迁移的一般步骤：
| 步骤 | 描述
原创
2023-10-02 11:11:46
127阅读
什么是大型网站? 大型网站要满足一下标准.
pv(page views)值, 页面浏览量,一个网站的所有页面，在24小时内被浏览的总的次数, 一般说 到千万. uv(unique visitor) 独立访客: 一个网站的24小时内，有多少个用户来访问该网站， 一般说 到10万 ip值，一个网站的24小时内，有多少个ip访问。在不考虑内网和局域网的情况下，uv 等于 ip, 如果考虑的话
转载
2024-03-19 09:23:25
57阅读
大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume、Sqoop、Kettle等etl工具导入到HDFS，并映射到HIVE的数据仓库表中。2、事实表是数据仓库结构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（
转载
2023-07-07 15:15:33
157阅读
说起大数据生态，不得不提大数据生态系统图，而大数据行业却不断的发生着巨变，目前的这张图应该还算比较新了。
创业者们蜂拥至这个行业，这个行业正变得越来越拥挤。Hadoop似乎已经奠定了其作为整个大数据生态系统的关键部分，Spark是另一个基于内存计算的开源分布式计算框架，它试图填补Hadoop的弱项，提供更快的数据分析和良好的编程接口。 分析工具领域变得异常活
转载
2023-07-22 14:08:41
116阅读
通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、Oracle、SQL Server、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。大数据时代初期，随
转载
2024-06-07 17:54:29
56阅读
文章目录Hbase数据库介绍特点表结构逻辑视图RowKey列簇时间戳cellHbase集群架构 Hbase数据库介绍HBase 是基于 Apache Hadoop 的面向列的 NoSQL 数据库，是 Google 的 BigTable 的开源实现。HBase 是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。HBase 和传统关系数据库不同
转载
2023-08-16 17:24:22
71阅读
# MySQL查看数据库数据量大小
在MySQL数据库中，有时我们需要了解数据库中数据的大小，以便进行性能优化或者备份计划。本文将介绍如何通过MySQL命令和查询语句来查看数据库的数据量大小。
## 方法一：使用MySQL命令
我们可以使用MySQL命令来查看数据库的数据量大小。首先打开命令行终端，进入MySQL的安装目录，然后执行以下命令：
```
mysql -u username -
原创
2023-08-24 10:48:38
3996阅读
1评论
导读在实际项目中Redis常被应用于做缓存，分布式锁、消息队列等。但是在搭建配置好Redis服务器后很多朋友应该会发现和有这样的疑问，为什么Redis默认建立了16个数据库？在实际项目中Redis常被应用于做缓存，分布式锁、消息队列等。但是在搭建配置好Redis服务器后很多朋友应该会发现和有这样的疑问，为什么Redis默认建立了16个数据库，如下图所示。一、16个数据库的由来Redis是一个字典结
转载
2023-09-19 00:14:30
59阅读
# 如何查询MySQL数据库的数据量大小？
在日常开发中，管理数据库时常常需要了解数据表中的数据量大小。这不仅能够帮助我们进行合理的资源分配和优化数据库性能，还能在面临数据量增加时提前做好应对准备。本文将深入探讨如何查询MySQL数据库中的数据量大小，提供代码示例，并通过序列图展示查询流程。
## 什么是数据量大小？
在MySQL数据库中，数据量大小通常指的是数据库中的记录数、表中的行数、以
原创
2024-08-19 07:10:04
169阅读
一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统
转载
2024-10-07 16:03:24
80阅读
过分的反范式化为表建立太多的列过分的范式造成太多的表关联，关联表控制在10个以内在OLTP环境中使用不恰当的分区表使用外键保证数据的完整性（效率低，尽量不要使用外键约束） 优化顺序：1、数据库结构设计和SQL语句：表结构优化，索引优化，sql语句的优化2、数据库存储引擎的选择和参数配置：存储引擎的选择和内存缓存池的配置，不要混合使用不同的存储引擎3、系统选择及性能4、硬件升级
转载
2024-09-24 16:47:04
77阅读
# MySQL 查询数据库数量大小
在MySQL数据库中，我们经常需要查询数据库中的表的数量以及表的大小，这对于数据库性能的优化和监控非常重要。下面将介绍如何使用MySQL语句来查询数据库的数量大小。
## 查询数据库中表的数量
要查询数据库中表的数量，可以使用以下MySQL语句：
```sql
SHOW TABLES;
```
这条语句将显示当前数据库中所有表的列表。我们可以进一步使用
原创
2024-05-30 07:00:33
37阅读
作者：一个Java菜鸟 1、背景介绍1.1、现象QPS突然增长2倍以上(45w~60w每分钟) 将产生下面一些问题：1)响应接口响应时长增加了5倍(qps增加了2倍)；2)机房局域网交换机带宽报警(1kM带宽使用了900多M)；3)从redis获取数据接口响应时长增加等。1.2、原因1)某业务线对有限的产品进行推广；2)在短时间内有大量重复数据查询请求；3)短时间从redis获取大量数据。1.3、
转载
2023-11-06 15:30:00
77阅读
中大型数据库指的是数据库比较大，数据变化量比较大。对应中大型数据库来说，一般都不允许数据出现丢失情况，那么我们应该把数据库的恢复模式设置成完整。比如我们有一个数据库周一大小为200GB，周二大小变为230GB，周三大小变为250GB，周四大小270GB，周五大小变为290GB，如果我们制定数据库的备份策略是每天进行完整备份，那么一个星期我们的磁盘使用量就要达到了上千G，此外每次备份这样大的文件使用
转载
2024-01-06 11:38:41
87阅读
存储层（mysql）mysql 的使用：略mysql的引擎：1.InnoDB:mysql5.5之后，+ 灾难恢复性比较好
+ 支持事物。默认的事物的隔离级别为可重复读（通过MVCC实现）
+ 使用的颗粒度为行级锁，可以支持更高的并发；
+ 支持外键
+ 在Innodb中存在着缓存管理，通过缓冲池，将索引和数据全部缓存起来，加快查询速度。
+ InnoDB不保存表的具体行数2.MyIsam+ MyI
转载
2024-09-24 10:45:40
58阅读
