bandaoyu的博客_数据库

【数据库】结构化数据、非结构化数据、半结构化数据的区别

林中鹿结构化数据可以通过固有键值获取相应信息，且数据的格式固定，如RDBMS dat在这里财报就是非结

mariadb

linq

sql

结构化

数据

原创 2022-09-18 11:46:56 2152 阅读

【存储】什么是 WAL|数据库性能

什么是 WALWAL(Write Ahead Log)预写日志，是数据库系统中常见的一种手段，用于保证数据操作的原子性和持久性。「预写式日志」（Write-ahead logging，缩写 WAL）是关系数据库系统中用于提供原子性和持久性（ACID 属性中的两个）的一系列技术。在使用 WAL 的系统中，所有的修改在提交之前都要先写入 log 文件中。log

数据库

postgresql

database

数据

elasticsearch

转载 2022-02-09 16:55:44 559 阅读

【redis】hiredis-vip （hiredis封装成支持cluster的api）

hiredis 是redis 的C 客户端接口库，hiredis-vip是它支持cluster的版本（唯品会出品）hiredis-vip:hiredis-vip是基于hiredis的(事实上，它包含一个完整的hiredis)，在hiredis的基础上，提供了一套cluster版本的接口。安装: 由于hiredis-vip包含了完整的hiredis，在安装hiredis-vip之前，先卸...

redis

github

客户端

javascript

原创 2021-09-29 13:52:39 981 阅读

【mySQL】MYSQL数据库时间字段INT,TIMESTAMP,DATETIME性能效率比较

目录MYSQL数据库时间字段INT,TIMESTAMP,DATETIME性能效率比较mysql的日期存储字段比较int,datetime,timestamp区别MYSQL数据库时间字段INT,TIMESTAMP,DATETIME性能效率比较文章：https://www.jianshu.com/p/27c807ed6974文章2：https://blog.csdn.net/ad...

字段

mysql

数据

mysql数据库

自动更新

原创 2021-09-29 13:16:13 1555 阅读

【mySQL】数据库[配置]优化方案（MySQL并行写入、查询性能调优（多核CPU））

ZHANG_TIMI/article/details/102717319[client]port = 3306socket = /tmp/mysql.sock[mysqld]port = 3306socket = /tmp/mysql.sockbasedir = /usr/local/mysqldatadir = /data/mysqlpid-file =

mysql

数据

缓存

默认值

服务器

原创 2021-09-29 09:59:18 510 阅读

【mySQL】提升mysql性能的关键参数之innodb_buffer_pool_size、innodb_buffer_pool_instances

作者太罗嗦了，复制好多遍）提升mysql性能的关键参数之innodb_buffer_pool_size、innodb_buffer_pool_instances。首先我们先看一下，我的电脑（i3-3220，4G内存，没有配置innodb_buffer_pool_size参数的情况下，抛开程序的性能，经过1个线程-8个线程的测试结果）

mysql

数据

缓存

高并发

缓冲池

原创 2021-09-29 09:53:48 1442 阅读

【mysql 常见问题】Mysql 常见问题经验积累

1、ERROR 1005 (HY000):Can't createtable ?errno:121ERROR 2006 MySQL serverhas goneaway (下面操作也可引起这样的错误）原因1：外键冲突。原因2：想当然的用把原有数据文件删除，用别的数据库的目录替换的方式把别的数据库的数据导入到自己的数据库中出现...

mysql

数据库

客户端

服务器

子进程

原创 2021-09-28 18:14:52 539 阅读

【MyISAM和InnoDB】MyISAM和InnoDB 区别和性能对比（mysql插入速度的方法）

区别：MySQL数据库MyISAM和InnoDB存储引擎的比较MySQL有多种存储引擎，MyISAM和InnoDB是其中常用的两种。这里介绍关于这两种引擎的一些基本概念（非深入介绍）。MyISAM是MySQL的默认存储引擎，基于传统的ISAM类型，支持全文搜索，但不是事务安全的，而且不支持外键。每张MyISAM表存放在三个文件中：frm文件存放表...

mysql

数据

存储引擎

mysql数据库

插入数据

原创 2021-09-28 18:08:25 746 阅读

【redis】keepalived实现redis双主备份（keepalived + redis高可用方案搭建）

现在的生产环境基本上都采用主备方式，而如何实现redis的主备呢？一般情况下，redis实现主从复制比较简单，只需要在从服务器的配置文件里配置 "slaveof"即可。但这样存在一个问题：主服务器挂掉时，可临时将业务地址转移到从服务器，但从服务器无法进行写操作。为解决这个问题，在网上查找了一些资料。主要有以下几种方案1、使用keepalived+监控脚本实现主备切换2、使...

redis

bash

数据

服务器

优先级

转载 2021-09-28 18:06:51 305 阅读

【myISAM和innoDB】mySql的引擎myisam和innodb的区别/mysiam

引擎在不断的发展(比如InnoDB发展），所以不会去记具体的特性，在选型的时候才去看和对比。简单点说。。。没啥特殊的话请使用innodb。 myisam已被放弃。简单说读操作多用MyISAM写操作多用InnoDB1、myisam查询效率更高，查询效率差myisam6-7倍。2、innodb支持事务，行锁，外...

子节点

主键

数据

非聚集索引

数据文件

原创 2021-09-28 17:51:36 162 阅读

【mysql索引】MySQL索引原理及慢查询优化

转自：http://blog.jobbole.com/86594/ https://tech.meituan.com/mysql-index.htmlMySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已经成为开发工程师的必修课，我们经常会从...

数据

数据项

字段

数据结构

慢查询

原创 2021-09-28 17:49:47 377 阅读

【MYSQL】mysql将两个表结果合并到一起将两个表结果合并

功能：使用mysql中union all 将2个表中的数据查询结果合并到一个返回结果中。再针对结果统一排序操作等。（注：2个表返回的列名必须一致）语句如下：SELECT 表1.字段, 表2.字段, ...FROM (SELECT 表.字段1，表.字段2 FROM 表 WH...

字段

mysql

字段名

多表

表名

原创 2021-09-28 17:40:16 8660 阅读

【SQL】SQL 注入攻击和预防

预防SQL攻击措施如何预防SQL注入？这是开发人员应该思考的问题，作为测试人员，了解如何预防SQL注入，可以在发现注入攻击bug时，对bug产生原因进行定位。1）严格检查输入变量的类型和格式对于整数参数，加判断条件：不能为空、参数类型必须为数字对于字符串参数，可以使用正则表达式进行过滤：如：必须为[0-9a-zA-Z]范围内的字符串2）过滤和转义特殊字符在user...

sql注入

用户名

sql

数据

字符串

原创 2021-09-28 17:37:46 211 阅读

【mySQL】mySQL动态语句（SQL语句中有变量）

动态表名列名：delimiter //create procedure oneKey(in newName varchar(250),in oldName varchar(250),in idNum INT)BEGIN SET @sqlStmt = CONCAT('insert into ',newName,' (`name`,`age`,`sex`,`major`,`pas...

sql

存储过程

表名

字符串

占位符

原创 2021-09-28 17:30:25 2460 阅读

【hadoop】为什么要用hadoop？

数据

mapreduce

结构化

数据库

批处理

原创 2021-09-28 16:13:27 1117 阅读

【Redis】redis集群搭建（非常详细，适合新手） V2

集群搭建在开始redis集群搭建之前，我们先简单回顾一下redis单机版的搭建过程下载redis压缩包，然后解压压缩文件；进入到解压缩后的redis文件目录（此时可以看到Makefile文件），编译redis源文件；把编译好的redis源文件安装...

redis

redis集群

ruby

服务器

端口号

转载 2021-09-28 16:10:14 86 阅读

【Redis 】实现Redis Cluster并实现Python链接集群

目录一、Redis Cluster简单介绍二、背景三、环境准备 3.1 主机环境 3.2 主机规划四、部署Redis 4.1 安装Redis软件 4.2 编辑Redis配置文件 4.3 启动Redis服务五、构建Redis Cluster集群 5.1 ...

redis

python

2d

f5

数据

转载 2021-09-28 16:08:09 693 阅读

【Reids】高可用Redis：Redis Cluster （原理多图讲透）

Redis Cluster是Redis官方提供的Redis集群功能1.为什么要实现Redis Cluster1.主从复制不能实现高可用2.随着公司发展，用户数量增多，并发越来越多，业务需要更高的QPS，而主从复制中单机的QPS可能无法满足业务需求3.数据量的考虑，现有服务器内存不...

数据

redis

客户端

数据分布

缓存

原创 2021-09-28 16:07:18 204 阅读

【Redis】Redis 集群缓存测试要点--关于线上 token 失效 BUG 的总结 --研读

在测试xx系统过程中遇到了线上大面积用户登录态失效的严重问题，事后对于其原因及测试盲点做了一些总结记录以便以后查阅，总结分为以下7点，其中原理性的解释有些摘自网络。1.xx系统token失效问题复盘2.Redis 经典流程3.Redis分片部署方式4.Redis扩容导致缓存数据失效5.Redis Shard...

缓存

redis

数据

服务器

客户端

原创 2021-09-28 16:05:55 95 阅读

【MYSQL】mysql把字段进行逗号分隔成多条数据

mysql把字段进行逗号分隔成多条数据，由于很多业务表因为历史原因或者性能原因，都使用了违反第一范式的设计模式。即同一个列中存储了多个属性值（具体结构见下表）。这种模式下，应用常常需要将这个列依据分隔符进行分割，并得到列转行的结果。表数据：ID　 Value1 tiny,small,big2 small,medium3 tiny,big期望得到结果：ID Value...

mysql

字段名

数据

分隔符

第一范式

转载 2021-09-28 15:48:01 1866 阅读

【mySQL】MySQL每秒57万的写入，快还是慢？---研读

本文作者：吴炳锡来源：https://yq.aliyun.com/articles/278034一、需求一个朋友接到一个需求，从大数据平台收到一个数据写入在20亿+，需要快速地加载到MySQL中，供第二天业务展示使用。

数据

主键

自增列

自增

mysql

原创 2021-09-28 15:32:59 255 阅读

【mySQL】mysql数据库分页查询讨论专题

MySQL：limit分页公式、总页数公式1) limit分页公式（1）limit分页公式：curPage是当前第几页；pageSize是一页多少条记录limit (curPage-1)*pageSize,pageSize（2）用的地方：sql语句中select * from student limit(curPage-1)*pageSize,pageSize;2)...

分页

查询优化

数据

mysql

字段

原创 2021-09-28 15:28:57 305 阅读

【mySQL】MySQL的四种事务隔离级别

本文转自：https://www.cnblogs.com/huanongying/p/7021555.html （建议去原文查看，有评论）本文实验的测试环境：Windows 10+cmd+MySQL5.6.36+InnoDB一、事务的基本要素（ACID）　

客户端

数据

mysql

隔离级别

事务隔离级别

原创 2021-09-28 15:25:02 541 阅读

【mySQL】Mysql InnoDB 共享表空间和独立表空间区别和优缺点

一、概念　　共享表空间： Innodb的所有数据保存在一个单独的表空间里面，而这个表空间可以由很多个文件组成，一个表可以跨多个文件存在，所以其大小限制不再是文件大小的限制，而是其自身的限制。从Innodb的官方文档中可以看到，其表空间的最大限制为64TB，也就是说，Innodb的单表限制基本上也在64TB左右了，当然这个大小是包括这个表的所有索引等其他相关数据。三、共享表空间优缺点...

表空间

数据

统计分析

数据库

html

转载 2021-09-28 15:13:55 738 阅读

【mysql】MySQL 面试，必须掌握的 8 个知识点

内容介绍对于技术面试来说，考察的核心包含以下两个特点：考察的知识点广，因为不同的公司和不同的面试官技能知识结构是不同的，所以所关注的问题和面试内容也是不同的，所以具备面试知识点广的特点；考察的知识点较深入，以阿里巴巴为例，这些大厂的面试都是类似的，通常从一个大的面试点切入，然后层层深入，直到问到你不会为止

mysql

数据库引擎

内置函数

性能优化

数据库

原创 2021-09-28 15:11:03 223 阅读

【mySQL++】C++ 操作mySQL

MySQL其实提供了C实现的接口，而MySQL++则是一个C++实现的封装MySQL C接口的一个Wrapper，遵循了标准C++的规则，是个跨平台的开源工具。我们主要用MySQL++来开发C++程序。1. 安装和配置还是万年不变的新手主题——安装和配置安装MySQL++之前需要先安装MySQL

mysql

linux

编译器

c++

g++

原创 2021-09-28 15:08:36 995 阅读

【mySQL】MySQL数据库知识整理

数据库三大范式是什么第一范式：每个列都不可以再拆分。第二范式：在第一范式的基础上，非主键列完全依赖于主键，而不能是依赖于主键的一部分。第三范式：在第二范式的基础上，非主键列只依赖于主键，不依赖于其他非主键。在设计数据库结构的时候，要尽量遵守三范式，如果不遵守，必须有足够的理由。比如性能。

数据

mysql

数据库

字段

主键

原创 2021-09-28 15:07:44 288 阅读

【数据库】时序数据库InfluxDB 性能测试和为什么时序数据库更快、时序数据库应用场景

CPU 内存带宽版本号 4核 16G 1Gbit/s Ubuntu 4.8.4-2ubuntu1~14.04.3 写入测试：60万/s测试结论：最大的吞吐量为每秒写入60万条数据。这之后，每秒发送的points再多，吞吐量也不会增加，同时CPU利用率已达90%。查询测试：600/s

数据

时序数据库

时间戳

ubuntu

时间序列

原创 2021-09-28 15:04:27 4563 阅读

【mySQL】mysql是行级锁还是表级锁

一、概述数据库锁定机制简单来说，就是数据库为了保证数据的一致性，而使各种共享资源在被并发访问变得有序所设计的一种规则。对于任何一种数据库来说都需要有相应的锁定机制，所以MySQL自然也不能例外。MySQL数据库由于其自身架构的特点，存在多种数据存储引擎，每种存储引擎所针对的应用场景特点都不太一样，为了满足各自特定应用场景的需求，

死锁

mysql

存储引擎

加锁

数据

原创 2021-09-28 14:55:29 560 阅读

【mySQL】WAL和MVCC ----待消化

WAL（Write-Ahead Logging）机制MySQL 里经常说到的 WAL技术，也就是先写日志，再写磁盘。当内存数据页跟磁盘数据页内容不一致的时候，我们成这个内存页为“脏页”。内存数据写入磁盘后，内存和磁盘上的数据页内容就一致了，称为“干净页”。MySQL 从内存更新到磁盘的过程，称为刷脏页的过程（flush）。

数据

版本号

mvc

持久化

mysql

原创 2021-09-28 14:49:50 154 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

bandaoyu的51博客

【数据库】结构化数据、非结构化数据、半结构化数据的区别

【存储】什么是 WAL|数据库性能

【redis】hiredis-vip （hiredis封装成支持cluster的api）

【mySQL】MYSQL数据库时间字段INT,TIMESTAMP,DATETIME性能效率比较

【mySQL】数据库[配置]优化方案（MySQL并行写入、查询性能调优（多核CPU））

【mySQL】提升mysql性能的关键参数之innodb_buffer_pool_size、innodb_buffer_pool_instances

【mysql 常见问题】Mysql 常见问题经验积累

【MyISAM和InnoDB】MyISAM和InnoDB 区别和性能对比（mysql插入速度的方法）

【redis】keepalived实现redis双主备份（keepalived + redis高可用方案搭建）

【myISAM和innoDB】mySql的引擎myisam和innodb的区别/mysiam

【mysql索引】MySQL索引原理及慢查询优化

【MYSQL】mysql将两个表结果合并到一起将两个表结果合并

【SQL】SQL 注入攻击和预防

【mySQL】mySQL动态语句（SQL语句中有变量）

【hadoop】为什么要用hadoop？

【Redis】redis集群搭建（非常详细，适合新手） V2

【Redis 】实现Redis Cluster并实现Python链接集群

【Reids】高可用Redis：Redis Cluster （原理多图讲透）

【Redis】Redis 集群缓存测试要点--关于线上 token 失效 BUG 的总结 --研读

【MYSQL】mysql把字段进行逗号分隔成多条数据

【mySQL】MySQL每秒57万的写入，快还是慢？---研读

【mySQL】mysql数据库分页查询讨论专题

【mySQL】MySQL的四种事务隔离级别

【mySQL】Mysql InnoDB 共享表空间和独立表空间区别和优缺点

【mysql】MySQL 面试，必须掌握的 8 个知识点

【mySQL++】C++ 操作mySQL

【mySQL】MySQL数据库知识整理

【数据库】时序数据库InfluxDB 性能测试和为什么时序数据库更快、时序数据库应用场景

【mySQL】mysql是行级锁还是表级锁

【mySQL】WAL和MVCC ----待消化