Lucky_Syw的博客_数据库测试

带你完成数据库的clickbench性能测试(小白都能看懂)

clickbench官网链接：https://benchmark.clickhouse.com/ 如下采用的数据库为分析型数据库支持MySQL协议，其他所有的数据库操作方法均类似测试背景利用clickhouse的clickbench测试数据与查询SQL对AtomData进行了性能测试，所有的测试

ci

SQL

数据库

原创 2023-05-13 22:27:24 260 阅读

带你看懂clickbench打榜报告的内容

clickbench官网链接：https://benc

MySQL

SQL

取值

原创 2023-05-13 22:21:55 357 阅读

【数据库测试】【shell脚本】查询同一个SQL执行多次，并统计每次耗时

场景说明在数据库查询中会常见cold run与hot

CSV

SQL

sql

原创 2023-05-13 22:21:39 109 阅读

YCSB的使用测试MySQL协议类数据库

一、工具介绍 YCSB 于 2010 年开源，YCSB是雅虎开源的NoSQL测试工具，通常用来对noSQL数据库进行性能，注意此工具仅支持varchar和text类型，且列的长度可以增加，默认是10列，可以根据自己的需要增加列长。运行一个压力测试需要 6 步：配置需要测试的数据库选择合适的数据库

bc

G1

Time

原创 2023-04-18 16:43:19 344 阅读

【解答】MySQL MTR的实现原理与优势

MySQL MTR（MySQL Test Run）是 MySQL 数据库测试框架，用于自动化测试 MySQL 数据库系统的功能和性能。MTR 由 MySQL 官方提供，包含了大量的测试用例，可以对 MySQL 数据库系统的各个方面进行测试。可以帮助开发人员和测试人员快速、准确地进行测试，提高 MyS

MySQL

测试用例

数据库系统

原创 2023-04-01 12:04:46 194 阅读

【解答】OLAP资源隔离的设计原理？

（1）会话控制：分析型数据库会为每个用户分配独立的会话资源，包括内存、CPU时间片等。不同用户之间的会话资源是隔离的，不会相互干扰。会话控制还可以通过会话ID和隔离级别等方式实现。（2）并发控制：为了避免不同用户之间的资源竞争和冲突，分析型数据库通常会采用锁、事务等机制进行并发控制。通过合理地设置

数据库

数据

安全控制

原创 2023-04-01 12:04:27 120 阅读

【解答】OLAP数仓的性能测试的流程？

（1）确定测试目标和指标：确定测试的目标和指标，包括查询响应时间、数据加载时间、并发访问量、数据容量等。（2）确定测试数据：确定测试数据的来源和规模，包括数据量、数据类型、数据结构等。（3）设计测试方案和用例：设计测试方案和测试用例，包括不同数据查询、数据分析、数据挖掘场景的测试，以及对不同查询

测试数据

测试环境

测试工具

原创 2023-04-01 12:04:17 215 阅读

【解答】大 SQL 运行查询时，如何判断是否需要进入队列排队等待，还是进入内核执行运算

在数据库运行大 SQL 查询时，可以通过以下几个方面来判断是否需要进入队列排队等待，还是进入内核执行运算：（1）查询语句的复杂度：如果 SQL 查询语句非常复杂，包含多个表的联合查询、子查询、聚合函数等，需要对大量数据进行分组、排序、过滤等操作，那么这个 SQL 查询很可能需要进入队列排队等待，等

数据库系统

SQL

查询语句

原创 2023-04-01 12:04:07 137 阅读

YCSB工具原理重点内容解读（二）

支持insert和批量insert，待研究怎么设置一、建表（1）默认表名为usertable CREATE TABLE usertable ( YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FI

字段

默认值

bc

原创 2023-04-01 12:03:53 312 阅读

【解答】大数据量场景下，如何测试验证函数的数值计算的数据正确性

测试的大数据

数据

数值计算

数据集

原创 2023-04-01 12:03:33 177 阅读

【解答】如何保障数据库的测试质量？

保障数据库的测试质量可以从以下几个方面进行：（1）设计合理的测试用例：需要设计合理、全面、准确的测试用例，覆盖数据库的各种功能和场景，包括常规操作、异常操作、性能测试、安全测试等。（2）自动化测试：可以采用自动化测试的方式，提高测试的效率和准确性，同时可以快速发现和解决问题。（3）定期回归测试

数据库

测试数据

数据

原创 2023-04-01 12:03:06 229 阅读

【解答】如何保障ETL过程的数据正确性。这个过程会产生哪些问题？

保障ETL过程的数据正确性可以从以下几个方面考虑：数据源的质量：ETL过程的数据质量取决于数据源的质量，因此需要对数据源进行充分的验证和清洗，确保数据的准确性、完整性和一致性。数据转换的准确性：在ETL过程中，数据转换是非常重要的一步，需要确保数据转换的准确性和正确性。可以采用数据验证、数据重复

数据

数据转换

数据质量

原创 2023-04-01 12:02:52 183 阅读

文件系统对数据库性能的影响

在平时的数据库性能测试中，我们也需要关注一下服务器所使用的文件系统类型，因

文件系统

结构化

数据库

原创 2023-01-26 13:52:09 159 阅读

性能测试工具集锦

o-ycsb 学习参考文档 ycsb / go-ycsb压测工具的简单试用：https://blog

github

测试数据

压测

原创 2023-01-09 17:00:20 142 阅读

测试人员参加项目POC的核心价值

（一）参加项目POC要了解的内容客户的数据应用于哪些业务场景客户目前面临的挑战通过POC，希望达成什么目标客户有调研过哪些竞品，未选择的原因是什么产品在客户环境的使用场景客户的产品发展情况（过去与未来）客户关注产品的哪些核心价值不能忍受产品出现什么错误客户对产品POC的测试方案产

测试人员

使用场景

测试报告

原创 2022-10-31 09:18:02 235 阅读

【重要】大数据性能基准测试工具

大数据具有3V特性，Volume(海量)、Velocity（高速）、Variety（多样）大数据测试基准的选择考虑因素与其自身

数据

大数据

基准测试

原创 2022-10-21 11:15:51 484 阅读

【mariadb-columnstore】ubuntu 安装mariadb-columnstore单机版

通过APT安装ColumnStore 注：ubuntu 20.04版本 1、配置APT包存储列 MariaDB ColumnStore5.5在MariaDB Community Server上可用10.5 要配置APT软件包存储库 sudo apt install wget wget https:/

mysql

配置文件

ubuntu

原创 2022-10-21 09:54:39 203 阅读

DataX进行数据同步总结

同步需求：mysql中的数据同步到atomdata（一个数据，和你认为的oracle一样） Github

python

数据库

数据源

原创 2022-10-21 09:53:13 182 阅读

小白如何开始进行数据库的测试（经验总结）

你是不是属于刚入行做数据库的测试，一脸懵逼的茫然，不知道该如何下手？对数据库的基本知识掌握的也不全面？更加不知道该测试什么？身边也没有人指导？......等等之类的问题。那么你最开始需要做什么才能让自己有个起步状态，并且逐渐的明白数据库中有什么，要如何迈出这一步，向下看。 1、了解一个数据库中都包含

数据库

用例

mysql

原创 2022-08-24 00:28:47 220 阅读

PostgreSQL与MySQL比较

特性 MySQL PostgreSQL 实例通过执行 MySQL 命令（mysqld）启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mysqld 实例。一个实例管理器可以监视 mysqld 的各个实例。通过执行 Postmaster 进程（pg_ctl）启动实例。一个实例可

postgresql

mysql

oracle

原创 2022-08-05 14:23:18 120 阅读

带你认识--分库分表

关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。数据库分布式核心内容无非就是数据

数据

字段

数据库

原创 2022-08-05 14:22:50 90 阅读

数据库安全测试

数据库安全最佳实践其中一些方法包括：您需要限制未经授权的访问，使用非常强大的凭据，并实施多因素访问。对数据库进行负载/压力测试

数据库

数据库安全

数据

原创 2022-08-05 14:22:30 288 阅读

你对天天挂在嘴边的高并发，怕是有什么误解吧？

高并发，几乎是每个程序员都想拥有的经验。原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPU load升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。在过往的面试中，如果候选人做过高并发的项目，我通常会让对方谈谈对于高并发的理解，但是能系统性

高并发

缓存

响应时间

转载 2022-08-05 14:21:58 25 阅读

【重要】数据库基础知识学习宝典

1. 数据库管理系统的主要功能数据定义，数据操作，数据库的运行管理，数据组织、存储与管理，数据库的保护和维护，通信 2. 数据库的几种语言 l 数据查询语言(DQL):用来查询记录。保留字：select、where、order by、group by、having。 l 数据操作语言(DML):用

数据库

数据

子查询

原创 2022-08-05 14:20:27 150 阅读 1收藏

互联网行业数据库应用选型指南核心结论

2022年3月的指南白皮书中所提内容总结：通过如下的调研结果可以看出，目前我们公司的产品是属于应用型前列的数据库

云数据库

数据库

备份恢复

原创 2022-08-05 14:17:32 75 阅读

存储模型(行存/列存）对 TP 和 AP 业务的影响

基础的数据模型是以行和列组成的一张张表。通常行有一个唯一标识 Row Id，且存在有限个字段，字段就是列的值。行数可以达到非常大的量级，而列数通常是有限的。行式存储就是，数据在存储介质（磁盘 or 内存）上的组织形式，是以行为单位的，即先放第一行所有的数据，再放下一行，这种方式比较符合人的直觉。列

数据

数据库

sql

转载 2022-08-05 12:55:12 1191 阅读

数据迁移后，验证数据一致性与准确性的测试方法

需求说明 1、数据从mysql8.0通过datax的方式迁移到atomdata数据库（一款OLAP类型数据库，兼容mysql） 2、mysql8.0表cyry、hjry的数据全部迁移到atomdata中，2张表有关联关系（示例：cyry、hjry可通过name关联）迁移方法见“datax”迁移数

mysql

数据

数据库

原创 2022-08-05 12:43:46 1005 阅读

数据库load data 报2068错误

具体的报错信息截图如下：解决方案如下：退出当前数据库，输入命令 exit; 再次输入： mysql -h 10.0.1.63 -P 3001 -u kepler -p --local-infile=1 语法为：mysql -h host -P 端口 -u 用户名 -p --local-infil

mysql

用户名

报错信息

原创 2022-08-03 09:01:54 74 阅读

PostgreSQL远程连接，发生致命错误：no pg_hba.conf entry for host 'ip地址' ，user “****”，database

问题原因这是在远程连接时pg_hba.conf文件没有配置正确。 pg_hba.conf文件在Postgre安装文件目录下的data文件夹中。解决方案 1、进入到data目录下，找到pg_hba.conf文件 2、修改文件 3、进入到postgres用户下，执行命名 #su - postgres

解决方案

javascript

修改文件

原创 2022-08-03 08:58:17 1928 阅读

【mariadb-columnstore】MariaDB连接Sequel总结（类似Navicate）

注：mariadb的安装文章篇见： mariadb安装完，默认没有密码，在命令行执行运行mariadb即可进入数据库 MariaDB连接Sequel（类似Navicate），会连接Sequel就会连接navicate，两者的连接方式都是一样的 1、进入到mariadb数据库 # mariadb 2、

mysql

ide

创建用户

原创 2022-08-02 10:24:02 69 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx62e885087f161的博客

带你完成数据库的clickbench性能测试(小白都能看懂)

带你看懂clickbench打榜报告的内容

【数据库测试】【shell脚本】查询同一个SQL执行多次，并统计每次耗时

YCSB的使用测试MySQL协议类数据库

【解答】MySQL MTR的实现原理与优势

【解答】OLAP资源隔离的设计原理？

【解答】OLAP数仓的性能测试的流程？

【解答】大 SQL 运行查询时，如何判断是否需要进入队列排队等待，还是进入内核执行运算

YCSB工具原理重点内容解读（二）

【解答】大数据量场景下，如何测试验证函数的数值计算的数据正确性

【解答】如何保障数据库的测试质量？

【解答】如何保障ETL过程的数据正确性。这个过程会产生哪些问题？

文件系统对数据库性能的影响

性能测试工具集锦

测试人员参加项目POC的核心价值

【重要】大数据性能基准测试工具

【mariadb-columnstore】ubuntu 安装mariadb-columnstore单机版

DataX进行数据同步总结

小白如何开始进行数据库的测试（经验总结）

PostgreSQL与MySQL比较

带你认识--分库分表

数据库安全测试

你对天天挂在嘴边的高并发，怕是有什么误解吧？

【重要】数据库基础知识学习宝典

互联网行业数据库应用选型指南核心结论

存储模型(行存/列存）对 TP 和 AP 业务的影响

数据迁移后，验证数据一致性与准确性的测试方法

数据库load data 报2068错误

PostgreSQL远程连接，发生致命错误：no pg_hba.conf entry for host 'ip地址' ，user “****”，database

【mariadb-columnstore】MariaDB连接Sequel总结（类似Navicate）