xtrabackupXtrabackup 是一个对 InnoDB 做数据备份的工具，支持在线热备份(备份时不影响数据读写)xtrabackup备份MySQL的过程:(1)先拷贝ibdata1文件、undo文件、InnoDB/XtraDB引擎对应的表ibd等文件，不包括.frm文件(2)flush table with read lock;(3)拷贝MyISAM表对应的.MYD、.MYI、.frm文
1、安装配置Hadoop 1.0.3+hbase-0.92.1HostnameRolesht-sgmhadoopcm-01(172.16.101.54)NameNode, ZK, HMastersht-sgmhadoopdn-01(172.16.101.58)DataNode, ZK, HRegionServersht-sgmhadoopdn-02(172.16.101.59)Data
python如何调用脚本或者shell指令？方法1：os.system()只得到命令成功与否的执行状态>>> import os >>> os.system('free -m') &nbs
列表最简单的去重方式list1 = [10, 5, 1, 1, 3, 3, 3, 6, 6, 6] print(set(list1)) print(list((set(list1)))) #不排序 print(sorted(set(list1))) #排序 输出结果
python中读取文件的三种方法read(),readline(),readlines()测试文件tb.txt文件的内容：OracleMySQLPostgreSQLRedisMongoDBread返回的是字符串类型，默认读取文件的全部内容；file1 = open('tb.txt', 'r') content = f
什么是MySQL Connector/Python？MySQL Connector/Python enables Python programs to access MySQL databases, using an API that is compliant with the Python Database API Specification v2.0 (PEP 249). It is
1.virtualenvvirtualenv作用：在一个操作系统下使用不同的python环境，包括不同的python版本和不同的python库包安装pip[root@sht-sgmhadoopcm-01 software]# wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate[root@sht-sgmhadoopcm-0
什么是Internal Temporary？临时表分为两种，一种是当执行一些SQL的时候MySQL会自动创建的一些中间结果集，称为internal temporary，这些中间结果集可能放在memory中，也有可能放在disk上；还有一种是手动执行create temporary table 语法生成的外部临时表，这种临时表存储在memory上，数据库shutdown，就会自动删除；本篇
问题开发有一条insert SQL 是定时任务，内容如下， 每天需要约执行5-10次，笔者从select部分开始跑了一会没有结果，就放弃了，效率很差.INSERT INTO bs_sf_yd_flow_check ( `merchantNo`, `sfBusinessId`, `sfMerOrde
背景当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。1、MongoDB sharding简介三种角色：配置服务器(config)：是一个独立的mongod进程，保存集群和分片的元数据，即各分片包含了哪些数据的信息。路由服务器(mongos)：起到一个路由的功能，供程序连
先来个示例：mysql>CREATETABLEt1(f1INTNOTNULL,f2INTNOTNULL,PRIMARYKEY(f1,f2));mysql>INSERTINTOt1VALUES->(1,1),(1,2),(1,3),(1,4),(1,5),->(2,1),(2,2),(2,3),(2,4),(2,5);mysql>INSERTINTOt1SELECTf1,f2+5FROMt1;mys
Descending Indexes降序索引降序索引主要是用来减少排序，去除filesort的。MySQL支持降序索引:索引定义中的DESC不再被忽略，而是按降序存储键值。以前，索引可以以相反的顺序扫描，但会影响性能。可以按前向顺序扫描降序索引，效率更高。当最有效的扫描顺序混合了某些列的升序和其他列的降序时，降序索引还可以使优化器使用多列索引。mysql> CREATE
invisible index特点默认创建的索引都是visible，如果需要invisible索引创建的时候需要指定invisible参数。默认无法使用invisible index索引，需要开启参数optimizer_switch='use_invisible_indexes=on'才能使用；使用force index也无法使用，会报错；索引的visible和invisible属
MySQL8.0暂时支持如下几种正则表达式函数，本文只是抛砖引玉，更多内容请参考MySQL手册。NameDescriptionNOT REGEXPNegation of REGEXPREGEXPWhether string matches regular expressionREGEXP_INSTR()Starting index of substring matching regular exp
MySQL8.0开始像Oracle一样支持窗口函数了，先来跑个SQL,感受一下窗口函数的魅力。mysql> create table numbers(val int); mysql> insert into numbers values(1),(1),(2),(3),(3),(3),(4),(4),(5);
上一篇介绍了CTE的基本用法，参考MySQL 8.0新特性--CTE(一)，本篇再来介绍一下CTE Recurive递归。1、什么是CTE Recurive?A recursive common table expression is one having a subquery that refers to its own name.个人理解：在CTE定义中调用先前定义的CTE，并且在查询的时候，
1、CTE简介CTE(common table expression)是一个临时的结果集，类似一个函数，一旦定义好，可以多次调用。
(1)优化前如下一条SQL，把从1985-05-21入职前的员工薪资都增加500，执行约20.70 s，从执行计划中可以看出对表salaries进行的是索引全扫描，扫描行数约260W行。mysql> update salaries set salary=salary+500 where emp_no in (se
(1)优化前：使用or的时候，SQL执行时间1.47smysql> select e.emp_no,e.first_name,d.dept_no,d.from_date,d.to_date from employees e left join dept_emp d on e.emp_
group by 语句用于结合聚合函数（如count，sum，avg，max，min），根据一个或多个列对结果集进行分组。（1）去掉重复值：根据group by后面的关键字只显示一行结果；（2）mysql5.7默认开启参数ONLY_FULL_GROUP_BY，表示完全group by，即select后面跟的列group by后面也必须有，但是group by后面跟的列，select后面
MySQL使用in带子查询的时候，子查询不要使用union或union all特别是当外部表比较大的时候，千万不要使用in和union搭配，因为子查询中一旦使用union，执行计划会出现dependent subquery这种情况，在生产上我们有使用类似的情况，导致SQL执行效率很差，下面举例说明，为了生产安全隐私，以下举例用测试表演示，原理相通。举例使用in和union搭配的时候，s表作为外部表
1、Derived_merge简介MySQL Reference manual是这么描述的:The derived_merge flag controls whether the optimizer attempts to merge subqueries and views in the FROM clause into the outer query block, assuming that
1、简介MongoDB复制是将数据同步在多个服务器的过程，类似MySQL Replication是一种异步复制；复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。2、MongoDB复制特点(1) mongodb的节点有三种角色：primary,seconfary,arbiter, primary负责处理客户端请求，读写数据；second
背景最近公司的一台实例类型为m5.2xlarge(8个vCPU,32G的Memory)的机器磁盘性能不行，于是需要做个磁盘性能测试。这里使用fio测试工具。1.AWS磁盘类型简介AWS EC2 instance 目前EBS有5种类型，分别是gp2，io1，st1，sc1，standard. 笔者只介绍standard，其他四种可自行上网了解。这是AWS上一代的volumn HDD类型，卷
MongDB是json格式的文档存储数据库安装启动[root@sht-sgmhadoopcm-01 ~]# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz [root@sht-sgmhadoopcm-01 ~]# tar -zxvf&
MySQL Federated存储引擎引起的慢SQL优化
Truncate/Delete/Drop table的特点和区别
Oracle %Cpu 100 us
Hive SQL去重
AWS SDK Python
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
