joe321的博客_SQL Server,数据库,Linux,Windows server,NoSql,存储,MongoDB,Index,DB Mirror,Memory

数据压缩：自动评估

在前一篇博文数据压缩简要的基础上，我希望把数据压缩评估自动化。于是有了这篇博文。白皮书推荐对符合如下条件的大型表和索引使用页压缩：表或索引的扫描操作占到所有操作的75%及以上时表或索引的更新操作占到所有操作的20%及以下时注意，这是白皮书中的结论和建议，但是也只能做参考，最为最佳实践的考虑点之一。此脚本的原始作者是Louis Li。但是它的脚本有一些限制，我在这此基础上做了修改：辅助表

SQL

Server

Compression

原创 2016-07-14 15:33:43 796 阅读

数据压缩 : 简要

1. 决定压缩哪些对象通过sp_estimate_data_compression_savings 评估在ROW和PAGE压缩时分别节省的空间量。表包含如下数据模式时，会有较好的压缩效果：数字类型的列和固定长度的字符类型数据，但两者的大多数值都不会用到此类型的所有字节。如INT列的值大多数少于1000.允许为NULL的列有很多NULL值列值中有很多一样的值或者相同的前缀。表包含如下数据模式时，压缩

Compression

SQL Server

原创 2016-07-13 14:32:50 1369 阅读

非聚集索引中的临界点(Tipping Point)

什么是临界点? 注意，我要说的问题是非聚集索引的执行计划从Seek+Lookup变成Table/Clustered Index Scan的临界点。SQL Server的访问数据的IO最小单元是页。我们知道聚集索引的叶级是数据页，非聚集索引的叶级是指向数据行的指针。所以通过聚集

SQL

Index

Server

原创精选 2016-06-30 16:01:06 1130 阅读

分析SIX锁和锁分区导致的死锁

什么是SIX锁？官方文档锁模式中说到：意向排他共享 (SIX)：保护针对层次结构中某些（而并非所有）低层资源请求或获取的共享锁以及针对某些（而并非所有）低层资源请求或获取的意向排他锁。顶级资源允许使用并发 IS 锁。例如，获取表上的 SIX 锁也将获取正在修改的页上的意向排他锁以及修改的行上的排他锁。虽然每个资源在一段时间内只能有一个 SIX 锁，以防止其他事务对资源进行更新，但是其他事务可

SQL

Lock

Dead

原创精选 2016-06-12 16:13:36 1690 阅读

SQL Server 诊断查询-(5)

Query #57 Buffer Usage -- Breaks down buffers used by current database by object (table, index) in the buffer cache--&nb

SQL Server

DMV

原创 2016-02-04 09:43:26 955 阅读 1点赞 1评论

SQL Server 诊断查询-(4)

Query #41 Memory Clerk Usage-- Memory Clerk Usage for instance-- Look for high value for CACHESTORE_SQLCP (Ad-hoc query plans)SELECT TOP(10) mc.[type] AS [Memory Clerk Type],CAST((SUM(mc.pag

SQL

Server

DMV

原创 2016-02-04 09:42:25 614 阅读

SQL Server 诊断查询-(3)

Query #27 Database Properties -- Recovery model, log reuse wait description, log file size, log usage size &nbs

SQL

Server

DMV

原创 2016-02-03 16:46:02 1117 阅读 1点赞

SQL Server 诊断查询-(2)

-- Shows you where the SQL Server failover cluster diagnostic log is located and how it is configuredSELECT is_enabled, [path], max_size, max_filesFROM sys.dm_os_server_diagnostics_log_confi

SQL

Server

DMV

原创 2016-02-03 16:39:22 1047 阅读 1点赞 2评论

SQL Server 诊断查询-(1)

SQL and OS Version information for current instanceSELECT @@SERVERNAME AS [Server Name], @@VERSIONAS [SQL Server and OS Version Info]; Query #2 is C

SQL

Server

DMV

原创 2016-02-03 16:37:54 769 阅读

导数中的最小化日志记录：测试和分析

测试和分析依据上文件最小化日志的判断逻辑，对常见的BULK INSERT和INSERT INTO...SELECT做测试和分析创建测试环境和基准--创建表tb_source并插入10000条数据 use master go create database test; alter database test set

SQL Server

Bulk

原创精选 2015-11-17 17:24:57 889 阅读 1点赞 1评论

导数中的最小化日志记录：背景和理论

什么是最小化日志(Minimal Logging) 当数据库的恢复模式为SIMPLE或者BULK_LOGGED时，对于最小化日志类型的操作，事务日志不记录单独每个数据行的日志，而是记录对应页和区结构的修改日志。这样显著减少了操作产生的事务日志数量。例如，向某个数据页上插入200行数据，在最小化日志记录的情况下，只会记录一条此数据页变化的日志，而不是200条Insert日志。最小化日志类

LOG

SQL Server

原创精选 2015-10-31 10:59:17 3592 阅读

索引修改内幕

索引修改的大致规则：对表的任何修改操作(UDI)，总会对表上的非聚集索引执行等价的操作。某些更新操作除外。对表的任何修改操作，都会先修改堆或者聚集索引，然后再修改非聚集索引。如果修改的数据行，正是过滤索引过滤掉的行(过滤索引的叶级页不包含的行)，则不会对过滤索引产生任何操作。插入数据行对于聚集和非聚集索引的插入，新行(不管是数据行还是索引行)所包含的索引键列值就决定了它将被插入的位置

Index

SQL Server

原创 2015-10-16 11:40:17 555 阅读

关于Latch

Latch是什么 Latch是SQL Server引擎保证内存中的结构的一致性的轻量同步机制。比如索引，数据页和内部结构(比如非叶级索引页)。SQL Server使用Buffer Latch保护缓冲池中的页，用I/O Latch保护还未加载到缓冲池的页，用Non-Buffer Latch保护内存中的内部结构。Buffer Latch：当工作线程访问缓冲池中的某个

Latch

SQL Server

原创精选 2015-09-22 09:55:10 2103 阅读 1点赞 1收藏

如何移动系统/用户数据库

************************************移动系统数据库***********************************预先安排的重定位与预定的磁盘维护过程--------------------------------------------------------------------------------若要将移动系统数据库数据或日志文件的操作作为预先

SQL Server

移动数据库

原创 2015-08-25 09:23:45 847 阅读

堆表修改内幕

堆的修改需要使用到PFS页(PageFreeSpace)。PFS记录着数据页的空间使用情况。PFS页上使用1个字节(Byte)表示一个页的使用情况。一个PFS页可以表示8088个数据页，于是每8088个数据页就会有一个PFS页。一个数据文件的第二个页就是PFS页。PFS页上1个字节的结构：Bit 1：是否被分配并使用。比如，分配给对象的统一区，并不是区内所

Table

SQL Server

原创精选 2015-08-19 09:25:25 638 阅读 3点赞 2评论

表结构修改的内幕

经常会人有这样问我：DBA，我需要修改表结构，你评估一下。往往针对不同的修改，都需要去审核和给出建议。表结构修改的类型是很多种，下文总结一些基本的点。并不是任何一个ALTER TABLE操作都需要将所有的数据行修改一遍。ALTER TABLE三种基本的实现方式：只修改元数据为了保证修改的兼容性需要验证每一行数据，然后只修改元数据物理性的修改每一行很多时候，SQL Server只需要通过修改元数据去

Dev

SQL Server

原创 2015-08-11 09:47:37 891 阅读

如何配置分布式事务

在使用SQL Server时有时会用到分布式事务，下面是我总结的：如何配置分布式事务的详细步骤1. 双方启动MSDTC服务MSDTC服务提供分布式事务服务，如果要在数据库中使用 SQL Server分布式事务，必须在参与的双方服务器启动MSDTC（Distributed Transaction Coordinator）服务。2. 打开双方135端口MSDTC服务依赖于RPC（Remote Proc

MSDTC

SQL Server

原创 2015-08-03 11:11:03 2739 阅读

Rollup Cube Grouping Set使用总结

以上三种在数据汇总统计时经常用到，我尝试以简明易懂地总结出其使用方法和意义GROUP BY ROLLUP(c1,c2,c3...cN) 分级汇总 1. 汇总从左到右逐级降低，最精细的汇总数据是根据最右的列得到 2. 根据c1得到全部汇总->再根据c2细分汇总->...->根据cN得到最精细汇总。采购进货表Pur

Group

Dev

SQL Server

原创 2015-07-31 08:46:05 1570 阅读

SQL Server 加密功能实例

SQL Server中加密是层级的，每一个上层为下提供保护。如图：实例：/** SMK(Service Master Key)在SQL Server安装时生成,由Windows DPAPI(Data Protection API)提供保护 **/ /**创建数据库级别DMK(Database Master Key),受SMK保护**/ create mast

加密

Security

SQL Server

原创 2015-07-30 17:46:06 1079 阅读

简明的数据库设计模式

设计一个数据库存储模式时，要仔细分析数据模式，不要把所有的数据都放在一起。否则对系统的可用性，高效能，扩展性都会有严重的影响。当然你设计的系统非常小，完全可以用最简单的方法。要通过对业务的熟练，从不同的角度对数据进行多维度分析，一般可以从如下几个方向分析： 1. 数

设计

SQL Server

原创 2015-07-30 08:55:26 1966 阅读

监视HASH Warning

Hash Warning 事件类可用于监视在哈希操作过程中何时发生哈希递归或哈希终止（哈希释放）。当生成输入无法装入可用内存时，会发生哈希递归，这将导致输入分割成单独处理的多个分区。如果这些分区中任何一个仍然大于可用内存，则该分区再拆分成子分区分别进行处理。此拆分过程将一直持续到每个分区都小于可用内存，或达到最大递归级数（显示在 IntegerData

Hash

SQL Server

Performace

原创 2015-07-29 16:51:53 859 阅读

SQL Server审计功能入门：SQL Server审核 (SQL Server Audit)

介绍 Audit是SQL Server 2008之后才有的功能，它能告诉你“谁什么时候做了什么事情”。具体是指审核SQL Server 数据库引擎实例或单独的数据库涉及到跟踪和记录数据库引擎中发生的事件。它的底层是基于扩展事件(Extented Event)，所以其性能和灵活性相对较好。审核数据可以输出到审核文件、Windows安全日志和应用程序日志。

Audit

SQL Server

原创精选 2015-03-04 11:41:21 2862 阅读

SQL Server审计功能入门：CDC（Change Data Capture）

介绍SQL Server 2008引入了CDC(Change Data Capture),它能记录：1. 哪些数据行发生了改变2. 数据行变更的历史记录，而不仅仅是最终值。跟CT(Change Tracking)相比，它通过作业实现异步变更跟踪(像事务复制)，而CT是同步实现的。因此它对性能的影响较轻并且不会影响事务。典型应用是在提取、传输和加载数据到其它数据源，就像图中的数据仓库。实现微软建议C

Audit

SQL Server

CDC

原创精选 2015-03-04 11:24:58 1977 阅读

SQL Server审计功能入门：更改跟踪(Change Tracking)

介绍更改跟踪是一种轻量型解决方案，它为应用程序提供了一种有效的更改跟踪机制。常规的，自定义变更跟踪和读取跟踪数据，会使用触发器，存储过程和记录变更的用户表等，还需要保证访问一致和相关清理工作。使用CT会减少额外工作量和保证访问一致性。启用CT的表上必须得有主键，所有版本适用。为了保证更改信息的有效性，官方建议结合快照隔离

SQL

审计功能

更改跟踪

原创 2015-03-04 11:05:16 1458 阅读 2点赞 1评论

MongoDB:MapReduce基础及实例

背景 MapReduce是个非常灵活和强大的数据聚合工具。它的好处是可以把一个聚合任务分解为多个小的任务，分配到多服务器上并行处理。MongoDB也提供了MapReduce，当然查询语肯定是JavaScript。MongoDB中的MapReduce主要有以下几阶段： 1. Map:把一个操作Map到集合中的每一个文档

NoSQL

MongoDB

原创精选 2015-01-31 23:19:45 1014 阅读 1点赞

事务复制和镜像共存性的测试

事务复制的发布库同时也是镜像的主库，测试的目的是当镜像发生故障转移时，事务复制关系是否能同时自动转移。环境：JOEPC\SQLJOEC,DB_TEST1,DB_TEST2_VM三台机都是Win2008_R2_SP1+SQLServer2008_R2_SP1. JOEPC,DB_TEST1都是物理机，DB_T

虚拟机

三台

原创 2015-01-31 14:48:24 619 阅读 1点赞 1收藏 2评论

理解SQL Server的查询内存授予

此文描述查询内存授予(query memory grant)在SQL Server上是如何工作的，适用于SQL 2005 到2008。查询内存授予(下文缩写为QMG)是用于存储当数据进行排序和连接时的临时中间数据行。查询在实际执行前需要先请求保留内存，所以会存在一个授予的动作。这样的好处是提高查询的可靠性

用户

memory

如何

可靠性

翻译精选 2015-01-31 14:44:13 421 阅读

利用DAC(Data-tier Application)实现数据库结构迁移

从一个存在的库，抽取其表结构，对象，权限等，再部署成一个不包含数据的”空库“的方法有很多种。如自带的Generate Scripts功能，自定义脚本提取创建脚本等。在实际使用中，我更喜欢使用DAC的方式。特别是它能跟PowerShell结合使用。什么是DAC，它能干什么？数据层应用程序 (DAC) 可以简化支

DAC

SQL Server

原创推荐 2015-01-31 14:42:56 1004 阅读

记录几个基础的SQL开发题

一些很基础，但是在第一时间，不借助工具我却没能全答对的问题。1. 表A有5行数据，表B有7行数据，问Inner Join最多返回几行数据，Left Join最多返回几行数据，分别在什么情况下？ Inner Join 是返回关联表的Cartesian product，然后根据On条件剔除掉不符合的行。这样的话，返回最多行的情况就是保留整个Cartesian product，O

开发

记录

product

第一时间

原创 2014-07-23 16:50:00 555 阅读 1点赞

事务复制中的分区表

背景事务复制中发布表有分区表，如何配置发布项，使分区结构传播到订阅库？有何限制？测试环境USE [master] GO CREATE DATABASE [OMS_Test] ON PRIMARY ( NAME = N'OMS_Test_data1', FILENAME&n

Replication

SQL Server

原创精选 2014-07-16 16:07:00 928 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Joe TJ

数据压缩：自动评估

数据压缩 : 简要

非聚集索引中的临界点(Tipping Point)

分析SIX锁和锁分区导致的死锁

SQL Server 诊断查询-(5)

SQL Server 诊断查询-(4)

SQL Server 诊断查询-(3)

SQL Server 诊断查询-(2)

SQL Server 诊断查询-(1)

导数中的最小化日志记录：测试和分析

导数中的最小化日志记录：背景和理论

索引修改内幕

关于Latch

如何移动系统/用户数据库

堆表修改内幕

表结构修改的内幕

如何配置分布式事务

Rollup Cube Grouping Set使用总结

SQL Server 加密功能实例

简明的数据库设计模式

监视HASH Warning

SQL Server审计功能入门：SQL Server审核 (SQL Server Audit)

SQL Server审计功能入门：CDC（Change Data Capture）

SQL Server审计功能入门：更改跟踪(Change Tracking)

MongoDB:MapReduce基础及实例

事务复制和镜像共存性的测试

理解SQL Server的查询内存授予

利用DAC(Data-tier Application)实现数据库结构迁移

记录几个基础的SQL开发题

事务复制中的分区表