MongoDB报表实例方案选型

MongoDB报表实例方案选型背景介绍在我们的生产环境使用的是复制集,为了将数据库服务器的业务压力分摊,我们将数据库拆分到了不同的复制集上运行。我们在MongoDB复制集上运行应用程序,有时候有报表需求,常规用途是获得用户行为的分析,还有其他商业定制指标数据;有搜索引擎的查询需求,使用Solr从oplog.rs获取增量数据更新产品信息的索引。这些报表查询和搜索引擎的查询需求,尽量不能影响到线上的业

原创 推荐 点赞1 阅读2441 收藏1 评论0 2016-11-09

使用Powershell实现数据库自动化运维

使用Powershell实现数据库自动化运维目前市场上针对SQLServer的图书,好的原创图书屈指可数,翻译的图书较多,但只限于专门针对SQL Server数据库本身的开发、管理和商业智能。而针对PowerShell的图书,可以说大多为MSDN里的学习笔记,主要针对Windows操作系统的管理。微软在大的布局和技术动向来看,力推云平台。而平台化的基础是自动化、高可用。那么细化到最基础的技术着眼点

原创 推荐 点赞5 阅读10000+ 收藏2 评论1 2016-11-07

SQL Server超时诊断和调优

SQL Server超时诊断和调优一、 超时分析下面是用户访问一个Web站点的常见错误:详细错误描述如下:[SqlException (0x80131904): Timeout expired. The timeout period elapsed prior to completion 

原创 推荐 点赞8 阅读7310 收藏3 评论2 2016-11-04

SQL Server监控全解析

SQL Server监控全解析 在SQL Server的日常管理中,让SQL Server高效运行,且性能良好,是DBA需要做的事。DBA需要了解数据库的日常运行情况,对性能进行分析和调优,需要对线上环境部署监控。那我们都需要监控哪些方面呢?SQL Server服务器的CPU、内存、IO、网络流量、缓存等资源性能怎么样,各个相关服务如SQL Server服务、SQL Server代理服务

原创 推荐 点赞4 阅读10000+ 收藏1 评论0 2016-11-04

SQL Server timeout分析和总结

 我们从数据库实例的角度出发,它会收到来自Web端的访问、用户的直接访问,它也可能同时访问其他数据库实例。那么,连接就分为传入连接(Incoming connection)访问和传出连接(Outgoing connection)访问。首先,针对传入连接,我们来看看Web端的访问超时:有ASP.NET请求超时、WebService请求超时、IIS请求超时、数据库连接超时和查询超时。参考:h

原创 点赞2 阅读3406 收藏0 评论0 2016-10-28

SQL Server Error 15404解决方案

作业以“domain\user”运行来运行,遇到如下报错: JOB RUN: 'Product_JobTest' was run on 2016/10/27 at 4:30:00 DURATION: 0 hours, 0 minutes, 0 sec

原创 点赞0 阅读2320 收藏1 评论0 2016-10-28

SQL Server超时诊断

连接超时对于连接超时,首先可以查看Connectivity Ring Buffer中的LoginTimers类型错误来分析,如果想获得更详尽的信息,再通过抓包工具network monitor。具体方法和语句可参考以下文章:https://blogs.msdn.microsoft.com/apgcdsd/2011/11/20/ring-buffersql-server-2008/http://ul

原创 点赞1 阅读2522 收藏0 评论0 2016-10-20

SQL SERVER超时错误

Some errors when encountered take most of us for a spin. In this category the error related to “Timeout” surely falls. If you are a web developer and receive the same there are a hundred combinations

转载 点赞1 阅读4172 收藏0 评论2 2016-10-20

正确理解SQL Server配置timeout相关选项

正确理解SQL Server配置选项“remote login timeout”和“remote query timeout”查看配置选项的设置sp_configure 远程登录超时参考:https://msdn.microsoft.com/en-us/library/ms175136.aspx“The remote login timeout option specifies the

原创 推荐 点赞2 阅读9809 收藏1 评论0 2016-10-20

Microsoft SQL Server Replication Support Team 博文汇总

原文地址:https://blogs.msdn.microsoft.com/repltalk/2010/02/07/repltalk-start-here/ START HERE for table of contents into ReplTalk BLOG postingsThis page was created to help organize the key ReplTalk

转载 点赞1 阅读1441 收藏0 评论2 2016-10-12

MongoDB根据时间aggregate示例

需要对下面的集合根据LastUpdate按天分组累加TranslateFields值。rs_test:SECONDARY> db.new_result.find();    { "_id" : ObjectId("57fb0756e31f84a56ed41889"), "LastUpdate" :&nb

原创 点赞1 阅读2590 收藏1 评论0 2016-10-12

事务复制会话

原文地址:https://blogs.msdn.microsoft.com/chrissk/2009/05/25/transactional-replication-conversations/修订版:https://blogs.msdn.microsoft.com/repltalk/2010/02/21/transactional-replication-conversations/事物复制会话

翻译 点赞1 阅读7751 收藏0 评论1 2016-10-12

8623错误:The query processor ran out of internal resources and could not pro

8623错误:The query processor ran out of internal resources and could not produce a query plan 问题描述:配置了SQL Server安全性16的告警,发送邮件通知,如下:收到如下告警信息:查看错误日志:Error: 8623, Severity: 16, State: 1.    

原创 推荐 点赞3 阅读3507 收藏0 评论3 2016-09-22

检查点(Checkpoint)速度控制参数

引用自《SQL Server 2012 Internals》:“In some cases, checkpoints might issue a substantial amount of I/O, causing the I/O subsystem to get inundated with write requests, which can severely affect read perfo

转载 点赞0 阅读1322 收藏0 评论0 2016-09-21

解决Excel打开UTF-8编码的CSV文件乱码的问题

解决Excel打开UTF-8编码的CSV文件乱码的问题引用自:https://en.wikipedia.org/wiki/Comma-separated_values“CSV formats are not limited to a particular character set. They work just as well with Unicode character sets (such

原创 推荐 点赞1 阅读10000+ 收藏1 评论0 2016-09-09

MongoDB查询 之 数组、内嵌文档和$where

【数组】查询数组很容易,对于数组,我们可以这样理解:数组中每一个元素都是这个键值对键的一个有效值,如下面的例子:我们要查询出售apple的水果店:    > db.fruitshop.find();       { "_id" : ObjectId("5

转载 点赞0 阅读3187 收藏0 评论0 2016-09-08

SQL Server 网络协议和 TDS 端点

SQL Server 网络协议和 TDS 端点SQL Server 网络协议SQL Server支持四种协议,Shared Memory;TCP/IP;Named Pipes和Virtual Interface Adapter(VIA)。打开SQL Server配置管理器之后,会显示一个配置SQL Server服务,SQL Server网络协议和SQL Native Client协议的节点。可以通

转载 点赞2 阅读5794 收藏1 评论1 2016-09-07

获取创建SQL Server对象的定义文本

引用自《SQL Server 2012 Internals》“   As views, these metadata objects are based on an underlying Transact-SQL (T-SQL) defnition. The most straightforward way to see the defnition of these views is b

原创 点赞0 阅读1288 收藏0 评论0 2016-09-06

SQL Server专用管理员连接(Dedicated Admin Connection(DAC))

SQL Server专用管理员连接(Dedicated Admin Connection(DAC)) 只有 SQL Server sysadmin 角色的成员可以使用 DAC 连接。默认情况下,只能从服务器上运行的客户端建立连接。 打开SSMS,在“Connect to Server”窗口,选择“Cancel”,然后选择File菜单,下拉菜单选择“New”、“Database

原创 点赞1 阅读4862 收藏0 评论2 2016-09-05

查找最近修改的SP

查找最近修改的SP在SSMS中对应数据库展开“Programmability”,点击“Stored Procedures”。在菜单栏选择“View”,“Object Explorer Details”。然后,在右侧列标题空白处点击右键,选择“Date Last Modified”。在该列标题上点击为降序。也可以使用T-SQL来实现:方法1:SELECT name, create_date, mod

原创 点赞1 阅读1193 收藏0 评论2 2016-09-01

WITH (UPDLOCK,HOLDLOCK)提示与不同表类型

WITH (UPDLOCK,HOLDLOCK)提示与不同表类型我们先来了解下UPDLOCK和HOLDLOCK的概念。 UPDLOCK指定采用更新锁并保持到事务完成。 UPDLOCK 仅对行级别或页级别的读操作采用更新锁。 如果将 UPDLOCK 与 TABLOCK 组合使用或出于一些其他原因采用表级锁,将采用排他 (X) 锁。HOLDLOCK等价于SERIALIZABLE。保持共享锁直到

原创 点赞0 阅读8740 收藏0 评论0 2016-09-01

SQL Server可以锁定的资源类型

SQL Server可以锁定的资源类型SQL Server可以锁定不同类型的资源。这些可以被锁定的资源类型包括:RIDs或键(keys)(行级别),页(pages),对象(objects)(例如,表),数据库(databases)和其他。行位于页中,而也是包含表或索引数据的物理数据块。你首先应该熟悉这些资源类型,到更高级的阶段,你可能会要熟悉其他锁定资源类型,像盘区(extents),分配单元(a

翻译 点赞0 阅读1582 收藏0 评论0 2016-08-31

LINKEDSERVER 与 ALIAS

通过在SQL03上“查找CPU消耗前十的查询”(脚本如下所示)时发现,第一名是一个奇怪的语句。 SELECT TOP ( 10 )          SUBSTRING(ST.text,( QS.statement_start_offset 

原创 点赞0 阅读5896 收藏0 评论0 2016-08-26

深入MongoDB内存溢出调优

MongoDB内存溢出错误描述exception: getMore runner error: Overflow sort stage buffered data  usage of 33638076 bytes exceeds internal l

原创 点赞0 阅读7919 收藏0 评论0 2016-08-19

HOLDLOCK is not equivalent to REPEATABLE READ

 HOLDLOCK is not equivalent to REPEATABLE READ and HOLDLOCK does get range locks.  And the semantics of HOLDLOCK and SERIALIZABLE are the same - that is, they both mean that if you rerun the

转载 点赞1 阅读944 收藏0 评论0 2016-08-17

SQL Server和MySQL锁定提示比较

SQL Server篇SQL Server中的提示SQL Server提示(Hints)是指定的强制选项或策略,由 SQL Server 查询处理器针对 SELECT、INSERT、UPDATE 或 DELETE 语句执行。 提示将覆盖查询优化器可能为查询选择的任何执行计划。它分为:联接提示(Join Hints)查询提示(Query Hints)表提示(Table Hints)什么是提示(Hin

原创 点赞1 阅读1804 收藏0 评论2 2016-08-17

锁和并发性----隔离级别

隔离级别决定事务间的可见程度,理解隔离级别是做什么的,你就能明白它们是如何阻止并发性副作用的。下面介绍各种事务隔离级别。SerializableSerializable隔离级别在SQL Server中是最悲观的隔离级别,它表明没有并发性问题。它简单地锁定一切,直到确保没有副作用发生,它通过范围锁实现这一点,这些锁要确保避免幻读的问题。范围锁如下图所示:Repeatable Read它没有seria

转载 点赞0 阅读2708 收藏0 评论0 2016-08-16

MySQL和Oracle行锁比较

有人问,MySQL里Update时条件列没有索引,产生的是表级锁,而Oracle里是行级锁。下面来对比下MySQL InnoDB引擎和Oracle的行锁机制:InnoDBINNODB表是索引组织的表,主键是聚集索引,非主键索引都包含主键信息。INNODB默认是行锁。INNODB行锁是通过给索引项加锁来实现的,即只有通过索引条件检索数据,InnoDB才使用行级锁,否则将使用表锁。InnoDB行锁实现

原创 点赞1 阅读4714 收藏1 评论0 2016-08-12

Hadoop/Spark生态圈里的新气象

令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。对于Hadoop你需要了解的最重要的事情就是,它不再是原来的Hadoop。这边厢,Cloudera有时换掉HDFS改用Kudu,同时宣布Spark是其圈子的核心(因而一概取代发现的MapReduce);那边 厢,Hortonworks加入了Spark阵营。在Cloudera和Ho

转载 点赞1 阅读1348 收藏0 评论1 2016-08-04

MongoDB自然排序

MongoDB自然排序名词解释natural order    该排序下数据库参照文档在磁盘上的存储顺序。这是默认的排序顺序。ObjectId    一个特定的12字节BSON类型,用于保证集合中的唯一性。ObjectId基于timestamp、machine ID、process ID和 a process-local incremen

原创 点赞2 阅读5238 收藏0 评论0 2016-07-08
写文章