rosehacker2010的博客_数据库学习

海量数据处理常用思路和方法

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。&

职场

休闲

海量数据处理常用思路和方法

转载 2012-03-13 13:11:45 768 阅读

SQLite数据库文件格式分析(B树的基本组织)

此分析称为简易版，因为后面还计划分析一个更复杂的数据库文件，以深入理解SQLite数据库B树实现的结构，从简易的开始不失为一种好的学习方法，这里的简易版本文件是指大小为2K字节，即每个B树页1K字节，共两个B树页，补充说明一下，这里的B树页就是指经典数据结构书上所讲的B树节点，在这里称为页是因为SQLite在实现B树时就是使用页page的概念来组织的。创建方法如下： CREA

职场

休闲

SQLite数据库文件格式分析(B树的基

转载 2012-03-13 13:10:38 930 阅读

海量数据处理专题（八）——倒排索引(搜索引擎之基石)

引言：在信息大爆炸的今天，有了搜索引擎的帮助，使得我们能够快速，便捷的找到所求。提到搜索引擎，就不得不说VSM模型，说到VSM，就不得不聊倒排索引。可以毫不夸张的讲，倒排索引是搜索引擎的基石。 VSM检索模型 VSM全称是Vector Space Model(向量空间模型)，是IR(Information Retrieval信息检索)模型中的一种，由于其简单，直观，高效，所以被广泛的应用到

职场

倒排索引

休闲

海量数据处理

搜索引擎之基石

转载 2011-12-26 19:53:34 414 阅读

海量数据处理专题（七）——数据库索引及优化

索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。数据库索引什么是索引数据库索引好比是一本书前面的目录，能加快数据库的查询速度。例如这样一个查询：select * from table1 where id=44。如果没有索引，必须遍历整个表，直到ID等于44的这一行被找到为止；有了索引之后(必须是在ID这一列上建立的索引)，直接在索引里面找

职场

倒排索引

休闲

海量数据处理

数据库索引及优化

转载 2011-12-26 19:50:24 327 阅读

海量数据处理专题（六）——双层桶划分

【什么是双层桶】事实上，与其说双层桶划分是一种数据结构，不如说它是一种算法设计思想。面对一堆大量的数据我们无法处理的时候，我们可以将其分成一个个小的单元，然后根据一定的策略来处理这些小单元，从而达到目的。【适用范围】第k大，中位数，不重复或重复的数字【基本原理及要点】因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。可以通

职场

倒排索引

休闲

海量数据处理

双层桶划分

转载 2011-12-26 19:48:41 411 阅读

海量数据处理专题（五）——堆

【什么是堆】概念：堆是一种特殊的二叉树，具备以下两种性质 1）每个节点的值都大于（或者都小于，称为最小堆）其子节点的值 2）树是完全平衡的，并且最后一层的树叶都在最左边这样就定义了一个最大堆。如下图用一个数组来表示堆：那么下面介绍二叉堆：二叉堆是一种完全二叉树，其任意子树的左右节点（如果有的话）的键值一定比根节点大，上图其实就是一个二叉堆。你一定发觉了，最小的一个元素就是数

职场

倒排索引

休闲

海量数据处理

石堆

转载 2011-12-26 19:47:36 245 阅读

海量数据处理专题（四）——Bit-map

【什么是Bit-map】所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。如果说了这么多还没明白什么是Bit-map，那么我们来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的

职场

倒排索引

休闲

海量数据处理

Bit-map

转载 2011-12-26 19:46:42 235 阅读

海量数据处理专题（三）——Hash

【什么是Hash】 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-p_w_picpath），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。简单的说就是

职场

倒排索引

Hash

休闲

海量数据处理

转载精选 2011-12-26 19:45:57 449 阅读

海量数据处理专题（二）——Bloom Filter

【什么是Bloom Filter】 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适合那些“零错误&rdqu

职场

休闲

海量数据处理专题（二）——Bloom F

转载精选 2011-12-26 19:45:10 265 阅读

海量数据处理专题（一）——开篇

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。本贴从解决

职场

休闲

海量数据处理专题（一）——开篇

转载精选 2011-12-26 19:42:22 393 阅读

Oracle基本语法

select a.uiblockid,a.uilac_id,cast(a.subsum*1.0/b.totalsum as numeric (10, 2) ) BL from (select sum(uinmsg_lac) subsum,uilac_id,uiblockid from T_msg_lac group by uilac_id,uiblockid) a, (select sum

Oracle

职场

休闲

基本语法

原创 2011-03-24 15:57:04 581 阅读

查询数据库文件大小

SELECT Physical_name, --物理地址 name,--逻辑名 Size,--大小 &nbs

职场

查询

数据库

休闲

文件大小

原创 2011-02-21 11:08:50 480 阅读

查询固定步长的时间SQL

select STime from V_DH01 where (datediff( s,'2009-12-4 11:00:00',STime)%210)=0 and STime<='2009-12-4 14:00:00' and STime>='2009-12-4 11:00:00' 从起始时间2009-12-4 11:00:00查询间隔210秒到结束时间2009

职场

SQL

时间

数据库

休闲

原创 2011-02-11 14:07:22 1312 阅读

通过日志恢复SQL Server的历史数据

通过日志还原，最重要的是： 1.必须有一个完整的备份，且这个备份必须是在修改、删除数据之前做的。 2.在更新、删除数据之后，做日志备份，该log备份将用于还原之前的数据下面步骤的目的：还原被删除的表在SQL Server Management可视化操作步骤： 1.创建数据库并完整备份： --创建测试数据库 CREATE DATABASE Db GO -

SQL

Server

数据库

历史数据

日志恢复

转载 2011-01-18 11:47:41 217 阅读

删除数据库重复记录

一、第一种方法删除数据库重复记录 WITH b AS ( SELECT ROW_NUMBER() OVER ( PARTITION BY stime ORDER BY stime ) AS rn,* FROM dh1004) DELETE FROM b --select * from b

职场

休闲

删除数据库重复记录

原创 2011-01-07 16:02:09 422 阅读

Oracle客户端的配置（配置Oracle本地命名服务）

在进行团队开发的时候，一般团队的每一个人只需要安装一个客户端即可，没有必要安装一个Oracle数据库服务器，而数据库服务器是属于共享的，此时，我们就需要配置客户端。客户端的配置可以有以下两种方式：第一种是使用Net Configuration Assistant；第二种是使用Net Manager；这两个工具在开始菜单都有，个人比较喜欢使用Net Configuration Assistant，因

oracle

职场

休闲

Oracle客户端的配置（配置Oracl

转载 2010-12-15 13:23:22 560 阅读

搭建方便的Oracle客户端使用环境

实验室里边有很多机器是装过Oracle客户端的，但是ms都是当时实验室搭建数据库时用正版的安装光盘装的，我对这样臃肿的客户端有一种生理上的恐惧，于是还是用原始的方法进行自己的开发。直到有一天，看到Oracle的官方网站上边有10g的绿色版的简易客户端…… http://www.oracle.com/technology/tech/oci/instantclient

oracle

职场

休闲

搭建方便的Oracle客户端使用环境

转载 2010-12-15 13:18:08 281 阅读

SQL Server2008 安装

一直很期待 SQL Server 2008 的发布，昨天在微软网站找到了下载地址，3.28G，之所以这么大，是因为该 ISO 文件同时包含了 IA64、64、x86 三种版本，x86 约占 1.5G 多一些，直接下载地址如下： http://download.microsoft.com/download/B/8/0/B808AF59-7619-4A71-A447-F597DE74AC44/S

职场

数据库

休闲

SQL Server2008 安装

原创 2010-12-15 13:11:18 487 阅读

SQL优化综述(续)

四、测试、试运行、维护阶段测试的主要任务是发现并修改系统的问题，其中性能问题也是一个重要的方面。重点应该放在发现有性能问题的地方，并进行必要的优化。主要进行语句优化、索引优化等。试运行和维护阶段是在实际的环境下运行系统，发现的问题范围更广，可能涉及操作系统、网络以及多用户并发环境出现的问题，其优化也扩展到操作系统、网络以及数据库物理存储的优化。这个阶段的优花方法

职场

数据库

休闲

SQL优化综述(续)

转载 2010-12-10 17:02:21 337 阅读

SQL优化综述

SQL SERVER性能优化综述近期因工作需要，希望比较全面的总结下SQL SERVER数据库性能优化相关的注意事项，在网上搜索了一下,发现很多文章,有的都列出了上百条,但是仔细看发现，有很多似是而非或者过时(可能对SQL SERVER6.5以前的版本或者ORACLE是适用的)的信息，只好自己根据以前的经验和测试结果进行总结了。我始终认为，一个系统的性能的提高，不单单是试运行或者维护阶段的

职场

数据库

休闲

SQL优化综述

转载 2010-12-10 17:00:43 238 阅读

使用SQL Server维护计划实现数据库定时自动备份

在SQL Server中出于数据安全的考虑，所以需要定期的备份数据库。而备份数据库一般又是在凌晨时间基本没有数据库操作的时候进行，所以我们不可能要求管理员每天守到晚上1点去备份数据库。要实现数据库的定时自动备份，最常用的方式就是使用SQL Server代理中的作业。启动SQL Server Agent服务，然后在其中新建作业，作业中添加1个备份步骤，类型是T-SQL脚本，然后在命令中输入如下SQL

职场

数据库

休闲

使用SQL Server维护计划实现数据

转载 2010-12-10 15:01:57 255 阅读

查询及删除重复记录的方法

删除一个字段重复的记录SQL语句 Delete T From (Select Row_Number() Over(Partition By STime order By STime) As RowNumber,* From DH1002)T Where T.RowNumber > 1 　(一) 　　1、查找表中多余的重复记录，重复记录是根据

职场

休闲

查询及删除重复记录的方法

原创 2010-12-10 14:51:50 281 阅读

海量数据处理简要说明（三）

6.数据库性的配置 6.1锁数据库锁为了数据库的一致性而使用，保证数据更新操作是原子的、一致性的、隔离的和持久化的。数据一致性的概念仅仅在更新发生的时候使用。 &nb

职场

休闲

海量数据处理简要说明（三）

原创 2010-12-10 11:23:43 729 阅读

海量数据处理简要说明(二)

5.数据库的设计 5.1分区视图分区视图在一台或多台服务器间水平连接一组成员表中的分区数据，使数据看起来就像来自一个表。Microsoft SQL Server 2005 可以区分本地分区视图和分布式分区视图。在本地分区视图中，所有参与表和视图都

职场

休闲

海量数据处理简要说明(二)

原创 2010-12-10 11:15:34 418 阅读

海量数据处理简要说明(一)

1. 引言 1.1编写的目的 1. 解决大数据量的存储. 2. 提高在海量数据前提下的性能. 3. 为了以后系统的扩展 1.2参考资料 1. Sql server2005联机帮助

职场

休闲

海量数据处理简要说明(一)

原创 2010-12-10 11:14:26 334 阅读

SQL Server 2005 数据库复制

对于一个地域分散的大型企业组织来说，构建具有典型的分布式计算机特征的大型企业管理信息系统时，总要解决一个很重要的问题：如何在多个不同数据库服务器之间保证共享数据的一致性。之所以有这个重要的问题在于企业组织在不同地点对具有相同结构的本地数据库进行修改，但要保证修改后的数据库有相同的结果，其本质就是在对本地数据库的修改体现在其他具有相同数据的远程数据库中。那么如何解决这个问题就要用到数据库的复制技术。

职场

数据库

休闲

SQL Server 2005 数据库复

转载 2010-12-10 11:07:41 264 阅读

SQL server 2005的复制（四）

前面我所做的测试是在同一台服务器的两个实例上进行的，这远没有在实际应用中的复杂。实际应用发布和订阅服务器往往位于不同的服务器上，且有可能存在地理上的距离，所以很多地方估计还得做很多的设置。 1、SQL server允许远程的访问，需要配置网络协议。 2、设置SQL server身份验证，解决连接时的权限问题，一般SQL Server和WINDOWS混合验证。 3、发布服务器和订阅服务器的相互

职场

数据库

休闲

SQL server 2005的复制（四

转载 2010-12-10 11:04:19 535 阅读

SQL Server 2005的复制（三）

配置订阅服务器：选择发布的服务器。选择订阅的方式。指定订阅服务器和订阅数据库。设置代理安全性，点按钮“...”进行设置。对于推送订阅来说，分发代理在分发服务器上运行

职场

数据库

休闲

SQL Server 2005的复制（三

转载 2010-12-10 11:02:14 245 阅读

SQL Server 2005的复制（二）

接上一篇选择要发布的类型。选择发布对象，途中表bbb因为没有设置主键，所以不能发布。如果要发布的是表中的行或列，可以点“添加”按钮进行筛选。配置是不是立即创建快照并初始化，还是在某段时间进行。设置代理安全

职场

数据库

休闲

SQL Server 2005的复制（二

转载 2010-12-10 10:58:40 366 阅读

SQL server 2005的复制（一）

据说2005的一个很令人兴奋的地方就是复制，呵呵，可惜，俺们现在才开始学习这个。复制涉及一些概念：发布服务器：发布服务器就是一个系统，提供被复制的数据，创建发布就是向其他系统发布数据。分发服务器：包含分发数据库和存储元数据、历史数据等其他信息的服务器。可以和发布服务器是同一台服务器，也可以不是。推荐的做法是设置用于复制的专用分发服务器（呵呵），必须为每台发布服务器设置一台分发服务器。

职场

数据库

休闲

SQL server 2005的复制（一

转载 2010-12-10 10:55:26 399 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

青云之志

海量数据处理常用思路和方法

SQLite数据库文件格式分析(B树的基本组织)

海量数据处理专题（八）——倒排索引(搜索引擎之基石)

海量数据处理专题（七）——数据库索引及优化

海量数据处理专题（六）——双层桶划分

海量数据处理专题（五）——堆

海量数据处理专题（四）——Bit-map

海量数据处理专题（三）——Hash

海量数据处理专题（二）——Bloom Filter

海量数据处理专题（一）——开篇

Oracle基本语法

查询数据库文件大小

查询固定步长的时间SQL

通过日志恢复SQL Server的历史数据

删除数据库重复记录

Oracle客户端的配置（配置Oracle本地命名服务）

搭建方便的Oracle客户端使用环境

SQL Server2008 安装

SQL优化综述(续)

SQL优化综述

使用SQL Server维护计划实现数据库定时自动备份

查询及删除重复记录的方法

海量数据处理简要说明（三）

海量数据处理简要说明(二)

海量数据处理简要说明(一)

SQL Server 2005 数据库复制

SQL server 2005的复制（四）

SQL Server 2005的复制（三）

SQL Server 2005的复制（二）

SQL server 2005的复制（一）