rickcheung的博客

海量数据处理（续）

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url求取，然后根据所取得的值将url分别存储到1000个小文件（记为）中。这样每个小文件的

职场

休闲

海量数据

转载精选 2010-10-27 19:31:52 1540 阅读

大数据量，海量数据处理方法总结

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1

职场

休闲

大规模数据

转载精选 2010-10-25 19:57:50 2294 阅读

C++对象内存布局测试总结

转自：http://www.cnblogs.com/cswuyg/archive/2010/08/20/1804113.html 详细看了一下虚继承，发现说的最优道理的就是这个了。另外有个小小特例，class A{ }; sizeof(A)=? 答案是1！^_^ 外加一篇：http://hi.baidu.com/absolute8511/blog/item/2846613d0fb29ae7

职场

休闲

C++ 内存对象布局

转载精选 2010-10-14 15:08:16 1555 阅读

Win7文件内容搜索

开始菜单或 explorer 的搜索栏。基于文件类型 type: 基于文件名 name: 基于文件内容 content: 基于修改日期 datemodified: 基于文件大小 size: 例如，搜索包含 linq 的 doc 文件，可以在搜索栏中输入 type:"d

职场

搜索

文件

休闲

转载精选 2010-07-28 17:29:51 5216 阅读

逻辑卷管理（LVM）

什么是LVM LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，为文件系统屏蔽下层磁盘分区布局，从而提高磁盘分区管理的灵活性。通过LVM系统管理员可以轻松管理磁盘分区，如：将若干个磁盘分区连接为一个整块的卷组（volume group），形成一个存储池。管理员可以在卷

职场

管理

休闲

逻辑

LVM

转载精选 2010-07-22 19:53:06 1165 阅读

linux下中文字体的安装

今天安装了一台基于文本模式的linux,但发现运行后不能显示中文字符，是不是没安装中文字符，于是我打算给我的系统装上中文字符：我是直接将windowns的字体拷贝过来用。windows的字体一般存放在c:\windows\fonts目录下，拷贝你喜欢的字体到linux下，文件是ttf格式，把字体拷贝到/usr/share/fonts的一个目录下，然后执行如下命令：＃mkfontscal

linux

职场

中文

休闲

字体

转载 2010-07-21 16:14:31 1274 阅读

CentOS5.4上海交大YUM源

第一步：修改/etc/yum.repos.d/CentOS-Base.repo为: [base] name=CentOS-5 - Base #mirrorlist=http://mirrorlist.centos.org/?release=$releasever5&arch=$basearch& repo=os #baseurl=http:/

职场

YUM

休闲

centos

上海交大

转载精选 2010-07-21 16:13:13 2241 阅读

centos 修改DNS，网关，IP地址

1、CentOS 修改DNS 修改对应网卡的DNS的配置文件 # vi /etc/resolv.conf 修改以下内容 nameserver 8.8.8.8 #google域名服务器 nameserver 8.8.4.4 #google域名服务器 2、CentOS 修

DNS

网关

地址

休闲

centos

转载精选 2010-07-21 16:12:17 10000+阅读 1点赞 1评论

杂记1

修改/etc/X11/Xorg.conf vi /etc/X11/xorg.conf 保存shift|zz Section "Device" Identifier "Videocard0" &

职场

休闲

杂记

原创 2010-07-20 21:48:01 1025 阅读

C++中，float double区别

类型比特数有效数字数值范围 float 32 6-7 -3.4*10(-38)～3.4*10(38) double 64 15-16 -1.7*10(-308)～1.7*10(308) long double 128 18-19 -1.2*10(-4932)～1.2*10(4932) 简单来说，Float为单精度，内存中占4个字节，有效数位是7位（因为有正负，所以不是8位），

C++

职场

休闲

double

float

转载精选 2010-06-17 17:28:40 10000+阅读 2点赞 2评论

JavaScript到计时页面跳转

Html代码 <html> <head><title></title> <script language='javascript' type='text/javascript'>

职场

JavaScript

休闲

页面

计时

原创 2010-06-14 17:59:07 871 阅读

request.getParameter()和request.getAttribute()的区别

HttpServletRequest类既有getAttribute()方法，也由getParameter()方法，这两个方法有以下区别：（1）HttpServletRequest类有setAttribute()方法，而没有setParameter()方法（2）当两个Web组件之间为链

职场

休闲

request

getAttribute

getParameter

转载精选 2010-05-22 18:15:31 509 阅读

Struts中iterator标签的使用

在struts2中,iterator标签是很好用的,但也要注意一下.举个例子, 如果要在每行中只显示两条记录,这个经常用到的例子来的了，可以这样用: <table width="800px" align="center"> <tr> <

职场

Struts

休闲

iterator

原创 2010-05-21 17:07:38 846 阅读

关于WEB-INF目录下页面的资源访问路径问题

在开发WEB应用时，我们通常将不希望用户可以通过浏览器地址栏直接访问的页面放在WEB-INF目录下假设项目的文件结构为：假设我们要在WEB-INF/admin/index.html中引用p_w_picpaths/admin/loading.gif图片，那么访问路径应该为"../p_w_picpaths/admin/loading.gif"。如果index.h

路径

访问

资源

页面

转载精选 2010-05-16 19:27:24 4808 阅读 1点赞 1评论

Struts2输入校验总结

一．手动输入完成校验 1.普通的处理方式：只需要在action中重写validate（）方法 2.一个action对应多个逻辑处理方法：指定校验摸个特定方法的方式：重写validateXxxx（）方法。Eg:如果，只校验login方法，则只需重写validateLogin(). 二．输入校验流程： 1. 类型转换器负责对字符串的请求参数执行类型转换。并将这些值设置成Acti

职场

校验

休闲

输入

转载精选 2010-05-15 20:27:40 2073 阅读 1评论

内存映射文件

内存映射文件(Mapping File)是Windows内存管理中的重要一环，也是编程技术中比较高级的一个话题。目前关于这方面的资料比较少，而其实内存映射文件其实对我们的对于Windows的内存了解很重要，在这里把笔者的心得写出来，和大家一起讨论。 &nbs

职场

内存

文件

映射

休闲

转载精选 2010-05-11 16:49:41 4238 阅读

C++成员函数指针的应用

C++中，成员指针是最为复杂的语法结构。但在事件驱动和多线程应用中被广泛用于调用回叫函数。在多线程应用中，每个线程都通过指向成员函数的指针来调用该函数。在这样的应用中，如果不用成员指针，编程是非常困难的。　　刚遇到这种语法时也许会让你止步不前。但你会发现，使用恰当的类型定义之后，复杂的语法是可以简化的。本文引导你了解成员函数指针的声明，赋值和调用回叫函数。　　成员函

C++

函数

应用

指针

成员

转载精选 2010-04-28 17:33:06 936 阅读

int 长度

Ø 基本数据类型 C语言中只有4中基本数据类型——整型、浮点型、指针和聚合类型（如数组和结构等）；所有其他类型都是从这4种基本类型的某种变化或组合派生而来。一、整型家族整型家族包括char、short int、int和long int，并且都分为signed和un

职场

休闲

int

长度

转载精选 2010-04-26 17:20:04 3883 阅读 1评论

Tomcat启动分析

1 - Tomcat Server的组成部分 1.1 - Server A Server element represents the entire Catalina servlet container. (Singleton) 1.2 - Service A Service element represents the combination of one or more Co

职场

Tomcat

休闲

转载精选 2010-04-05 12:14:25 371 阅读

MPlayer安装

是用源码包安装的，文件要到网上下载。下载地址：http://www.mplayerhq.hu/MPlayer/ 在这里找到最新的解码包和主程序。主程序：MPlayer-1.0rc2.tar.bz2 （目前最新的）在releases目录下。解码包：windows-all-20071007.zip all-20071007.tar.bz2 （在release/cod

职场

MPlayer

休闲

转载精选 2010-03-31 17:39:07 1515 阅读

IOCP模型总结

IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时，以往的模型都是在接收请求是创建一个线程来应答请求。这样就有很多的线程并行地运行在系统中。而这些线程都是可运行的，Windows内核花费大量的时间在进行线程的上下文切换，并没有多少时间花在线程运行上。再加上创建新线程的开销

职场

模型

休闲

IOCP

转载精选 2010-03-28 21:13:04 1933 阅读

红黑树

总想有一个简单的RBTree类，又不想自己实现，找来找去找到这篇好文，除了讲解的清楚简明外，代码也不错，无递归的迭代，而且很容易“拿来”做成模板，如果你也不想"再发明一次轮子"的话... 正文如下: 红黑树（附标准代码）（阅读本文之前请先了解二叉搜索树）红黑树（Red-Black Tree）是二叉搜索树（Binary Search Tree）的一种改进。我们知道二叉搜索树在最坏的情况下

删除

源代码

插入

休闲

红黑树

转载精选 2010-03-28 12:06:54 545 阅读

Linux操作系统下如何写一个Module

引:不知道在什幺时候，Linux 出现了 module 这种东西，的确，它是 Linux 的一大革新。有了 module 之后，写 device driver 不再是一项恶梦，修改 kernel 也不再是一件痛苦的事了。因为你不需要每次要测试 driver 就重新 compile kernel 一次。　　不知道在什幺时候，Linux 出现了 module 这种东西，的确，它是 Linux 的一

linux

职场

操作系统

休闲

Module

转载精选 2010-03-24 20:03:12 1968 阅读

关于<自己动手写操作系统>开发环境的安装

看了一段时间的《自己动手写操作系统》，最近想按照书上说的方法搭一下调试环境，结果不像想象中那样的一帆风顺，不过纠结了两天之还是成功了，现在把这两天做的事情总结一下： 1.安装MSdos 6.22 下一个msdos6.22的镜像:（见附件1: MS-DOS6.22启动盘镜像) 然后启动Virtual PC,新建一个PC,内存32m,硬盘50m,OK启动! 菜单 ->

职场

PC

休闲

Virtual

自己动手写操作系统

原创 2010-01-24 21:13:13 1107 阅读

理解ORG指令

是这样注释的：处但是我看到一些资料说，bios加载到07c00h如果没有org但编译器仍会进行这个运算）是从0000后面跟的数字。Ndisasm -o 0x0000 boot.bin >> disboot1.asm :

职场

休闲

汇编

ORG

转载精选 2010-01-19 17:16:30 2496 阅读

数据库的前滚和回滚

Oracle概念问题，假如数据没有提交，但是却被dbwn进程写入了数据文件，会怎么样呢？案例分析：首先说明的是dbwn写脏数据跟commit提交没有关系！在一个transaction发生的过程中，online redo log首先记录transaction中修改的数据块相关信息，修改的数据块会被缓存在datab

职场

数据库

休闲

前滚回滚

转载精选 2010-01-15 17:11:04 3187 阅读 1点赞

介绍Linux系统内核文件Cache管理机制

1 、前言　　自从诞生以来，Linux 就被不断完善和普及，目前它已经成为主流通用操作系统之一，使用得非常广泛，它与 Windows、UNIX 一起占据了操作系统领域几乎所有的市场份额。特别是在高性能计算领域，Linux 已经成为一个占主导地位的操作系统，在2005年6月全球TOP500 计算机中，有 301 台部署的是 Linux 操作系统。因此，研究和使用 Linux 已经成为开发者的不可

linux

职场

内核

休闲

cache

转载精选 2010-01-09 16:08:48 2127 阅读

在Xen的DomU中安装MySQL

为了做一个关于数据库稳定性的实验，打算在Xen的DomU（Linux）中装一个MySQL，本以为一件很简单的事情，结果纠结了我两天！开始是在Dom0中安装MySQL，非常顺利。接下来就是在DmoU中安装MySQL了，起先用如下方法： 1、下载MySQL的安装文件　　　安装MySQL需要下面两个文件：

MySQL

数据库

虚拟化

休闲

Xen

原创推荐 2010-01-07 15:35:33 1420 阅读 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

忘忧草

海量数据处理（续）

大数据量，海量数据处理方法总结

C++对象内存布局测试总结

Win7文件内容搜索

逻辑卷管理（LVM）

linux下中文字体的安装

CentOS5.4上海交大YUM源

centos 修改DNS，网关，IP地址

杂记1

C++中，float double区别

JavaScript到计时页面跳转

request.getParameter()和request.getAttribute()的区别

Struts中iterator标签的使用

关于WEB-INF目录下页面的资源访问路径问题

Struts2输入校验总结

内存映射文件

C++成员函数指针的应用

int 长度

Tomcat启动分析

MPlayer安装

IOCP模型总结

红黑树

Linux操作系统下如何写一个Module

关于<自己动手写操作系统>开发环境的安装

理解ORG指令

数据库的前滚和回滚

介绍Linux系统内核文件Cache管理机制

在Xen的DomU中安装MySQL

欢迎