一见_的博客_hadoop,软件设计,点点滴滴

如何在gcc编译时指定共享库的搜索路径？

有时候为了方便，需要在编译时绑定共享库的搜索路径，这只需要设定链接器ld的参数即可，参数名为：-rpath，后面跟逗号分隔的路径，如：-rpath=/usr/lib，gcc如下使用： gcc -Wl,-rpath=/usr/lib，这样运行时，就不需要设定LD_LIBRARY_PATH环境变量了。

职场

休闲

rpath

LD_LIBRARY_PATH

原创 2010-12-02 11:43:40 1295 阅读

客户端和后台服务应当采用不同的空间换时间策略

设计后台程序时，为提升性能，习惯于以空间换时间，一秒钟的时间间隔影响即会很大。而前台并不适合完全照搬这个策略，原因是点击一下鼠标可能就占用了1秒钟，这个时候10毫秒、100毫秒和1秒并不能带来用户体验上的提升，所以这种情况下内存缓存和预加载并非必须的。所以在Win客户端，应多考虑用时再加载或创建，以节省内存。

职场

客户端

休闲

原创 2010-11-26 12:19:51 591 阅读

class != oo

很多人看到class，就认为是oo，这是一个误区。class并不等于oo，oo强调的是object而不是class，class只是它的实现手段之一。基于这样的误区，有人认为下面的做法是错误的： class CMyClass { public: static void foo()

职场

休闲

class!=oo

原创 2010-11-24 14:21:36 503 阅读

高质量C++编程补充条款

目录 1. 前言 1 2. 条款：避免使用非众所周知的缩略语 1 3. 条款：规范好#include 1 4. 条款：避免长短语句无规律交错 2 5. 条款：避免头重脚轻 2 6. 条款：充分利用public和private等 3 7. 条款：类成员优先使用对象类型 4 8. 条款：名字空间的使用 5 9.

C++

编程

高质量

补充条款

原创 2010-11-07 13:01:00 480 阅读

mooon http-stress使用教程

1. http-stress是什么？ http-stress是一个和ab（Apache Benchmark）类似的HTTP压力测试工具，是作为dispatcher和http_parser等测试用的附属应用，具备如下特性： 1) 多线程 2) 同时支持IPV4和IPV6 3) 模拟多用户并发测试 4) 可以配置多个不同或相同的URLs

使用教程

mooon

http-stress

原创 2010-10-16 00:45:00 397 阅读

mooon db wrapper

mooon db wrapper 1. 前言 mooon db wrapper不是一个DB，仅是对现有的DB API的封装，使得使用更为简单。项目地址：http://code.google.com/p/mooon，可使用SVN下载最新代码。开发和交流论坛：http://bbs.hadoopor.com/index.php?gid=67，可了

类

api

db

mooon

原创 2010-09-19 20:28:00 455 阅读

如何查看Linux内核是否为64位版本？

方法非常简单，LINUX提供了一个查看配置的命令（实际有相应的库函数）getconf，使用它即可，方法如下： getconf LONG_BIT 如果返回64，就表示为64位内核，否则应当返回32。

LINUX

内核

如何

原创 2010-09-09 14:18:00 323 阅读

按时间顺序显示指定目录的文件

方法： ls -lrt --time-style=long-iso $(find 目录路径 -type f)

命令

脚本

shell

原创 2010-09-09 12:37:00 464 阅读

inotify_add_watch使用注意

1.inotify_add_watch返回并不是一个fd，而只是一个标识 2.对于同一个PATH，inotify_add_watch将返回相同的标识。不需要调用close关闭，但需要调用inotify_rm_watch来删除。在对文件进行读、写、关闭监控时需要注意这个特性。但inotify_init返回的是一个真正的fd，因此需要调用close关闭它。但是如果相同PATH，但是是

使用

add

注意

watch

inotify

原创 2010-09-08 18:31:00 1090 阅读

需要使用一致性哈希吗？

在普通的哈希中，如果节点个数（分母）发生变化，原先的次序会被完全打乱重来，一致性哈希解决了这个问题。实际可看成普通的哈希对着的是物理节点，而一致性哈希对着的是虚拟节点，这里可以拿物理内存和虚拟内存来对比，虚拟节点是可认为是使用不完的，挂了一个节点，还可以认为节点数不变，因此哈希的对应关系仍保持不变，也就不存在普通哈希的问题了。没有深入的了解一致性哈希，但我认为一般的集群系统

讨论

物理

哈希

原创 2010-09-06 23:18:00 342 阅读

使用protocol buffers优缺点分析

很早就听说过PB（protocol buffers的简称），但从未实际地去了解，最近动手对它进行了初步了了解和使用，由于它长得和RPC/IDL相似，加上以前有参与过使用C++实现过RPC的项目经验，所以容易理解起来比较顺畅，网上也有不少基于PB的RPC实现。为什么要去了解PB？一是因为它如同MapReduce一样，属于Google出品，口碑好也很受欢迎；其次是想将它引入mooon的实现中，

分析

protocol

优缺点

原创 2010-09-06 23:05:00 763 阅读

Protocol Buffers十分钟上手：入门示例

Protocol Buffers十分钟上手：入门示例 1.简介 Protocol Buffers是Google出品并开源的语言和平台均中立的数据序列化和反序列化工具，官方支持C++/Java和Python三大语言，另外有大量的第三方实现支持PHP、D语言和C#等众多语言，这些都可以从Google

入门

示例

Protocol Buffers

上手

原创 2010-09-06 10:03:00 401 阅读

当gdb看到一行行的??时，你要冷静！

c++

c

gdb

LD_LIBRARY_PATH

原创 2010-09-02 15:56:00 599 阅读

C++与MySQL的冲突

当在C++代码中，直接引用MySQL头文件时，可能会遇到如下错误： In file included from /usr/include/c++/4.1.0/bits/char_traits.h:46, from /usr/inclu

c++

mysql

冲突

兼容

原创 2010-09-01 23:38:00 674 阅读

走出锁的误区 - 正面认识锁

多线程编程，锁通常是必不可少的保证代码运行安全的工具，一提到锁，最直接想到的是性能问题，给人的印象是锁会影响系统性能。这固然不然。但性能本身并不是锁本身引起的，锁也只是一个系统调用，它本身的开销是很小的，很多测试中，我们发现加锁和去掉锁后的性能几乎没有差别，为什么了？问题的关键在于，锁带来的性能下降，是因为锁与锁之间发生了碰撞，如果没有锁间的碰撞，则它所损害的性能是非常有限的。因此，要想减

认识

锁

误区

原创 2010-09-01 23:31:00 355 阅读

文件和SOCKET跨线程安全吗？

将一个文件或SOCKET的句柄fd传递给多个线程，进行读、写和Close操作，是否安全了？答案是“否”，这类似于new一个指针后，这个指针传递给多线程是否安全，结果是常常容易造成一个线程使用已经被另一个线程delete的指针。对fd的各系统调用本身是线程安全的，比如可以多线程同时read/write，但是当一个fd被close之后

安全

socket

多线程

原创 2010-08-22 13:50:00 1547 阅读

__gxx_personality_v0错误原因

如果编译遇到如下错误： tmp/cceMNWaA.o:(.eh_frame+0x12): undefined reference to `__gxx_personality_v0' collect2: ld returned 1 exit status 则可能是因为使用gcc编译cpp文件，两个办法： 1.将文件名改成.c文件 2.加上链接选项-lstdc++

c++

linux

错误

编译

c

原创 2010-08-20 12:51:00 1228 阅读

如何解决fd跨线程安全问题

fd跨线程是不安全的，当一个线程close它后，就相当于成了野指针，另一线程再使用就成了对野指针的使用，当系统调用使用一个已经close后的fd时，可能出现内核报错，如果安全使用它了？有两个办法：一是对fd进行再包装，产生应用对象，对象通过引用计数保证线程安全；二是dup，直接对fd引用计数，使不同fd指向同一个内核对象，不同线程持有的fd值将不相同，线程只close自己的，实际就是引用计数减一。

线程

如何

包装

close

原创 2010-08-20 09:33:00 597 阅读

如何为crontab调度运行的多脚本设置共享的环境变量？

方法直接将环境变量添加到crontab中，如： NAME=zhangsan AGE=30 10 * * * * /home/xx/test.sh 注意不要加上export，这样test.sh就可以用到环境变量了。 http://bbs.hadoopor.com/thread-1774-1-1.html

crontab

共享

环境变量

原创 2010-08-19 11:47:00 444 阅读

有关snprintf返回值

c++

编程

开发

snprintf

原创 2010-08-19 10:03:00 382 阅读

snprintf和strncpy对比

手册

信息

对比

原创 2010-08-19 10:03:00 377 阅读

《Hadoop开发者》第二期发布

目录 1、Hadoop 业界资讯......................................... - 1 - 2、Nutch + Hadoop 构建商用分布式搜索引擎的问题探究 ....... - 5 -3、支持自定义爬虫的Nutch segment 文件存储接口改写.......... - 11 - 4、Nutch 中mapr

职场

休闲

Hadoop开发者

原创 2010-04-15 16:46:15 681 阅读

Hadoop开发者入门专刊(pdf)

目录 1 Hadoop介绍 2 Hadoop在国内应用情况 3 Hadoop源代码eclipse编译教程 7 在Windows上安装Hadoop教程 13 在Linux上安装Hadoop教程 19 在Windows上使用eclipse编写Hadoop应用程序 24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在Windows eclipse上单步调试Hive教程 38 Hive应用介绍 42 Hive执行计划解析 50 MapReduce中的Shuffle和Sort分析 53 海量数据存储

职场

休闲

Hadoop杂志

原创 2010-02-08 16:19:40 4940 阅读

MapBalanceReduce介绍

MapReduce改进模型介绍

职场

休闲

MapReduce

MapBalanceReduce

原创 2010-02-08 16:04:13 1069 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

飞月