一见_的博客_hadoop,软件设计,点点滴滴原创

改进后的日志类CLogger

在原有的基础上增加了module_name，表示模块名，当一个系统由多模块组成时，输出的日志将更加清晰，使用方法，以MOOON-agent中的为例： /** 不要修改下面的常量值，而应当通过对应的方法去修改 * 这些常量值主要是方便多模块共享，故放在这个公有头文件当中 */&nb

log

原创 2012-07-24 18:31:14 1267 阅读

来自mooon的最简单的日志类CSimpleLogger

/** * 单个头文件，可即时独立使用，只要定义了宏NOT_WITH_MOOON，即不依赖于mooon * 简单的写日志类，非线程安全，提供按大小滚动功能 * 不追求功能，也不追求性能，只求简单，若要功能强、性能高，可以使用CLogger * * 使用方法： * 1) 构造一个CSimpleL

log

logger

原创 2012-07-24 18:29:07 1011 阅读

怎么做自动化

在做系统时，不应当盲目地去做自动化，原因有两点： 1.有些自动化的代价非常高，反不如人工简单实在 2.有些自动化不能保证系统的正确性，它需要人工确认不过，这些也并不应当成为推进自动化的理由，自动化它可以带来两方面巨大的好处： 1.大大降低运维工作量 2.快速的进行故障恢复所以在做系统应当多考虑自动化，以降低运维工作量和提升系统可用性为目标

自动化

原创 2012-07-24 18:28:17 900 阅读

简单的主备切换方案

主备切换是很多高可用性系统都必须解决的问题，方法有很多，象基于ZooKeeper的主备切换就是一个很好的选择。在这里提供一种更简单但不完美的主备切换方法： 1) 假设A和B是集群中的主控（Master）节点 2) 1~7是工作节点（如HDFS中的DataNode） 3) 在每个工作节点上，都同时配置了A和B的IP，而且是对等的，无主备之分所

主备切换

原创 2012-07-24 18:27:23 8007 阅读 1点赞 1评论

优雅的让一个类在线程安全和线程非安全间切换

一个良好的多线程库，不应当一刀切的全加锁。因为有些时候，虽然是多线程环境，但可能依照设计一个类只会被一个线程操作，这个时候加锁是多余的，纯浪费性能，但另一些场景又需要它是线程安全的。假设有一个类X： class X { public: void xoo(); }; 这里总结几个常见的做法： 1.本身不加锁，由调用者来加锁

多线程

优雅

原创 2012-07-15 12:50:09 848 阅读

MOOON-scheduler问题讨论：消息如何传递回去和主动发送出去？

对于进程模式，有两种可选的消息发出方案： 1.每个Service进程都独立加载一份dispatcher 2.所有Service进程不加载dispachter，只内核加载一份dispatcher，消息发出时，总是需要通过内核方案一优点： 1.高效，因为少了从Service进程到内核进程的拷贝方案一缺点： 1.多占用了内存，因为每个Servi

问题

讨论

如何

MOOON-scheduler

原创 2012-06-25 09:33:00 408 阅读

MOOON-scheduler核心设计图（初稿）

按以下思路进行设计，非最终设计图，有等进一步思考，以发现问题，需要达到以下目的：同时支持线程和进程模式（做了抽象） Service不和线程绑定 Service独占线程池或进程（进程下再划分线程池） Session和线程绑定，不跨线程 Service下可以有0到多个Session 一个Session可以0到多个子

核心

初稿

设计图

原创 2012-06-24 23:41:00 485 阅读

设计mooon调度器遇到的难题

mooon的设计进入关键时刻，有几个决策点还没有定下来，如下： 1.是否同时支持进程和线程模型进程模型是指内核为一个独立的进程，而每个业务又为独立的一个进程，业务可以为多线程，同时内核会产生相应个数的内核线程与业务线程一一对应，内核线程和业务进程在创建业务时产生。线程模型是业务和内核运行在相同的进程中，内核线程即为业务线程，在创建业务时产生。 2.servi

设计

难题

mooon

调度器

原创 2012-06-21 19:57:00 355 阅读

disuz 7.2文字常量定义文件messages.lang.php

当需要对disuz做一些修改时，可能会涉及到这个文件。 D:\hadoop\backup\20120619221410\templates\default\messages.lang.php <?php // Message Pack for Discuz! Versio

disuz 7.2

文字常量

定义文件

messages.lang.php

原创 2012-06-19 23:00:00 5913 阅读

软件技术发展的几个阶段

软件技术经历也如下几个发展阶段： 1.纯属科学家的玩意 2.个人英雄者的世界，比如我们常说的第一代程序员 3.纯软件公司，产生了大批纯软件公司，而且活得很好，如当年的四大软件园 4.软硬结合，纯软件的死了大半，象华为软硬结合活得很好 5.互联网化，象腾讯、百度等 6.移动互联网，百花争艳，精彩不断上演 7.实用化的智能

软件

技术

智能

原创 2012-06-17 13:30:00 1228 阅读

什么样的命名才是合理的？谈命名的原则

写代码，少不了各种命名，那如何才是最合理的命名，或者没有好坏之分了？如果有了理论基础，这事就好办。 mooon中的命名采用的理论依据： 1.简单性，拒绝画蛇添足，如类成员变量仅以“_”打头，前面的字母“m”纯是多余的 2.易读性，拒绝高深莫测的缩写，宁愿使用长名称 3.不固执，不会愚昧的拒绝一切缩写，如果一个缩写能够简

原则

命名

合理

原创 2012-06-17 13:24:00 350 阅读

MOOON-agent系统设计与使用说明

MOOON-agent系统设计与使用说明易剑 2012/6/16 目录 1. 设计目标 1 2. 应用场景 2 3. 主要功能 2 4. 系统骨架 3 5. 资源接口 3 6. 内置CommandProcessor 3 7. 编程接口 3 7.1. agent.h 4 7.2. message.h 5 7.3. message_command.h 5 7

系统

设计

说明

MOOON-agent发布

原创 2012-06-16 14:32:00 610 阅读

全局变量相互依赖和初始化顺序的解决办法

如果是定义一个全局的map，会出现如下core： Program received signal SIGSEGV, Segmentation fault. 0x00007ffff7b449ea in std::_Rb_tree_decrement(std::_Rb_tree_node_base*) () from /usr/lib/x86_64-linu

开发

全局变量

received

原创 2012-06-16 00:45:00 2979 阅读

为何有着良好设计的系统代码反而不容易看懂？

在实践中遇到一个问题，就是经过良好设计而实现的代码，大家会觉得不容易看懂，而平铺直述的反而易看。我分析这是一个很正常的现象，原因是未设计而出的代码是按人的正常思维平铺直述的，所以大家容易看，这些代码常有些共性：即冗长、重复的现象常见、基本没有职责单一可言、比较扁平、以过程化为即使是C++写的。为何经过设计的反而不容易看了？这个

产品

建筑

设计图

原创 2012-06-14 17:40:00 528 阅读

养成良好的编程习惯

良好的编程有习惯的意义在于： 1.犹如面子，给人好的好象 2.犹如在找东西，容易找到 3.不给人添麻烦，让人接手得舒舒服服 4.从源头避免版本不一致问题（当同一个文件在不同目录下出现拷贝时，容易出现其中某个未同步更新的问题） 5.提升代码的维护性良好的习惯包含但不限于以下几点： 1.不要和被依赖的代码混在一起，至少应当做到

编程

习惯

养成

良好的

原创 2012-06-11 17:53:00 455 阅读

名词：topology、architecture和struct，究竟什么才是架构？

在技术文档中，发现很多时候并没有对topology、architecture和struct进行严格区分，有时可以见到一个topology成了architechure，有时一个struct成了architechure。从严谨的角度出发，究竟应当如何去定义和区分，以便正确的使用了？个人的理解如下： 1.topology 焦点是网络部署，如在各IDC的分布

struct

architecture

topology

原创 2012-06-11 11:38:47 486 阅读

名词：topology、architecture和struct，究竟什么才是架构？

在技术文档中，发现很多时候并没有对topology、architecture和struct进行严格区分，有时可以见到一个topology成了architechure，有时一个struct成了architechure。从严谨的角度出发，究竟应当如何去定义和区分，以便正确的使用了？个人的理解如下： 1.topology 焦点是网络部署，如在各ID

网络

技术

如何

原创 2012-06-11 11:27:00 586 阅读

undefined reference to `clock_gettime'

下面这个错误通常是因为链接选项里漏了-lrt，但有时发现即使加了-lrt仍出现这个问题，使用nm命令一直，会发现-lrt最终指向的文件没有包含任何symbol，这个时候，可以找相应的静态库版本librt.a，看看它里面是否存在`clock_gettime'。 /data1/mooon/run/lib/libsys.a(lock.o): In funct

undefined

reference

function

原创 2012-06-09 15:53:00 3778 阅读

致命错误： zlib.h：没有那个文件或目录

下面这个错误是因为zlib包没有安装，安装后问题即可解决。但有一点请注意安装命令是：sudo apt-get install zlib1g-dev，而非sudo apt-get install zlib ./file_util.cpp:19:18: 致命错误： zlib.h：没有那个文件或目录编译中断。

错误

zlib

致命

原创 2012-06-09 15:25:00 6740 阅读

解决：libtool: line 815: X--tag=CXX: command not found

下面这个错误据说是libtool版本问题，需要回退版本，但实际上不用回退版本也可以解决，在libtool文件中找到下列行： # An echo program that protects backslashes. ECHO="printf %s\\n" 将ECHO一句换成：echo="echo"

错误

版本

command

原创 2012-06-09 15:20:00 2325 阅读

解决“configure: line 2747: -g: command not found”

下面这个错误是因为没有安装g++ $ ./configure --prefix=/data1/mooon/run checking for a BSD-compatible install... /usr/bin/install -c checking whether build environment is sane... yes checking

command

g++

whether

原创 2012-06-09 00:10:00 1053 阅读

解决“possibly undefined macro: AC_PROG_LIBTOOL”

今天特别花1688在51buy.com上买了台同方的笔记本用于mooon的开发，先是安装了Fedora，觉得不好，想安装openSuSE，但发现安装包太大，最后仍选择了ubuntu 12.04，默认没有安装automake等工具，按提示逐一进行了安装，遇到如下这个错误时，表示libtool没有安装： $ sh first_once.sh Convert ltmain.s

笔记本

undefined

1688

possibly

原创 2012-06-08 23:51:00 9803 阅读

openssl编程轻松入门（含完整示例）

. 编写目的第一次跑起openssl示例并不太简单，本文的目的是为了让这个过程变得非常简单。在开始之前，要非常感谢周立发同学，正是通过他共享的示例，较轻松的入了门。本文档对他共享的示例中的一个小错误进行了修正，并提供了傻瓜式的“编译-生成-KEY运行”一条龙脚本（方法请参见压缩包中的readme文件），让跑第一个openssl程序变得轻轻松松。 2. 示例包

入门

示例

openssl编程

原创 2012-06-04 23:50:00 10000+阅读

解决C++代码单元测试中的难题-不可验证和IO调用

原帖发表在Hadoop技术论坛在做C++程序的单元测试时，大家经常会遇到两个问题： 1.不方便验证测试结果，原因是因为不可访问保护和私有类成员 2.对于需要访问的connect、receive、send等不好绕过这里介绍两种方法，即可解决： 1.在编译单元测试代码时，加上UNIT_TEST宏（名字可以为其它你喜欢的），并将private

技术

测试

hadoop

原创 2012-06-04 19:07:00 383 阅读

进程绑定CPU简单应用

技术

include

process

原创 2012-06-04 13:12:00 1001 阅读

inotify_add_watch使用注意

注：原发表在Hadoop技术论坛 1.inotify_add_watch返回并不是一个fd，而只是一个标识 2.对于同一个PATH，inotify_add_watch将返回相同的标识。不需要调用close关闭，但需要调用inotify_rm_watch来删除。在对文件进行读、写、关闭监控时需要注意这个特性。但inotify_init返回的是一个真正的fd，因此需要调用close关闭

技术

close

注意

原创 2012-06-04 13:12:00 2286 阅读

通过包装父类的抽象方法达到结构和行为都统一

注：原发表在Hadoop技术论坛在进行OO时，很容易做到结构统一，这个也容易理解，如下： class Parent { public: virtual

结构

包装

行为

抽象方法

父类

原创 2012-06-04 13:11:00 288 阅读

程序遇到SIGILL，考虑依赖库接口和库版本是否一致

如果你的程序遇到SIGILL, Illegal instruction问题，你应当考虑一下是否存在版本不一致的问题，比如依赖的共享库接口变了，但你仍在使用老版本的库，问题的现象通常是诡异，而且你觉得不可能挂的地方，而通常是挂在你对依赖库的调用之处。简单点说就是：头文件更新了，但库文件还没有更新。

程序

接口

而且

原创 2012-06-04 13:10:00 543 阅读

io_submit、io_setup和io_getevents示例

注：原发表在 Hadoop技术论坛 io_submit、io_setup和io_getevents和LINUX上的AIO系统调用。这有一个非常特别注意的地方——传递给io_setup的aio_context参数必须初始化为0，在它的man手册里其实有说明，但容易被忽视，我就犯了这个错误，man说明如下：完整示例如下：// 包含必须头文件 #include

LINUX

技术

already

原创 2012-06-04 13:09:00 10000+阅读

struct对齐问题

ChinaUnix最近有个贴子讨论热烈，在这里记录一下我的理解，struct的对齐是遵照下列二个条件中最小的一个进行的： 1.#pragma pack(N)中N指定的值 2.struct中最大的成员（请注意不是指sizeof值最大的那个，而应当是__alignof__值最大的那个）对于double等几个类型，它的alignof值是可通过编译开关-mno-align-double和-ma

记录

最大的

double

原创 2012-06-04 13:08:00 565 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

飞月

改进后的日志类CLogger

来自mooon的最简单的日志类CSimpleLogger

怎么做自动化

简单的主备切换方案

优雅的让一个类在线程安全和线程非安全间切换

MOOON-scheduler问题讨论：消息如何传递回去和主动发送出去？

MOOON-scheduler核心设计图（初稿）

设计mooon调度器遇到的难题

disuz 7.2文字常量定义文件messages.lang.php

软件技术发展的几个阶段

什么样的命名才是合理的？谈命名的原则

MOOON-agent系统设计与使用说明

全局变量相互依赖和初始化顺序的解决办法

为何有着良好设计的系统代码反而不容易看懂？

养成良好的编程习惯

名词：topology、architecture和struct，究竟什么才是架构？

名词：topology、architecture和struct，究竟什么才是架构？

undefined reference to `clock_gettime'

致命错误： zlib.h：没有那个文件或目录

解决：libtool: line 815: X--tag=CXX: command not found

解决“configure: line 2747: -g: command not found”

解决“possibly undefined macro: AC_PROG_LIBTOOL”

openssl编程轻松入门（含完整示例）

解决C++代码单元测试中的难题-不可验证和IO调用

进程绑定CPU简单应用

inotify_add_watch使用注意

通过包装父类的抽象方法达到结构和行为都统一

程序遇到SIGILL，考虑依赖库接口和库版本是否一致

io_submit、io_setup和io_getevents示例

struct对齐问题